PinCLIP: Large-scale Foundational Multimodal Representation at Pinterest

Ce papier présente PinCLIP, une approche d'apprentissage de représentations visuelles multimodales à grande échelle développée par Pinterest qui, grâce à une architecture hybride novatrice et un objectif d'alignement de voisinage, améliore significativement la récupération et le classement du contenu tout en résolvant le problème du démarrage à froid, comme le démontrent des gains substantiels lors de tests en ligne.

L'essentiel

Imaginez que Pinterest est une immense bibliothèque visuelle, remplie de milliards d'images (des "Pins") et de textes. Le défi, c'est de trouver exactement ce que l'utilisateur cherche, même si sa demande est vague ou si l'image est nouvelle et n'a jamais été vue auparavant.

Voici une explication simple de la technologie PinCLIP présentée dans l'article, imagée pour tout le monde :

1. Le Problème : Le Traducteur qui a besoin d'un coup de pouce

Avant PinCLIP, les systèmes de recommandation de Pinterest fonctionnaient un peu comme un bibliothécaire qui ne connaît que les titres des livres. Si vous cherchiez "une robe d'été jaune", il trouvait des livres avec ce titre. Mais si vous cherchiez "une ambiance joyeuse pour un pique-nique", il avait du mal à comprendre l'émotion derrière l'image.

De plus, les nouveaux livres (les nouvelles images) arrivaient tous les jours. Le bibliothécaire ne les connaissait pas encore, donc il ne les montrait à personne. C'est ce qu'on appelle le problème du "froid de départ" (cold-start) : comment recommander quelque chose de tout neuf ?

2. La Solution : PinCLIP, le "Super-Traducteur" Polyglotte

Pinterest a créé PinCLIP, un modèle d'intelligence artificielle qui agit comme un super-traducteur et un détective visuel combinés.

Au lieu de juste lire le texte ou de juste regarder l'image séparément, PinCLIP apprend à combiner les deux en même temps. Imaginez un chef cuisinier qui ne goûte pas juste le sel ou juste le poivre, mais qui comprend parfaitement comment les deux s'harmonisent pour créer un plat délicieux. PinCLIP comprend l'harmonie entre une image et ses mots.

3. Comment ça marche ? (Les 3 ingrédients magiques)

A. L'Architecte Hybride (Le Cerveau)

PinCLIP utilise une architecture spéciale appelée "Transformeur Hybride".

• L'analogie : Imaginez un chef d'orchestre. D'un côté, il a un musicien expert en images (qui voit les couleurs, les formes). De l'autre, un expert en texte (qui comprend les mots). Le chef d'orchestre (le modèle) ne les laisse pas jouer séparément. Il les fait jouer ensemble pour créer une mélodie unique qui représente à la fois l'image et son sens.
• Le résultat : Une image de "chaussures dorées" n'est pas juste une photo, c'est un concept complet qui inclut "luxe", "fête", "chaussures", etc.

B. Le Jeu des Paires (L'Entraînement)

Pour apprendre, PinCLIP ne se contente pas de dire "cette image correspond à ce texte". Il joue à un jeu de "qui est mon ami ?".

• L'analogie : Imaginez une grande fête où les gens se regroupent par centres d'intérêt. Si vous voyez deux personnes (deux images) qui sont souvent mises dans le même panier par les mêmes utilisateurs, PinCLIP apprend qu'elles sont "voisines" et qu'elles doivent se ressembler, même si elles ne disent pas exactement la même chose.
• L'innovation : Ils ont ajouté une règle spéciale : "Si deux images sont souvent aimées par les mêmes personnes, elles doivent être très proches dans notre cerveau numérique". Cela aide le modèle à comprendre les nuances que les mots seuls ne peuvent pas décrire.

C. La Boîte à Outils Russe (Matryoshka)

Pour que tout cela fonctionne vite sur des millions d'utilisateurs, il faut être efficace.

• L'analogie : Imaginez une poupée russe (Matryoshka). À l'intérieur, il y a une grande poupée, puis une plus petite, puis une encore plus petite. PinCLIP crée une représentation de l'image qui contient toutes ces tailles.
• L'avantage : Si le système a besoin de vitesse (pour trouver des résultats en une fraction de seconde), il utilise la petite poupée (une version simplifiée de l'image). S'il a besoin de précision (pour le classement final), il ouvre la grande poupée (la version complète). Cela économise énormément d'énergie et d'argent.

4. Les Résultats : Pourquoi c'est génial ?

Grâce à PinCLIP, Pinterest a vu des changements spectaculaires :

• Moins de "froid de départ" : Les nouvelles images (les "nouveaux livres" de la bibliothèque) sont maintenant recommandées beaucoup plus vite.
  • Résultat : Les utilisateurs repartagent (Repin) 15 % de plus de contenu frais.
• Des publicités plus intelligentes : Les annonces publicitaires sont mieux ciblées.
  • Résultat : Les gens cliquent 8,7 % de plus sur les nouvelles publicités.
• Une meilleure recherche : Que vous cherchiez avec des mots ou avec une image, les résultats sont beaucoup plus pertinents.
  • Résultat : Les performances de recherche ont augmenté de 20 % par rapport aux meilleurs modèles existants.

En résumé

PinCLIP, c'est comme donner à Pinterest une paire de lunettes de réalité augmentée qui lui permet de voir le sens profond derrière chaque image, de comprendre les liens invisibles entre elles, et de recommander exactement ce dont vous avez besoin, même si vous ne savez pas encore comment le formuler. C'est une révolution qui rend la découverte d'inspiration plus fluide, plus rapide et plus personnelle.

Résumé technique

1. Problématique

L'intégration des modèles de langage visuel (VLM) et des grands modèles de langage (LLM) dans les systèmes de recommandation et de recherche (RecSys) industriels pose plusieurs défis majeurs :

• Discrépance des objectifs d'entraînement : Les LLM modernes sont des modèles génératifs entraînés pour prédire le prochain token, tandis que les modèles de RecSys sont discriminatifs (prédiction d'engagement) utilisant des fonctions de perte comme l'entropie croisée.
• Contraintes opérationnelles : Les RecSys nécessitent un débit élevé et une faible latence. La taille massive des LLM (milliards de paramètres) rend leur déploiement en production coûteux et lent.
• Limites des approches existantes : La plupart des travaux se concentrent sur les données textuelles ou utilisent des architectures LLM sans exploiter pleinement les représentations sémantiques riches des modèles de base pré-entraînés. De plus, les modalités visuelles et vidéo sont souvent sous-exploitées.
• Problème du "Cold-Start" : La difficulté à distribuer efficacement le nouveau contenu (frais) qui manque d'historique d'interaction.

Pinterest, plateforme centrée sur le visuel, a besoin d'une représentation multimodale unifiée capable de comprendre à la fois les images et le texte pour améliorer la recherche, le classement (ranking) et la découverte de contenu.

2. Méthodologie : PinCLIP

Le papier présente PinCLIP, une approche d'apprentissage de représentations visuelles à grande échelle.

A. Architecture Hybride Vision Transformer

Le modèle repose sur un encodeur hybride combinant un backbone VLM (Vision Language Model) et un mécanisme de fusion :

• Encodeur d'Image : Utilise des encodeurs internes pré-entraînés basés sur une architecture hybride : un tronc de convolution (stem) suivi d'un "Funnel Vision Transformer". Cette conception réduit les coûts computationnels tout en maintenant une haute qualité de récupération.
• Encodeur de Texte : Utilise des encodeurs de texte multilingues pré-entraînés (basés sur SigLIP) pour traiter divers signaux textuels (titres, descriptions, légendes générées par IA, requêtes de recherche, annotations).
• Fusion Multimodale : Un agrégateur Transformer (2 couches) fusionne les tokens visuels et textuels non regroupés (unpooled) via une attention auto-attentionnelle, produisant un embedding multimodal unique pour chaque "Pin".

B. Objectifs d'Apprentissage (Loss Functions)

Pour enrichir l'espace de représentation, PinCLIP utilise deux objectifs de contraste :

1. Alignement Image-Texte (I2T) : Alignement classique entre l'image d'un Pin et ses signaux textuels associés (titres, descriptions, légendes synthétiques, mots-clés). Une perte sigmoïde (inspirée de SigLIP) est utilisée pour une meilleure efficacité et performance, surtout avec des tailles de lot réduites.
2. Alignement Pin-à-Pin (P2P) : C'est une contribution clé. Au lieu de se limiter à l'alignement individuel, le modèle aligne les représentations de paires de Pins qui sont engagés par les mêmes utilisateurs. Ces paires sont extraites d'un graphe "Pin-Board" (où un Pin est sauvegardé dans un Board par un utilisateur). Cela permet de capturer le contexte structurel et les relations sémantiques complexes au sein du graphe social de Pinterest.

C. Optimisation et Efficacité

• Apprentissage de Représentation Matryoshka (MRL) : Pour réduire les coûts de service, le modèle est entraîné pour encoder des informations à plusieurs granularités dans un seul vecteur. Cela permet d'utiliser des embeddings tronqués (ex: 64 dimensions) pour la récupération rapide et les dimensions complètes (256) pour la précision maximale, sans entraîner de modèles séparés.
• Quantification : Une quantification post-entraînement (int8) est appliquée pour réduire la taille des embeddings de 50 %, diminuant ainsi les coûts de stockage et de calcul.
• Techniques d'entraînement : Utilisation de Flash Attention-2, de la vérification des points de contrôle (activation checkpointing) et de l'arrêt partiel (freezing) de certaines couches de l'encodeur d'image pour améliorer le débit et réduire la mémoire GPU.

3. Contributions Clés

1. Architecture Innovante : Introduction d'un Transformer de vision hybride exploitant des VLM pré-entraînés pour apprendre des représentations multimodales à partir d'un produit réel à l'échelle de centaines de millions d'utilisateurs.
2. Recette Pratique de Production : Documentation complète des meilleures pratiques pour la sélection des données, l'architecture, les objectifs d'apprentissage et le déploiement à grande échelle.
3. Alignement Structurel (Pin-to-Pin) : Introduction d'un nouvel objectif d'alignement basé sur le graphe Pin-Board, crucial pour apprendre des représentations efficaces au-delà de la simple correspondance image-texte.
4. Résultats Supérieurs : Démonstration de gains offline de plus de 20 % par rapport aux modèles de pointe (baselines comme Qwen) et validation par des tests A/B en ligne avec un impact commercial significatif.

4. Résultats

Évaluations Offline (Récupération)

• PinCLIP surpasse les modèles de référence (CLIP, SigLIP, Qwen-VL) de manière significative.
• PinText (Image-Texte) : Gain de +34 % sur la recherche et +44 % sur les Pins connexes par rapport aux modèles internes précédents.
• Multimodalité : Le modèle de fusion (PinCLIP Fusion) surpasse les modèles unimodaux et les baselines publiques (ex: Qwen3-VL-Embedding-8B) de plus de 20 % sur les tâches de récupération multimodale.
• Études d'ablation : L'augmentation de la taille du modèle et de la taille du dataset améliore constamment les performances. Le gel des couches intermédiaires de l'encodeur d'image améliore l'efficacité d'entraînement sans perte de qualité.

Tests A/B en Ligne (Impact Commercial)

L'intégration de PinCLIP dans les modèles de classement (ranking) et de génération de candidats a eu un impact positif sur toutes les surfaces principales (Homefeed, Recherche, Pins Connexes) :

• Engagement Global : Augmentation significative des "Repins" (partages) sur l'ensemble du site.
• Contenu Frais (Cold-Start) :
  • +15 % de Repins sur le contenu organique frais (âge < 28 jours).
  • +8,7 % de volume de clics pour les nouvelles publicités (âge < 14 jours).
• Publicités : Augmentation du taux de clic (CTR) de +5,02 % et réduction du coût par clic (CPC) de -0,59 %.
• Recherche : Amélioration du taux de satisfaction (fulfillment rate) des sessions de recherche.

5. Signification et Conclusion

PinCLIP représente une avancée majeure dans l'application des modèles de fondation multimodaux aux systèmes de recommandation industriels.

• Résolution du Cold-Start : En apprenant des représentations riches basées sur le contenu et la structure du graphe social, le modèle permet de distribuer efficacement le nouveau contenu, résolvant un problème historique des RecSys.
• Efficacité Opérationnelle : Grâce à des techniques comme MRL et la quantification, le modèle démontre qu'il est possible de déployer des représentations de haute qualité à un coût et une latence compatibles avec les besoins d'une plateforme massive comme Pinterest.
• Impact Business : Les gains mesurés en ligne prouvent que l'alignement multimodal profond améliore directement l'expérience utilisateur et les métriques commerciales, validant l'approche hybride (VLM + Graph) comme un standard pour les futures générations de systèmes de recommandation visuels.