$β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment

Le papier présente $\beta$-CLIP, un cadre d'apprentissage contrastif multi-granulaire qui aligne hiérarchiquement les représentations visuelles et textuelles via une attention croisée et une nouvelle fonction de perte ($\beta$-CAL), établissant ainsi un nouvel état de l'art pour l'alignement vision-langage dense sans utiliser de négatifs durs.

L'essentiel

🎨 Le Problème : Le "Grand Chef" qui voit tout, mais pas les détails

Imaginez que CLIP (le modèle original) est un grand chef d'orchestre très talentueux. Quand vous lui montrez une photo d'une rue animée et que vous lui dites : "Il y a des tuk-tuks colorés et des gens qui discutent", il comprend parfaitement le sujet global. Il sait que c'est une scène de rue, qu'il y a du mouvement et de la vie.

Cependant, si vous lui demandez de pointer exactement où se trouve le nez d'un chien, ou de distinguer une tasse de café spécifique parmi dix autres, il a du mal. Il a tendance à regarder l'image entière d'un coup d'œil, comme un photographe qui prendrait une photo de tout le paysage sans jamais faire de zoom sur un détail précis.

Le problème vient aussi des descriptions : les gens écrivent souvent de longs textes avec plein de phrases. Le modèle original ne sait pas bien séparer la phrase sur le "chien" de celle sur le "ciel bleu". Il mélange tout.

🚀 La Solution : β-CLIP, le "Détective à Loupe"

Les auteurs de ce papier proposent une nouvelle méthode appelée β-CLIP. Imaginez que ce n'est plus un chef d'orchestre, mais un détective équipé d'une loupe magique.

Voici comment il fonctionne, étape par étape :

1. Découper l'histoire en morceaux (La Décomposition)

Au lieu de lire un long roman d'un seul bloc, β-CLIP prend la description de l'image et la découpe en petits morceaux :

• Le résumé global (toute l'image).
• Les phrases (ex: "Il y a un chien").
• Les mots-clés (ex: "nez", "tasse de café").

C'est comme si on passait d'une vue satellite d'une ville à une vue de rue, puis à un plan serré sur un visage.

2. La Loupe Magique (L'Attention Conditionnée)

Pour chaque petit morceau de texte, le modèle utilise une "loupe" (une technique appelée cross-attention).

• Si le texte dit "nez", la loupe zoome uniquement sur le nez de l'image.
• Si le texte dit "ciel", la loupe ignore le chien et regarde le ciel.

Contrairement aux anciens modèles qui regardaient tout en même temps, β-CLIP apprend à ignorer ce qui ne sert pas pour la phrase actuelle.

3. Le Dilemme du "Trop" et du "Pas Assez" (Le paramètre β)

C'est ici que la magie opère. Le modèle doit trouver un équilibre délicat :

• Si on est trop strict : Le modèle ne regarde que le nez exact. Il devient très précis, mais il oublie que le nez fait partie du chien, et il perd le contexte.
• Si on est trop souple : Le modèle regarde tout le chien, et même le fond. Il comprend le contexte, mais il ne sait plus distinguer le nez de l'oreille.

Pour régler cela, ils utilisent un bouton magique appelé β (bêta).

• β bas (0) : Le modèle devient un sniper. Il vise uniquement le mot exact. C'est super pour trouver un objet précis, mais ça peut le rendre "bête" sur le contexte global.
• β haut (1) : Le modèle devient un philosophe. Il accepte que le nez, la tête et le chien soient tous liés. C'est excellent pour comprendre une longue histoire, mais moins précis pour un détail.

Leur innovation est de trouver le juste milieu (souvent autour de 0,5) pour que le modèle soit à la fois précis et intelligent.

4. Deux façons d'apprendre (CE vs BCE)

Les chercheurs ont testé deux méthodes d'entraînement, comme deux styles d'enseignement différents :

• La méthode "Choix Unique" (CE) : Comme un examen à choix multiples où l'élève doit choisir la seule bonne réponse. C'est excellent pour apprendre à distinguer des détails très fins (trouver le nez exact).
• La méthode "Vrai/Faux" (BCE) : Comme un jeu où l'élève doit dire pour chaque phrase "Est-ce que ça correspond ? Oui/Non". C'est excellent pour comprendre des histoires longues et complexes, même si on ne pointe pas le doigt sur un pixel précis.

🏆 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, β-CLIP bat tous les records précédents, et ce, sans avoir besoin de données étiquetées par des humains (comme des boîtes rouges dessinées autour des objets).

• Sur les détails : Il trouve des objets précis (comme un nez de chien ou une tasse de café) beaucoup mieux que les anciens modèles.
• Sur les longues histoires : Il comprend des descriptions de 100 mots sans se perdre.
• L'efficacité : Il apprend tout seul en regardant des images et des textes, sans qu'on ait besoin de lui dire "regarde ici" à chaque fois.

🌟 En résumé

Imaginez que vous apprenez à un enfant à regarder un tableau.

• L'ancien modèle lui disait : "Regarde le tableau, c'est une belle scène."
• Le nouveau modèle (β-CLIP) lui dit : "Regarde le tableau. Maintenant, regarde juste le chien. Maintenant, regarde juste son nez. Maintenant, regarde le ciel. Et maintenant, regarde comment le chien et le ciel sont liés."

En apprenant à changer de focale et à ajuster son attention (grâce au bouton β), le modèle devient capable de comprendre à la fois la forêt et chaque arbre, sans jamais se perdre. C'est une avancée majeure pour faire comprendre aux ordinateurs les nuances du monde réel.

Résumé technique

1. Problématique

Les modèles vision-langage (VLM) comme CLIP ont révolutionné l'apprentissage multimodal en alignant les représentations visuelles et textuelles dans un espace latent partagé, permettant des capacités "zero-shot" impressionnantes. Cependant, CLIP présente deux limitations majeures, particulièrement dans l'ère des textes longs :

1. Alignement Global Coarse : L'objectif d'entraînement contrastif standard aligne l'image entière avec la légende globale. Cela fonctionne bien pour la sémantique de haut niveau, mais échoue à associer des régions visuelles spécifiques à des éléments textuels fins (phrases, mots-clés), limitant les performances sur les tâches granulaires (détection d'objets, segmentation, retrieval fine).
2. Limitation de Contexte : L'encodeur texte de CLIP est limité à 77 tokens, ce qui l'empêche de traiter des légendes longues et détaillées (souvent générées par des LLM) qui contiennent des informations riches sur les détails de l'image.

Les approches précédentes tentent de résoudre cela soit par une supervision explicite de régions (nécessitant des boîtes englobantes), soit par un regroupement de patches. Cependant, elles peinent souvent à gérer la superposition sémantique inhérente aux hiérarchies de texte (une phrase contient des concepts qui sont aussi des sous-parties d'une légende complète) sans utiliser de "hard negatives" (négatifs difficiles) coûteux en données.

2. Méthodologie : β-CLIP

Les auteurs proposent β-CLIP, un cadre d'apprentissage contrastif conditionné par le texte, conçu pour aligner de manière hiérarchique plusieurs granularités textuelles (légende complète, phrases, phrases clés) avec des régions visuelles correspondantes.

A. Décomposition Hiérarchique du Texte

Pour chaque paire image-légende $(I, C)$, la légende est décomposée en trois échelles sémantiques :

• Niveau Légende ($K_{cap}$) : La légende complète pour le contexte global.
• Niveau Phrase ($K_{sent}$) : La légende segmentée en phrases individuelles pour une sémantique grossière.
• Niveau Concept ($K_{phrase}$) : Extraction de concepts clés (groupes nominaux, verbaux) via l'analyse syntaxique (spaCy) pour une sémantique fine.
  Cela génère un ensemble de $K$ requêtes textuelles par image.

B. Sélection de Caractéristiques Visuelles par Attention Croisée

Au lieu d'utiliser un pooling global ou simple, β-CLIP utilise un bloc Transformer modifié pour effectuer un pooling par attention conditionnée au texte :

• Les tokens de patchs de l'image (issus du ViT de CLIP) servent de clés et de valeurs.
• Les requêtes textuelles (les $K$ embeddings) servent de requêtes.
• Cela produit des embeddings visuels conditionnés ($v_k$) qui pondèrent dynamiquement les patches pertinents pour chaque requête spécifique, tout en conservant le contexte global grâce à la nature de l'attention.
• Avantage clé : Contrairement à des méthodes comme FLAIR qui utilisent ce mécanisme à l'inférence, β-CLIP ne l'utilise qu'à l'entraînement. À l'inférence, il revient au CLIP standard, préservant ainsi l'efficacité de mise en cache.

C. La Perte β-Contextualisée (β-CAL)

Le défi principal est la superposition sémantique : les caractéristiques d'une phrase sont incluses dans celles de la légende complète. Pour gérer cela, les auteurs introduisent la perte β-Contextualized Contrastive Alignment Loss (β-CAL).

Cette perte paramétrise le compromis entre un appariement strict (self-matching) et un contextualisation lâche (toutes les paires intra-image sont positives). Un facteur de pondération $\beta \in [0, 1]$ contrôle ce compromis :

• $\beta = 0$ : Appariement strict (seule la paire exacte est positive). Favorise la discrimination fine mais risque le surapprentissage.
• $\beta \to 1$ : Toutes les paires intra-image sont traitées comme des positifs avec une pondération égale. Favorise la cohérence contextuelle mais peut diluer le signal spécifique.

La méthode propose deux variantes de perte :

1. Cross-Entropy (CE) : Utilise des cibles probabilistes douces. Le softmax crée une distribution où les positifs intra-image se concurrencent.
   • Résultat : Affine la discrimination fine (excellent pour FG-OVD).
2. Binary Cross-Entropy (BCE) : Utilise des cibles binaires dures. Toutes les paires intra-image sont positives, mais leur contribution au gradient est modulée par $\beta$.
   • Résultat : Favorise la récupération de textes longs (excellent pour Urban1K, DCI) en intégrant mieux l'information contextuelle sans diluer la spécificité.

3. Contributions Clés

1. Cadre Multi-Granulaire : Introduction de β-CLIP, qui aligne densément les représentations d'images avec une hiérarchie de descriptions textuelles sans supervision de régions explicites (bounding boxes).
2. Perte β-CAL : Une nouvelle fonction objectif qui gère intelligemment les chevauchements sémantiques dans le pooling conditionné par le texte, permettant d'apprendre à la fois la précision fine et le contexte global.
3. Analyse du Compromis Spécificité-Contexte : Démonstration que les pertes CE et BCE interagissent différemment avec la supervision hiérarchique :
   • CE (avec Softmax) améliore la discrimination fine.
   • BCE (avec Sigmoid) améliore la récupération de longs textes.
4. Performance SOTA sans Hard Negatives : Atteinte d'états de l'art sur des benchmarks difficiles (FG-OVD, Urban1K) sans utiliser de négatifs difficiles (hard negatives), contrairement à des méthodes comme FG-CLIP qui nécessitent des millions de boîtes et de négatifs.

4. Résultats Expérimentaux

Les expériences ont été menées sur ViT-B/16 et ViT-L/14, en fine-tuning sur ShareGPT4V (1.2M images).

• Récupération Fine (FG-OVD) :
  • β-CLIP (CE, $K=36, \beta=0.5$) atteint 30.9% sur le split "Hard", surpassant CLIP (12.0%) et FineCLIP (26.8%).
  • Il récupère environ 55% de l'écart de performance entre CLIP standard et FG-CLIP (qui utilise 1.6B+ de données et des négatifs difficiles), bien que β-CLIP utilise beaucoup moins de données et aucune supervision de région.
• Récupération de Longs Textes (Urban1K, DCI) :
  • β-CLIP (BCE) établit un nouveau SOTA sur Urban1K avec 91.8% (T2I) et 92.3% (I2T), surpassant Smart-CLIP et Long-CLIP.
  • Sur DCI, il atteint 65.1% (T2I), dépassant Long-CLIP de 7.7 points.
• Récupération Grossière (MSCOCO, Flickr30k) :
  • La variante BCE maintient ou améliore les performances sur les tâches de récupération standard, évitant la dégradation souvent observée lors du fine-tuning sur des légendes détaillées.
• Analyse Ablation :
  • L'augmentation de $K$ (nombre de phrases/concepts) améliore les performances fines.
  • Un $\beta$ optimal (autour de 0.5) équilibre spécificité et contexte.
  • L'utilisation de représentations visuelles conditionnées au texte (TCI) à l'inférence améliore la récupération de longs textes, surtout avec la perte CE.

5. Signification et Impact

Ce travail démontre que l'alignement dense et granulaire ne nécessite pas nécessairement des annotations de régions coûteuses ou des négatifs difficiles massifs. En décomposant les légendes et en utilisant une perte contrastive adaptative (β-CAL), il est possible d'extraire des représentations visuelles riches et localisées à partir de légendes longues générées par des LLM.

La découverte clé est la dualité des fonctions de perte :

• Utiliser Cross-Entropy pour affiner la localisation d'objets spécifiques.
• Utiliser Binary Cross-Entropy pour comprendre des scènes complexes et des descriptions longues.

β-CLIP établit une base robuste et adaptable pour la correspondance vision-langage dense, ouvrant la voie à des modèles multimodaux plus précis capables de gérer la complexité des descriptions textuelles modernes. Le code et les modèles sont disponibles publiquement.