CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

1. Problématique et Contexte

Les modèles CLIP (Contrastive Language-Image Pre-training) sont devenus la pierre angulaire des tâches vision-langage, permettant le transfert zéro-shot, la récupération d'images et la génération d'images. Cependant, leur pré-entraînement initial repose massivement sur des données internet composées de légendes courtes (souvent une seule phrase). Cela induit deux limitations majeures lorsqu'on tente d'étendre ces modèles à des textes longs :

1. Biais vers les premiers tokens : Les modèles pré-entraînés ont tendance à concentrer leur attention sur les premiers mots de la phrase, négligeant les informations situées plus loin dans le contexte.
2. Structure des légendes longues : Les légendes longues (générées par des humains ou des LLM) suivent souvent un schéma spécifique : une phrase de résumé au début, suivie de détails fins.
3. Le raccourci d'apprentissage : Lors du fine-tuning de modèles comme Long-CLIP sur ces légendes, le modèle apprend à utiliser la première phrase (le résumé) comme un « raccourci » pour minimiser la perte de contraste. Il ne se force pas à encoder les détails présents dans les phrases suivantes, ce qui dégrade les performances lorsque l'ordre des phrases est modifié ou lorsque le résumé est supprimé.

L'article démontre que même avec des techniques d'extension de fenêtre contextuelle (comme l'interpolation des embeddings de position), le biais vers les premiers tokens persiste, rendant les modèles fragiles face aux permutations de phrases ou à l'absence de résumé.

2. Méthodologie : DeBias-CLIP

Pour résoudre ce problème, les auteurs proposent DeBias-CLIP, une méthode simple qui agit comme un remplacement « plug-and-play » de Long-CLIP sans ajouter de paramètres entraînables supplémentaires. L'approche repose sur trois augmentations de données au niveau de la légende pour forcer le modèle à apprendre des détails fins tout au long du texte :

1. Suppression de la phrase de résumé :

   • Au lieu d'utiliser la première phrase (le résumé) comme légende courte pour l'entraînement, le modèle est entraîné sur la légende longue moins la première phrase.
   • Cela force le modèle à aligner l'image avec les détails fins situés plus loin dans le texte, plutôt que de se reposer sur le résumé global.

2. Échantillonnage aléatoire de phrases (Sentence Sub-sampling) :

   • À partir des phrases restantes (après suppression du résumé), le modèle en échantillonne un sous-ensemble aléatoire pour créer une légende courte.
   • Cela introduit de la variabilité et empêche le modèle de mémoriser un ordre spécifique des phrases. L'ordre des phrases n'est pas préservé lors de l'échantillonnage.

3. Remplissage (Padding) des tokens :

   • Pour compenser le fait que les légendes échantillonnées sont plus courtes et pour éviter un déséquilibre dans l'entraînement des embeddings de position, des tokens de remplissage (padding) sont ajoutés au début de la séquence tokenisée (après le token SOT - Start of Text).
   • Cela décale les tokens d'information vers des positions plus tardives, forçant le modèle à apprendre à utiliser les embeddings de position plus profonds et à ne pas ignorer les informations qui ne sont pas au tout début.

Objectif de la perte : La perte finale est une somme pondérée de la perte de contraste sur la légende longue complète et la perte sur la légende courte échantillonnée et remplie.

3. Contributions Clés

• Identification d'un biais systémique : L'article fournit une analyse empirique démontrant que les modèles CLIP (y compris Long-CLIP) souffrent d'un biais fort vers les premiers tokens et les phrases de résumé, ce qui nuit à la récupération d'informations fines situées plus tard dans le texte.
• Stratégie d'augmentation sans paramètres : Contrairement à d'autres approches qui ajoutent des modules complexes ou des étapes d'entraînement supplémentaires (distillation, masquage conditionnel), DeBias-CLIP utilise uniquement des transformations de données (suppression, échantillonnage, padding).
• Robustesse améliorée : La méthode rend le modèle beaucoup plus robuste aux permutations de phrases et à la suppression des résumés, simulant des scénarios réels où l'ordre du texte peut varier (ex: RAG, documents découpés).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks de récupération texte-image (Urban1k, DCI, DOCCI) et de récupération texte-court (COCO, Flickr30k).

• Récupération de texte long (State-of-the-Art) :

  • DeBias-CLIP bat les méthodes de l'état de l'art (Long-CLIP, SmartCLIP, FineLIP) sur la plupart des benchmarks longs.
  • Sur Urban1k, l'amélioration est notable : +5,6 % et +5,1 % en Text-to-Image (T2I) pour les modèles ViT-B/16 et ViT-L/14 par rapport à SmartCLIP.
  • Sur DOCCI, il atteint des performances comparables ou supérieures, avec une amélioration de +1,5 % sur ViT-L/14.

• Récupération de texte court :

  • Contrairement à certaines méthodes qui sacrifient les performances courtes pour les longues, DeBias-CLIP améliore également la récupération sur des textes courts (COCO, Flickr30k), surpassant Long-CLIP de manière significative (+9,8 % à +11,4 % sur Flickr).

• Robustesse aux permutations :

  • Long-CLIP subit une chute de performance de -9,7 % lorsque la première et la quatrième phrases sont échangées, et de -17,1 % si la première phrase est supprimée.
  • DeBias-CLIP réduit considérablement ces pertes : seulement -3,5 % pour l'échange de phrases et -12,1 % pour la suppression (sur OpenAI CLIP), démontrant une utilisation bien meilleure des informations tardives.

• Analyse de l'attention :

  • Les visualisations montrent que Long-CLIP a un poids d'attention qui décroît fortement après les 10 premiers tokens.
  • DeBias-CLIP maintient une attention plus uniforme et constante sur l'ensemble des tokens du texte, prouvant que le biais vers les premiers tokens a été atténué.

• Génération d'images :

  • En remplaçant l'encodeur texte de Stable Diffusion XL par DeBias-CLIP, les images générées à partir de légendes longues capturent mieux les détails fins (couleurs, objets spécifiques) situés dans les phrases suivantes, là où Long-CLIP échoue souvent.

5. Signification et Impact

Ce travail est significatif car il remet en question l'hypothèse implicite selon laquelle l'extension de la fenêtre contextuelle (via l'interpolation des positions) suffit à rendre CLIP performant sur des textes longs.

• Changement de paradigme : Il démontre que la qualité des données d'entraînement (la structure des légendes) est aussi cruciale que l'architecture du modèle. Le « raccourci » offert par les résumés en début de phrase doit être activement supprimé pour forcer l'apprentissage de détails.
• Efficacité : La méthode est extrêmement efficace car elle ne nécessite aucun nouveau paramètre à entraîner ni aucune modification architecturale complexe, ce qui la rend facilement applicable à n'importe quel encodeur CLIP pré-entraîné.
• Applications futures : Cette approche ouvre la voie à des modèles vision-langage plus robustes pour des tâches complexes comme la compréhension de documents, la recherche d'images dans de grands corpus textuels (RAG) et la génération d'images conditionnée par des descriptions riches et détaillées.

En résumé, DeBias-CLIP corrige la « myopie » des modèles CLIP en forçant l'attention à se porter sur l'ensemble du texte, et non seulement sur son début, grâce à une ingénierie astucieuse des données d'entraînement.