💻 computer science

Reevaluating the Intra-Modal Misalignment Hypothesis in CLIP

Ce papier remet en cause l'hypothèse de désalignement intra-modal dans les modèles CLIP en démontrant que les performances inférieures observées sur les tâches purement visuelles ne résultent pas d'un défaut d'alignement spécifique, mais plutôt d'une ambiguïté de tâche.

Auteurs originaux : Jonas Herzog, Yue Wang

Publié 2026-03-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jonas Herzog, Yue Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Grand Malentendu : CLIP est-il "mal aligné" ?

Imaginez que CLIP est un super-détective multimédia. Il a été entraîné à associer des images (comme une photo de chat) avec des mots (comme le mot "chat"). Grâce à cela, il est excellent pour dire : "Cette image correspond bien à ce mot."

Cependant, récemment, d'autres chercheurs ont émis une hypothèse inquiétante : "CLIP est excellent pour associer images et mots, mais il est nul pour comparer deux images entre elles."

Leur théorie était la suivante : comme CLIP n'a jamais appris à comparer directement deux photos (sans passer par un mot), les distances entre les images dans son cerveau seraient "faussées" ou "mal alignées". C'est comme si le détective savait très bien décrire un suspect, mais ne pouvait pas dire si deux suspects se ressemblent.

Ce papier de recherche dit : "Stop ! Cette théorie est fausse."

Voici pourquoi, expliqué avec des analogies simples :

1. L'Analogie du "Pont" (La théorie démontée)

Les chercheurs précédents pensaient que le cerveau de CLIP avait des "zones libres" où il pouvait placer les images n'importe où, tant qu'elles correspondaient aux mots. Ils pensaient que l'ordre des images entre elles était aléatoire.

L'explication de ce papier :
Imaginez que vous avez une carte géographique (l'espace des images) et des phares (les mots).

Si vous savez exactement où se trouve chaque phare par rapport à chaque point de la carte, vous savez automatiquement où se trouvent les points les uns par rapport aux autres.
Vous n'avez pas besoin d'un GPS spécial pour les points entre eux. La position des images est déduite de leur relation avec les mots.
Conclusion : Il n'y a pas de "zones libres" ou de désordre. Si CLIP comprend bien les mots, il comprend forcément la structure des images.

2. L'Analogie du "Musicien de Jazz" (Les preuves expérimentales)

Pour vérifier si CLIP était vraiment "mal aligné", les auteurs ont fait un test drôle. Ils ont comparé CLIP (qui apprend avec des mots) à un autre modèle appelé DINO (qui apprend seulement avec des images, sans aucun mot).

L'hypothèse : Si le problème venait de l'absence de mots, alors DINO (qui n'a pas de mots) devrait être parfait, et CLIP (qui a des mots) devrait être nul.
La réalité : Ils ont regardé les "histogrammes de similarité" (une sorte de graphique montrant à quel point les images se ressemblent).
Le résultat : Les graphiques de CLIP et de DINO étaient presque identiques !
La leçon : Si DINO (qui n'a jamais vu de mots) montre les mêmes "anomalies" que CLIP, alors ce n'est pas un problème de CLIP. C'est juste la façon naturelle dont les ordinateurs voient le monde.

3. L'Analogie du "Portrait vs. Le Contexte" (Pourquoi les images se ressemblent-elles mal ?)

Regardez la Figure 1 du papier (décrite dans le texte). On y voit deux chats et un chien. Parfois, le détective CLIP trouve que le chien est plus proche du premier chat que du deuxième chat. Les chercheurs précédents disaient : "C'est une erreur ! Les deux chats devraient être plus proches l'un de l'autre."

L'explication de ce papier :
C'est comme si vous demandiez à un ami de comparer deux photos de chats.

Photo A : Un chat noir, endormi, sur un canapé rouge.
Photo B : Un chat blanc, en train de courir, dans un jardin vert.
Photo C (le chien) : Un chien noir, endormi, sur un canapé rouge.

Si votre ami dit "Le chien (C) ressemble plus au chat noir (A) qu'au chat blanc (B)", il n'est pas fou ! Il compare le style, la couleur et le contexte.
CLIP est un modèle "à vocabulaire ouvert". Il voit tout : la couleur, la texture, l'ambiance. Ce n'est pas une erreur d'alignement, c'est une richesse d'information. Le problème n'est pas que CLIP est confus, mais que nous lui demandons de faire un travail trop simple (juste "chat") alors qu'il voit des détails complexes.

4. La Solution : Le "Filtre de Concentration"

Si CLIP voit trop de détails (ce qui est bien), comment faire pour qu'il soit parfait pour des tâches simples comme "trouver tous les chats" ?

Les auteurs proposent une astuce simple : Le Filtre de Concentration (PCA).
Imaginez que vous avez une photo de foule. Vous voulez trouver juste les "chats". Au lieu de regarder tout le monde, vous mettez des lunettes qui effacent tout sauf les "chats".

Ils ont créé une méthode mathématique qui projette les images sur les axes les plus importants (ce qui définit la classe, par exemple "chat").
Résultat : Cette méthode simple bat toutes les méthodes complexes qui essayaient de "réparer" CLIP en le transformant en texte.

🎯 En Résumé

Ce papier nous dit :

CLIP n'est pas cassé. Il n'y a pas de "désalignement" mystérieux entre les images.
Ce qu'on prenait pour une erreur est en fait une force. CLIP voit les nuances (style, couleur, contexte) que les modèles classiques ignorent.
Le vrai problème est la question. Quand on demande à CLIP de faire une tâche simple, il répond avec toute sa complexité. Il faut juste savoir "canaliser" cette information (comme avec la méthode PCA) plutôt que de chercher à réécrire son cerveau.

La morale de l'histoire : Ne cherchez pas à réparer ce qui n'est pas brisé. Apprenez plutôt à mieux utiliser les super-pouvoirs que CLIP possède déjà !

1. Problématique

Depuis l'avènement de modèles comme CLIP, l'apprentissage contrastif image-texte a dominé le domaine des modèles fondationnels multimodaux. Cependant, des travaux récents ont émis l'hypothèse du "désalignement intra-modal" (Intra-Modal Misalignment).

L'hypothèse : L'entraînement purement contrastif (image-texte) optimise l'alignement inter-modal (image-texte) mais néglige l'alignement intra-modal (image-image).
La conséquence supposée : Les distances entre les embeddings d'images seraient mal calibrées. Par exemple, deux images d'une même classe (ex: deux chats) pourraient être plus éloignées l'une de l'autre qu'une image d'une classe différente (ex: un chien), rendant les tâches purement visuelles (comme la recherche d'images ou la classification few-shot) sous-optimales.
Les preuves antérieures : Des histogrammes de similarité cosmique montrant un chevauchement entre classes, un "écart de modalité" (modality gap) important, et des performances inférieures en recherche d'images par rapport à la recherche image-texte.

Le but de l'article est de remettre en question cette hypothèse, en démontrant que ces phénomènes ne sont pas des défauts de l'alignement, mais des comportements attendus ou des artefacts de mesure.

2. Méthodologie

Les auteurs adoptent une approche tripartite pour réévaluer l'hypothèse :

A. Analyse Théorique : La liberté de degrés (Degrees of Freedom)

L'argument théorique précédent suggérait que l'espace d'embedding possédait des degrés de liberté arbitraires pour les paires image-image, car seul le lien image-texte était contraint.

Réfutation : Les auteurs démontrent mathématiquement que si l'on considère un ensemble suffisant d'ancres textuelles (au moins $d$ ancres pour un espace de dimension $d$ ), les embeddings d'images sont entièrement déterminés par leurs similarités avec ces textes.
Conclusion : Il n'y a pas de degrés de liberté libres pour "mal aligner" les images. La structure image-image est une conséquence directe et déterminée de la structure image-texte apprise.

B. Analyse Empirique : Comparaison de Modèles

Pour isoler l'effet de l'absence d'objectif intra-modal, les auteurs comparent :

Modèles Inter-modaux uniquement : CLIP, SigLIP (entraînés uniquement sur image-texte).
Modèles avec supervision intra-modale : DINO, SigLIP2 (entraînés avec des objectifs auto-supervisés image-image en plus ou à la place du texte).
Méthode : Ils appliquent les mêmes indicateurs supposés révéler le désalignement (histogrammes de similarité, écarts de modalités) sur ces deux types de modèles. Si le "désalignement" est spécifique à CLIP, il devrait disparaître ou être réduit chez les modèles comme DINO ou SigLIP2.

C. Méthode Alternative : Projection sur les axes pertinents

Pour expliquer pourquoi les méthodes précédentes (comme l'inversion textuelle ou OTI) amélioraient les performances, les auteurs proposent une méthode simple appelée PCA←.

Principe : Au lieu de convertir l'image en texte, ils projettent les embeddings d'images sur le sous-espace défini par les principales composantes des embeddings textuels des noms de classes (ex: "a photo of a [classe]").
Hypothèse : Cela force le modèle à se concentrer sur le concept dominant pertinent pour la tâche, éliminant le bruit visuel non pertinent (arrière-plan, style) qui cause la variance intra-classe.

3. Résultats Clés

A. Réfutation des Indicateurs de Désalignement

Histogrammes de similarité : Les distributions de similarité (même classe vs classes différentes) et l'écart de modalité (image-image vs image-texte) sont presque identiques pour SigLIP (inter-modal) et SigLIP2 (intra-modal).
Interprétation : Le chevauchement des classes et l'écart de similarité ne sont pas des signes de désalignement spécifique à CLIP, mais un comportement normal des encodeurs visuels pré-entraînés qui capturent la sémantique et le style au-delà des étiquettes étroites d'un jeu de données.

B. Performance sur les Tâches Intra-Modales

Classification Few-Shot : Sur 11 jeux de données, les méthodes évitant la similarité image-image (comme Tip-X, OTI) ne surpassent pas les méthodes simples utilisant la similarité image-image directe (comme LDA ou sélection de features APE).
Comparaison de modèles : SigLIP (sans supervision image-image) surpasse souvent DINOv2 (avec supervision image-image) en classification purement visuelle basée sur la similarité. Cela prouve que l'entraînement image-texte seul produit des embeddings visuels bien alignés.
Recherche d'images (Retrieval) : La méthode PCA← (projection sur les axes de variance des noms de classes) surpasse systématiquement les méthodes de conversion image-texte (OTI) sur tous les modèles et jeux de données.

C. Rôle de l'Ambiguïté de la Tâche

Les auteurs montrent que les échecs précédents ne venaient pas d'un désalignement, mais d'une ambiguïté de la tâche. Les jeux de données utilisés dans les études précédentes (comme Dogs vs Cats) contenaient des images où des concepts secondaires (style, arrière-plan) étaient plus saillants que l'étiquette de classe. La projection PCA← résout cela en focalisant le modèle sur le concept principal.

4. Contributions Principales

Réfutation Théorique : Démonstration que les similarités image-image ne sont pas arbitraires mais dérivées de manière unique des similarités image-texte.
Réévaluation Empirique : Preuve que les indicateurs supposés de désalignement (histogrammes, écart de modalité) sont présents aussi bien chez les modèles purement visuels (DINO) que chez les modèles CLIP, invalidant leur utilité comme preuve de désalignement.
Nouvelle Explication : Identification de l'ambiguïté de la tâche (et non du désalignement) comme cause principale des performances sous-optimales en few-shot et en recherche.
Méthode Simple : Proposition de la projection PCA←, une méthode efficace et simple qui améliore les performances sans nécessiter de conversion complexe image-texte ni d'hypothèse de désalignement.

5. Signification et Impact

Changement de paradigme : Ce travail suggère que la communauté ne doit pas chercher à "corriger" un désalignement inexistant dans CLIP, mais plutôt à mieux exploiter la géométrie intra-modal existante.
Implications pour les tâches futures : Pour des tâches comme la classification few-shot ou la recherche d'images, il est préférable d'aligner les embeddings sur les axes sémantiques pertinents (via PCA ou LDA) plutôt que de contourner la similarité image-image.
Réduction de la complexité : Les méthodes complexes d'inversion textuelle (OTI) ou de ponts textuels ne sont pas nécessaires pour obtenir les meilleurs résultats, car le problème n'est pas un défaut de l'alignement, mais une question de sélection de caractéristiques pertinentes.

En résumé, l'article démontre que CLIP n'est pas intrinsèquement désaligné pour les tâches visuelles ; les difficultés observées proviennent de la manière dont les tâches sont formulées et de la présence de bruit sémantique, et non d'une limitation fondamentale de l'entraînement contrastif.