🤖 machine learning

On the modality gap and the contrastive loss in multi-modal representation learning

Cet article identifie l'écart de modalité dans l'apprentissage contrastif de type CLIP comme un échec de l'objectif InfoNCE à basse température avec des encodeurs indépendants et propose xNCE, une fonction de perte modifiée incorporant des négatifs intra-modalité qui élimine cet écart tout en améliorant la performance de classification zero-shot sans sacrifier la précision de la recherche d'information.

Auteurs originaux : Fabian Mager, Hiba Nassar, Lars Kai Hansen

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fabian Mager, Hiba Nassar, Lars Kai Hansen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez deux meilleurs amis : l'un qui ne parle que le « Dessin » et l'autre qui ne parle que le « Mot ». Vous voulez qu'ils passent du temps ensemble dans la même pièce (un espace numérique partagé) afin qu'ils puissent parfaitement se comprendre. C'est ce que des modèles d'IA comme CLIP tentent de faire : ils apprennent à associer des images avec leurs descriptions.

Mais voici le truc bizarre : même après l'entraînement, ces deux amis se retrouvent souvent debout dans les coins opposés de la pièce. Ils peuvent toujours se parler, mais ils ne se mélangent jamais vraiment. Les « embeddings » d'images se regroupent en un amas, et les « embeddings » de texte se regroupent dans un autre. C'est ce qu'on appelle le « fossé de modalité » (modality gap).

Pendant longtemps, les scientifiques ont pensé que cette séparation était due au fait que les amis avaient des personnalités différentes dès le départ (initialisation aléatoire) ou qu'ils venaient de quartiers différents (données différentes). Mais ce papier, par Fabian Mager, Hiba Nassar et Lars Kai Hansen, dit : « Attendez une minute. Ce n'est pas ça. »

Le vrai coupable : Une mauvaise partie de « Patate Chaude »

Les auteurs ont mené une expérience ingénieuse pour prouver leur point de vue. Ils ont pris deux jumeaux identiques (deux encodeurs indépendants ayant exactement les mêmes poids de départ) et leur ont présenté les mêmes images, légèrement modifiées (comme en les faisant pivoter ou en zoomant). Dans un monde parfait, ces jumeaux devraient produire des sorties identiques.

Mais lorsqu'ils ont utilisé la méthode d'entraînement standard (appelée InfoNCE) avec un réglage très spécifique (une « température basse », qui rend l'IA très exigeante), les jumeaux se sont quand même éloignés. L'un des jumeaux a commencé à parler le « Dessin », et l'autre le « Mot », même s'ils regardaient la même chose !

Cela prouve que le fossé n'est pas causé par les données ou le point de départ. Au lieu de cela, le papier soutient que la formule InfoNCE elle-même possède un bug lorsqu'elle est utilisée avec deux encodeurs distincts.

Voyez cela comme ceci : le jeu d'entraînement dit à l'IA : « Rends la paire correspondante (image + texte) très proche, et rend toutes les paires non correspondantes très éloignées. »

Le Bug : Pour rendre les paires non correspondantes « éloignées », l'IA trouve un raccourci paresseux. Elle pousse tout le groupe « Image » d'un côté de la pièce et tout le groupe « Texte » de l'autre. Cela respecte la règle « gardez-les séparés » sans réellement apprendre à les mélanger. Le papier appelle cela un « échec de mode » (mode-failure) — l'IA a trouvé un minimum local où elle pense bien faire, mais en réalité, elle se contente de cacher les deux groupes dans des coins séparés.

Cela se produit spécifiquement lorsque l'IA est réglée pour être très stricte (température basse). Si vous rendez l'IA plus décontractée (température haute), les groupes se mélangent, mais l'IA oublie alors comment distinguer les objets différents, ce qui gâche sa capacité à reconnaître les choses plus tard.

La Solution : xNCE (Le « Mixologue »)

Les auteurs proposent une solution simple appelée xNCE.

Imaginons à nouveau le jeu d'entraînement. Dans l'ancienne version, quand l'IA essayait de repousser une image « non correspondante » d'un texte « non correspondant », elle se contentait de les pousser dans des coins opposés.
Dans la nouvelle version xNCE, les règles changent : « Tu ne peux pas seulement repousser le texte loin de l'image. Tu dois aussi repousser le texte loin des autres textes, et l'image loin des autres images. »

En mélangeant les exemples « négatifs » (les choses que l'IA ne devrait pas associer) de sorte qu'ils proviennent des deux groupes, l'IA est forcée d'arrêter de se cacher dans les coins. Elle doit apprendre à garder les groupes mélangés tout en maintenant les correspondances spécifiques proches.

Qu'est-ce qui s'est passé en laboratoire ?

Les auteurs ont testé cela sur deux éléments :

MNIST (Chiffres manuscrits) : Ils ont traité les deux encodeurs comme s'ils étaient deux « modalités » différentes.
- Le Résultat : Avec l'ancienne méthode à basse température, les deux groupes étaient complètement séparés (10-séparables). Avec xNCE, le fossé a diminué de manière spectaculaire, même à ces températures strictes.
COCO (Images et Légendes) : C'est le test en conditions réelles.
- Le Fossé : La méthode standard laissait un énorme fossé (distance de 0,88). La nouvelle méthode l'a réduit à 0,12 (avec un mélange léger) et même à 0,05 (avec un mélange important).
- Le Compromis : Les auteurs ont trouvé un point d'équilibre. S'ils mélangeaient juste un peu (1 % à 5 % des négatifs), ils pouvaient presque totalement fermer le fossé sans nuire à la capacité de l'IA à trouver la bonne image pour un texte (récupération/retrieval).
- Le Bonus : Plus important encore, cette nouvelle méthode a rendu l'IA meilleure pour deviner ce qu'est une image sans avoir été enseigné (classification zero-shot). Sur quatre tests différents, la nouvelle méthode a battu l'ancienne. Par exemple, sur le test CIFAR-100, elle a amélioré la précision de 4,2 points de pourcentage.

Ce que le papier ne dit pas

Il est important de savoir ce que ce papier ne prétend pas :

Il ne dit pas que les températures hautes sont la réponse. En fait, le papier montre qu'augmenter simplement la température pour mélanger les groupes détruit la capacité de l'IA à reconnaître des objets spécifiques (faisant chuter la précision ImageNet de 51,9 % à 15,5 %).
Il ne dit pas que l'ajout d'une « régularisation » supplémentaire (forcer l'IA à être uniforme) est la meilleure solution. Les auteurs ont testé une version régularisée, et elle n'a pas amélioré la performance zero-shot aussi bien que leur méthode de mélange.
Il ne prétend pas que c'est une solution miracle pour chaque problème. Le papier suggère que pour les tâches nécessitant une précision extrême (comme trouver la correspondance exacte n°1), vous pourriez vouloir mélanger très peu (1-5 %). Pour les tâches nécessitant une compréhension plus générale, vous pourriez mélanger davantage.

L'essentiel à retenir

Le papier suggère que le « fossé de modalité » n'est pas un mystère de la nature ; c'est un bug dans la recette d'entraînement standard. En mélangeant simplement les exemples « négatifs » dans le jeu d'entraînement, les auteurs ont créé une méthode (xNCE) qui force l'IA à réellement apprendre un langage partagé, plutôt que de simplement se cacher dans des coins séparés. C'est un petit ajustement qui rend l'IA plus intelligente, plus unifiée et plus performante pour deviner de nouvelles choses, tout en conservant les réglages stricts et « exigeants » qui font habituellement sa force pour repérer les détails.

Résumé Technique : Sur l'écart de modalité et la perte contrastive dans l'apprentissage de représentations multi-modales

Énoncé du Problème

L'article étudie l'écart de modalité (modality gap) observé dans les modèles d'apprentissage contrastif à double encodeur de type CLIP. Bien qu'ils soient entraînés dans un espace de représentation partagé, les plongements (embeddings) d'images et de textes occupent souvent des régions distinctes et non superposées (sous-variétés) plutôt que de former une distribution pleinement mixte. Alors que la littérature précédente attribue ce phénomène à des facteurs tels que les biais d'initialisation, l'hétérogénéité des données, la dimensionnalité ou les réglages de température, les auteurs soutiennent que l'écart est fondamentalement induit par un échec de la formulation InfoNCE (Information Noise-Contrastive Estimation) lorsqu'elle est appliquée à des encodeurs indépendants.

Les auteurs émettent l'hypothèse que dans un contexte multi-modal avec des encodeurs indépendants, le terme d'uniformité de l'objectif InfoNCE agit non pas simplement comme un mécanisme de préservation de l'information, mais comme un « terme dégénéré » doté d'un objectif de divergence. Plus précisément, la fonction de perte peut être minimisée en éloignant les deux modalités l'une de l'autre tout en maintenant le classement correct des paires positives, ce qui conduit à un minimum local où les modalités sont séparées, particulièrement à des températures basses.

Méthodologie

Analyse Théorique

Les auteurs fournissent une analyse théorique de la limite de la perte InfoNCE lorsque le paramètre de température $\tau \to 0^+$ . Ils démontrent que pour des encodeurs indépendants, la minimisation de la perte à basse température encourage les similitudes négatives ( $a_{ik}$ ) à converger vers leur moyenne ( $m_i$ ) tout en préservant le classement des paires. Cela résulte en une « distribution de similitude étroite » où tous les échantillons négatifs de l'autre modalité forment un groupe serré et distant de l'ancre, créant ainsi l'écart de modalité. Ils identifient cela comme un échec de mode (mode-failure) de l'objectif InfoNCE sous des conditions de faible température.

Méthode Proposée : xNCE

Pour remédier à cela, les auteurs proposent xNCE (Mixed Noise-Contrastive Estimation), une modification simple de la perte InfoNCE standard.

Mécanisme : Au lieu d'échantillonner des paires négatives exclusivement à partir de la modalité opposée (inter-modale), xNCE mélange des négatifs intra-modaux (ex: image-image) et des négatifs inter-modaux (image-texte) au sein du dénominateur de la probabilité softmax.
Raisonnement : En incluant des négatifs intra-modaux, la fonction de perte empêche la solution triviale consistant à séparer les deux modalités. Si les modalités s'éloignent, les paires négatives intra-modales deviendraient également peu similaires, augmentant ainsi la perte. Cela force les encodeurs à aligner les modalités pour satisfaire la contrainte d'uniformité sur l'ensemble mixte.
Implémentation : Un ratio de mélange ( $r_{mix}$ ) contrôle la proportion de négatifs intra-modaux par rapport aux négatifs inter-modaux. La perte reste une entropie croisée symétrique sur la matrice de similitude mixte.

Configuration Expérimentale

L'étude mène des expériences dans deux contextes :

Uni-modal (Image-vers-Image) : Utilisation de MNIST/EMNIST avec deux encodeurs indépendants et initialisés de manière identique (pas de partage de poids) pour isoler l'effet de la formulation de la perte des idiosyncrasies de l'initialisation ou des données.
Multi-modal (Image-vers-Texte) : Fine-tuning de CLIP (ViT-B/16) sur le jeu de données MS-COCO.
- Baselines : InfoNCE standard (avec températures apprenables et fixes), InfoNCE régularisée (ajoutant des termes explicites d'alignement/uniformité), et InfoNCE à haute température.
- Évaluation : Sondes linéaires pour la séparabilité des modalités et l'utilité en aval (classification de chiffres, mAP de détection d'objets), performance de recherche (R@1, R@5, R@10), et classification zero-shot sur CIFAR-10/100, Caltech-101 et ImageNet.

Résultats Clés

1. Validation Uni-modale (MNIST)

Induction de l'écart : Même avec une initialisation identique et des encodeurs indépendants, l'InfoNCE à basses températures ( $\tau=0.01$ ) génère activement un écart de modalité (distance de modalité $\approx 0.75$ , précision de classification de modalité de 100 %).
Efficacité de xNCE : xNCE réduit significativement cet écart à travers toutes les températures. À $\tau=0.01$ , la distance de modalité chute à $0.09$, et la précision de classification de modalité tombe en dessous de 100 %, indiquant un alignement réussi.
Sensibilité à la température : L'InfoNCE montre une transition abrupte de le chevauchement des modalités près de $\tau \approx 0.09$ . xNCE présente une transition plus graduelle et des distances de modalité systématiquement plus faibles.

2. Performance Multi-modale (MS-COCO)

Réduction de l'écart de modalité : L'InfoNCE standard (avec $\tau$ apprenable) produit un écart important (distance $0.88$). L'InfoNCE régularisée réduit cela à $0.12$ mais entraîne un surcoût d'entraînement de ~25-30 %. xNCE réduit l'écart à $0.12 $(à$ r_{mix}=0.01$) et à $0.05 $(à$ r_{mix}=0.50$) sans termes de perte additionnels ni coût computationnel significatif.
Performance de recherche (Retrieval) :
- L'InfoNCE standard atteint les scores de recherche R@1 les plus élevés.
- xNCE avec de faibles ratios de mélange ( $r_{mix}=0.01, 0.05$ ) maintient une quasi-parité avec l'InfoNCE sur R@5 et R@10, avec seulement une baisse marginale de R@1.
- L'InfoNCE à haute température réduit drastiquement l'écart mais dégrade sévèrement la performance de recherche (R@1 chute à $\approx 15\%$ ).
Classification Zero-Shot :
- Constat crucial : xNCE avec un faible mélange ( $r_{mix}=0.01$ ) améliore la précision Top-1 en zero-shot sur les quatre benchmarks (CIFAR-10, CIFAR-100, Caltech-101, ImageNet) par rapport à la baseline InfoNCE.
- En revanche, l'InfoNCE régularisée et l'InfoNCE à haute température échouent tous deux à améliorer (et dégradent souvent) la performance zero-shot par rapport à la baseline, suggérant que la régularisation explicite ou les hautes températures endommagent la géométrie discriminative requise pour le transfert.
Compromis (Trade-off) : Augmenter le ratio de mélange ( $r_{mix}$ ) réduit davantage l'écart et augmente la sémantique au niveau de l'instance (mAP) mais dégrade de manière monotone la précision de la recherche et la précision zero-shot, indiquant un compromis ajustable entre la séparabilité des modalités et la structure discriminative.

Signification et Revendications

L'article affirme que l'écart de modalité n'est pas un sous-produit inévitable des données ou de l'initialisation, mais un échec de mode de l'objectif InfoNCE lorsqu'il est utilisé avec des encodeurs indépendants à basses températures.

Compréhension mécaniste : Les auteurs démontrent que l'écart provient du fait que le terme d'uniformité de l'InfoNCE peut être satisfait par la divergence des modalités. xNCE corrige cela en introduisant des négatifs intra-modaux, éliminant ainsi l'« objectif de divergence ».
Avantage pratique : Contrairement à l'entraînement à haute température ou à l'ajout de termes de régularisation complexes, xNCE offre une modification simple et efficace sur le plan computationnel qui réduit l'écart de modalité sans sacrifier (et dans certains cas, en améliorant) la géométrie discriminative nécessaire au transfert zero-shot et à la recherche.
Réglage (Tunability) : La méthode offre un compromis contrôlable entre l'alignement des modalités et la sémantique intra-modale, permettant aux praticiens de régler le ratio de mélange ( $r_{mix}$ ) en fonction des besoins spécifiques en aval (ex: recherche top-1 stricte vs représentations invariantes de modalité).

Les auteurs concluent que xNCE atténue avec succès l'écart de modalité tout en préservant ou en améliorant les capacités de transfert des modèles multi-modaux, remettant en question la nécessité de stratégies de régularisation complexes ou de régimes à haute température pour parvenir à l'alignement.