🤖 machine learning

Rethinking CD: A Reproducibility Study and Extension on the Ineffectiveness of Contrastive Decoding at Mitigating Object Hallucinations in MLLMs

Cet article reproduit et étend des recherches antérieures pour démontrer que le décodage contrastif ne parvient pas à atténuer véritablement les hallucinations d'objets dans les grands modèles de langage multimodaux, car ses gains de performance apparents sur des benchmarks tels que POPE sont souvent spécieux et ne reflètent pas une amélioration de l'ancrage visuel.

Auteurs originaux : Arnav Bendre, Guneesh Gupta, Kavish Grover, Chayan Aggarwal, Shreyansh Modi

Publié 2026-07-29

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arnav Bendre, Guneesh Gupta, Kavish Grover, Chayan Aggarwal, Shreyansh Modi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à regarder une image et à décrire ce qu'il voit. Vous voulez que le robot soit honnête, en ne disant que ce qui est réellement présent. Mais parfois, ces robots super intelligents peuvent se montrer un peu trop créatifs. Ils pourraient regarder la photo d'une plage calme et vous dire avec assurance : « Je vois un chien qui joue à la balle ! », même s'il n'y a pas de chien sur l'image. Dans le monde de l'intelligence artificielle, on appelle cela une « hallucination ». Ce n'est pas que le robot ment intentionnellement ; c'est simplement qu'il a lu tellement d'histoires sur des chiens sur des plages qu'il suppose qu'il y en a forcément un, même quand la preuve visuelle est absente.

Pour corriger cela, les scientifiques essaient d'apprendre aux robots à « revérifier » leurs propres pensées. Une idée populaire, appelée Décodage Contrastif, fonctionne comme un jeu de « Trouvez les différences ». On demande au robot d'imaginer l'image de deux manières : une vue claire et nette (la vue de l'« expert ») et une vue floue ou bruitée (la vue de l'« amateur »). La théorie est que si le robot est plus susceptible de dire « chien » dans la vue floue que dans la vue claire, c'est qu'il devine probablement basé sur son imagination, et non sur la photo. Le méthode essaie donc de supprimer ces suppositions de la « vue floue » pour forcer le robot à s'en tenir à la vérité. C'est comme un professeur disant à un élève : « Si tu ne peux pas le voir clairement, ne l'écris pas. »

Mais voici le rebondissement : une nouvelle étude suggère que ce tour de passe-passe de la « double vérification » pourrait nous tromper. Les chercheurs ont découvert qu'au lieu d'aider réellement le robot à mieux voir, cette méthode ne fait que pousser le robot à dire « Oui » plus souvent, qu'il y ait raison ou non. C'est comme un élève qui, au lieu d'étudier plus dur, décide simplement de répondre « Oui » à toutes les questions parce qu'il sait que le professeur aime les réponses positives. L'étude approfondit l'analyse pour prouver que ce correctif populaire ne corrige pas la vision du robot ; il change simplement son humeur.

La Grande Illusion du « Oui »

Le document que vous allez lire est une histoire de détective écrite par une équipe de chercheurs de l'Institut indien de technologie de Roorkee. Ils ont décidé de passer la méthode du « Décodage Contrastif » sous un microscope pour voir si elle fonctionne réellement comme annoncé. Leur objectif principal était de répondre à une question brûlante : Cette méthode empêche-t-elle réellement les robots d'halluciner, ou ne fait-elle que simuler les résultats ?

Les chercheurs ont commencé par répéter les expériences d'une étude précédente (par Yin et al., 2026) mais ont utilisé des cerveaux de robots plus récents et plus puissants (plus précisément des modèles appelés LLaVA et Qwen). Ils voulaient voir si la « magie » du Décodage Contrastif tenait la route face à de nouvelles données. Ce qu'ils ont trouvé est un peu décevant pour les partisans de la méthode, mais très excitant pour quiconque souhaite des robots honnêtes.

Le Biais du « Oui »
La première grande découverte est que le Décodage Contrastif ne rend pas réellement le robot plus attentif à l'image. Au lieu de cela, il pousse le robot à dire « Oui » beaucoup plus souvent. Imaginez un test où le robot doit répondre par « Oui » ou « Non » à des questions telles que : « Y a-t-il un chat sur cette photo ? ». Si le robot dit habituellement « Non » trop souvent (même quand il y a un chat), cette méthode le pousse à dire « Oui » davantage.

Les chercheurs ont découvert que ce changement fait paraître le robot plus intelligent sur le papier car il réussit plus de questions par accident. Mais attention : le robot dit aussi « Oui » à des images où il n'y a pas de chat, créant ainsi de nouvelles erreurs. C'est comme un élève qui, au lieu d'apprendre la matière, décide de répondre « Oui » à chaque question. Il peut avoir de la chance et en réussir quelques-unes, mais il invente aussi des réponses qui ne sont pas vraies. L'étude a montré que l'on peut obtenir exactement les mêmes scores « améliorés » simplement en disant au robot : « Hé, essaie de dire "Oui" plus souvent », sans utiliser aucun truc de décodage sophistiqué.

Le Piège de la « Cupidité »
La deuxième partie du mystère implique une valve de sécurité appelée « Contrainte de Plausibilité Adaptative ». Il s'agit d'une règle destinée à empêcher le robot de dire des choses farfelues ou impossibles. Cependant, les chercheurs ont découvert que cette règle est si stricte qu'elle transforme fondamentalement le robot en un penseur « cupide » (ou avare).

Considérez l'« échantillonnage » (sampling) comme le fait pour le robot de lancer un dé pour choisir son prochain mot, lui donnant une chance d'être créatif et d'explorer différentes options. L'approche « cupide » (greedy) est celle du robot qui choisit toujours le mot unique le plus évident, ignorant toutes les autres possibilités. L'étude a révélé que la règle de sécurité force le robot à arrêter de lancer les dés pour simplement choisir le mot le plus évident à chaque fois. Ainsi, quand la méthode semble fonctionner, c'est en réalité parce que le robot a cessé d'être créatif pour devenir ennuyeusement prévisible. L'« amélioration » ne vient pas du fait que le robot voit mieux, mais du fait qu'il a trop peur de prendre des risques.

L'Expérience du « Bruit »
Pour prouver que la partie « amateur » de la méthode (la vue floue) ne faisait aucun travail réel, les chercheurs ont tenté quelque chose d'audacieux. Ils ont remplacé le robot « amateur » par du bruit pur et aléatoire — comme un signal radio rempli de parasites. Ils s'attendaient à ce que la méthode échoue complètement sans le robot amateur. Au lieu de cela, la méthode a fonctionné presque exactement de la même manière !

C'est comme un chef essayant d'améliorer une soupe en ajoutant un ingrédient secret. Si vous retirez l'ingrédient secret et le remplacez par de l'eau plate, et que la soupe a toujours le même goût, vous réalisez que l'ingrédient secret n'a jamais rien fait. Les chercheurs ont conclu que la vue « amateur » n'aide pas le robot à voir la vérité ; elle ajoute simplement un bruit aléatoire qui n'a pas d'importance. La véritable raison pour laquelle les scores augmentent est simplement le biais du « Oui » et la règle de la « cupidité ».

L'Analyse Approfondie : Que se passe-t-il à l'intérieur du cerveau ?
Les chercheurs ne se sont pas arrêtés à la surface. Ils ont regardé à l'intérieur du « cerveau » du robot (ses couches de réseaux neuronaux) pour voir où la magie opérait. Ils ont découvert que le robot sait en réalité si un objet est présent ou non, profondément dans ses couches. Il possède l'information ! Mais lorsque le Décodage Contrastif intervient, il n'utilise pas cette information pour corriger l'erreur. Au lieu de cela, il se contente de presser le bouton « Oui » plus fort pour tout, même pour les mauvaises réponses.

C'est comme avoir un élève qui sait que la réponse est « Non », mais le professeur (la méthode de décodage) continue de lui tapoter l'épaule en murmurant : « Dis "Oui" ! ». L'élève finit par dire « Oui » quand même, même s'il savait mieux. La méthode ne corrige pas le savoir de l'élève ; elle le supplante simplement par une poussée uniforme vers le « Oui ».

Le Verdict

Alors, quelle est la conclusion finale de cette étude ? Les chercheurs sont très sûrs de leurs découvertes. Ils ont démontré que la populaire méthode du « Décodage Contrastif » est largement une illusion. Elle n'aide pas réellement le robot à voir le monde plus clairement ni à arrêter d'inventer des choses. Au lieu de cela, elle change simplement le comportement du robot pour qu'il dise « Oui » plus souvent et cesse de prendre des risques créatifs.

C'est un point crucial car beaucoup de gens utilisent cette méthode pour construire des IA plus sûres et plus fiables. L'étude nous avertit que nous pourrions être en train de célébrer une victoire fictive. Si nous voulons des robots qui n'hallucinent pas, nous ne pouvons pas nous contenter de modifier la façon dont ils choisissent leurs mots ; nous devons trouver un moyen de réellement les aider à comprendre les images qu'ils regardent. D'ici là, le tour de passe-passe du « Décodage Contrastif » n'est qu'une façon habile de faire croire que le robot prête attention, alors qu'en réalité, il joue simplement au jeu du « Oui, je le vois ! » avec le monde entier.

Résumé Technique : Repenser le CD : Une étude de reproductibilité et une extension sur l'inefficacité du décodage contrastif pour atténuer les hallucinations d'objets dans les MLLM

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) souffrent d'hallucinations d'objets, où les modèles génèrent des sorties fluides et cohérentes incluant des objets, des attributs ou des relations absents de l'entrée visuelle. Ce mode de défaillance reflète un faible ancrage visuel et pose des risques significants dans des domaines à enjeux élevés tels que la conduite autonome et la santé.

Le Décodage Contrastif (CD) a été proposé comme une stratégie d'inférence sans entraînement pour atténuer ces hallucinations. L'idée centrale consiste à contraster la distribution de sortie d'un modèle « expert » (conditionné par l'entrée originale) contre un modèle « amateur » plus faible et sujet aux hallucinations (conditionné par une entrée perturbée, telle qu'une image bruitée ou une instruction modifiée). Les jetons favorisés par le modèle amateur sont pénalisés, ce qui est censé supprimer les hallucinations. Bien que des variantes du CD telles que le VCD (Visual Contrastive Decoding), l'ICD (Instruction Contrastive Decoding) et le SID (Self-Introspective Decoding) aient rapporté des gains de performance sur des benchmarks comme POPE, des travaux récents de Yin et al. (2026) ont remis en question la question de savoir si ces gains reflètent une réelle améliation de l'ancrage visuel ou s'ils ne sont que des artefacts de contraintes de décodage.

2. Méthodologie

Cette étude réalise une reproductibilité et une extension rigoureuse de l'analyse de Yin et al. (2026). Les auteurs évaluent de nouveaux modèles (LLaVA-v1.5-7B/13B et Qwen2.5-VL-7B) à travers des benchmarks discriminatifs (POPE, MME) et génératifs (CHAIR, NoCaps, LLaVA-Bench).

La méthodologie est structurée autour de deux affirmations principales et de plusieurs expériences d'investigation inédites :

A. Reproduction des Affirmations Centrales

Biais Unidirectionnel : L'étude teste si les gains du CD proviennent d'un décalage unidirectionnel de la distribution de sortie vers les réponses « Oui », plutôt que d'une amélioration de la reconnaissance d'objets.
Contrainte de Plausibilité Adaptative (APC) : L'étude vérifie si l'APC, une composante du CD qui restreint la génération aux jetons probablement présents sous la distribution de l'expert, dégrade effectivement l'échantillonnage du CD en une approximation de la recherche gloutonne (greedy search).

B. Expériences d'Investigation Étendues

Pour décomposer la nature de la performance du CD, les auteurs introduisent plusieurs analyses inédites :

Analyse de Basculement (Flip Analysis) : Décomposition des basculements « Non $\rightarrow$ Oui » en Vrais Positifs (corrections authentiques) et Faux Positifs (hallucinations injectées) pour calculer la précision du basculement et le rappel des VP.
Test de Stress sur le Déséquilibre des Étiquettes : Évaluation du CD sur des sous-ensembles de POPE avec des ratios d'étiquettes asymétriques (25/75 et 75/25 Oui/Non) pour déterminer si les gains persistent lorsque la métrique (Exactitude Équilibrée / Balanced Accuracy) est immunisée contre les changements de seuil.
Analyse de Similitude de Jaccard : Mesure du chevauchement lexical entre l'échantillonnage augmenté par l'APC et le décodage glouton à travers différentes valeurs de seuil ( $\beta$ ) pour quantifier le décalage vers un comportement glouton.
Analyse des Logits par Jeton : Analyse de l'ajustement contrastif $d = E - A$ (Logits de l'Expert moins ceux de l'Amateur) pour déterminer si le mécanisme supprime sélectivement les jetons hallucinés ou s'il les amplifie.
Proxy de Bruit Gaussien : Remplacement de la branche amateur par un bruit gaussien pour tester si la structure spécifique du modèle amateur est nécessaire aux effets du CD.
Analyse de l'Objectif par Couche (Layer-wise Logit-Lens Analysis) : Utilisation de sondes linéaires sur les couches de transformeurs pour déterminer si le décalage du CD est sélectif (ciblant les hallucinations) ou une translation uniforme de la marge de décision.

3. Résultats Clés

Reproduction des Affirmations

Biais Unidirectionnel Confirmé (avec nuances) : Pour le VCD et le SID, l'étude confirme un décalage unidirectionnel vers les sorties « Oui », particulièrement sur les sous-ensembles adverses. Cependant, l'ICD présente une inversion, basculant vers le « Non » tout en restant neutre en termes d'exactitude. Cela suggère que la direction du décalage dépend de la modalité de perturbation, et non du paradigme CD lui-même.
L'APC se dégrade en Recherche Gloutonne : L'étude confirme que l'APC réduit l'échantillonnage à un décodage de type glouton. À mesure que le seuil $\beta$ augmente, la similitude de Jaccard entre les sorties augmentées par l'APC et la recherche gloutonne augmente significativement, tandis que la similitude avec l'échantillonnage direct reste plate. Au $\beta=0,1$ par défaut utilisé par le VCD, la sortie est déjà dominée par le biais glouton.

Résultats Étendus

Gains Spurieux vs Correction Génuine :
- Précision de Basculement : Les contrôles non visuels (Ajustement basé sur le Prompt et Modification de la Couche de Sortie) atteignent une précision de basculement comparable ou supérieure au VCD et au SID.
- Rappel des VP : Les contrôles non visuels corrigent une proportion plus élevée d'erreurs de faux négatifs que les méthodes CD.
- Injection d'Hallucinations : Les méthodes CD introduisent de nouvelles hallucinations à des taux comparables à ceux des contrôles non visuels.
Sensibilité au Déséquilibre des Étiquettes : Lorsqu'ils sont évalués sur des jeux de données asymétriques (25/75 ou 75/25), les méthodes CD ne parviennent pas à améliorer l'Exactitude Équilibrée. En fait, leurs performances déclinent souvent par rapport à la ligne de base, indiquant que leurs gains sur le POPE standard sont pilotés par un déplacement du seuil de décision pour correspondre à l'équilibre des classes du jeu de données plutôt que par une amélioration de l'ancrage visuel.
Inefficacité Mécaniste :
- Analyse des Logits : L'ajustement contrastif $d$ ne supprime pas sélectivement les jetons hallucinés. Sur LLaVA, il amplifie à la fois les jetons réels et les jetons hallucinés. Sur Qwen, il supprime les objets réels plus que les hallucinations.
- Validation par Proxy : Un proxy de bruit gaussien (écartant entièrement la branche amateur) produit des performances sur CHAIR statistiquement indiscernables des vraies méthodes CD, suggérant que la branche amateur n'apporte aucun bénéfice unique.
- Sélectivité par Couche : Bien que la présence d'un objet soit linéairement décodable à partir des couches intermédiaires (Couche 8), le décalage du CD est non sélectif à toutes les profondeurs. Il renforce le faux « Oui » pour la vaste majorité des hallucinations. Un simple biais scalaire ajouté à la marge de décision reproduit l'intégralité du gain de POPE du CD, confirmant que l'effet est un décalage de seuil, et non une correction mécaniste.

4. Contributions

Le papier apporte les contributions spécifiques suivantes :

Reproduction : Il valide les affirmations centrales de Yin et al. (2026) sur une nouvelle suite de modèles (LLaVA-v1.5, Qwen2.5-VL) et sur plusieurs jeux de données.
Décomposition des Gains : Il fournit des preuves granulaires (précision de basculement, rappel des VP, exactitude équilibrée) que les améliorations rapportées du CD sont des artefacts spurieux de décalages de la distribution de sortie plutôt qu'une véritable atténuation des hallucinations.
Dissection Mécaniste : À travers des analyses au niveau des logits et des couches, il démontre que le CD échoue à supprimer sélectivement les hallucinations et applique plutôt une translation uniforme à la frontière de décision.
Nouveaux Baselines : Il introduit et valide un proxy de bruit gaussien et teste la résistance du CD sous des déséquilibres extrêmes d'étiquettes, offrant de nouveaux outils pour l'audit des interventions au moment de l'inférence.

5. Signification et Revendications

Le papier conclut que les stratégies actuelles de décodage contrastif ne doivent pas être considérées comme des moyens efficaces d'atténuer les hallucinations.

Le « Mirage » de la Performance : Les gains apparents sur des benchmarks comme POPE sont montrés comme étant « spurieux », résultant du fait que la distribution de sortie du modèle se déplace pour mieux correspondre à l'équilibre des classes du jeu de données ou du fait que l'APC réduit l'échantillonnage à une recherche gloutonne.
Manque d'Ancrage Visuel : L'étude démontre que le CD n'améliore pas la capacité du modèle à distinguer les objets présents des objets absents. Dans certains cas (ex: Qwen), il pénalise activement les objets corrects tout en épargnant les hallucinations.
Appel à la Rigueur : Les auteurs soutiennent que le domaine doit dépasser les métriques d'exactitude agrégées qui sont sensibles aux changements de seuil. Ils proposent que les futures interventions sans entraînement soient auditées pour leur sélectivité (cible-t-elle spécifiquement les hallucinations ?) et leur validité mécaniste (corrige-t-elle le processus de génération sous-jacent ?) plutôt que de simples scores de benchmark.

Le travail met au défi la communauté de développer des approches plus fiables pour atténuer les hallucinations, en soulignant que les corrections actuelles « sans entraînement » pourraient n'être qu'un simple réglage de la frontière de décision plutôt qu'une résolution du problème d'ancrage.