💬 NLP

The Mirage of Performance Gains: Why Contrastive Decoding Fails to Mitigate Object Hallucinations in MLLMs?

Cet article soutient que le décodage contrastif échoue à atténuer véritablement les hallucinations d'objets dans les modèles de langage multimodaux, révélant que son succès apparent sur des bancs d'essai comme POPE n'est qu'une illusion causée par des ajustements de distribution grossiers et une réduction au décodage glouton plutôt qu'une véritable suppression des hallucinations.

Auteurs originaux : Hao Yin, Guangzong Si, Zilei Wang

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Yin, Guangzong Si, Zilei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le « tour de magie » qui n'en était pas un

Imaginez que vous avez un assistant robotique très intelligent mais légèrement confus (un grand modèle de langage multimodal, ou MLLM) qui regarde des images et répond à des questions à leur sujet. Parfois, ce robot se trompe — il pourrait dire qu'il y a une « banane bleue » sur la photo d'une banane jaune. C'est ce qu'on appelle une hallucination.

Pendant un certain temps, des chercheurs ont utilisé une technique appelée Décodage Contrastif pour corriger cela. Ils prétendaient qu'il s'agissait d'un « filtre à hallucinations » capable de repérer les mensonges du robot et de les arrêter.

Cet article soutient que ce « filtre » ne fonctionne pas réellement. Au lieu de cela, l'amélioration des scores de test du robot est le résultat de deux astuces habiles qui donnent l'impression qu'il est plus intelligent sans réellement le rendre plus véridique.

Analogie 1 : L'astuce du « Monsieur Oui » (Ajustement unidirectionnel)

La mise en scène :
Imaginez un jeu télévisé où l'animateur demande : « Y a-t-il une chaise sur cette image ? »

Le Problème : Le robot est naturellement timide et a tendance à dire « Non » trop souvent, même quand il y a effectivement une chaise.
La « Solution » : La méthode de Décodage Contrastif agit comme un entraîneur qui chuchote au robot : « Hé, si tu n'es pas sûr à 100 %, dis juste "Oui" ! »

Ce qui se passe réellement :

Sur le test spécifique utilisé (le benchmark POPE), les questions sont réparties à parts égales (50/50) entre « Oui » et « Non ».
Comme le robot disait trop souvent « Non » au départ, le forcer à dire « Oui » plus souvent équilibre accidentellement le score. On a alors l'impression que le robot s'améliore dans son travail.
Le Piège : Le robot ne regarde pas mieux l'image. Il se contente de dire « Oui » plus souvent. Si vous le testez sur un autre ensemble de questions où le « Oui » est déjà la réponse courante, cette astuce rendra le robot moins bon car il commencera à dire « Oui » à tout, même quand il a tort.

La preuve de l'article :
Les auteurs ont testé une « fausse » solution. Ils ont simplement ajouté une instruction au robot disant : « S'il te plaît, essaie de répondre "Oui" dès que possible. »

Résultat : Cette fausse solution a amélioré les scores de test autant que la méthode complexe du « Décodage Contrastif ».
Conclusion : L'amélioration ne venait pas du fait que le robot apprenait à mieux voir ; c'était simplement parce qu'on lui avait dit de dire « Oui » plus souvent.

Analogie 2 : Le « Filet de sécurité » qui devient une camisole de force (Contrainte de plausibilité adaptative)

La mise en scène :
Lorsqu'un robot répond, il choisit généralement un mot parmi une liste de possibilités. Parfois, il utilise une méthode d'« échantillonnage » (sampling), ce qui revient à lancer un dé pour choisir un mot en haut de la liste. Cela apporte de la variété mais peut mener à des erreurs.

La « Solution » :
Le Décodage Contrastif inclut une règle appelée « Contrainte de plausibilité adaptative ». Elle est censée être un filet de sécurité qui empêche le robot de choisir des mots bizarres ou impossibles.

Ce qui se passe réellement :

Les auteurs ont découvert que ce « filet de sécurité » est si strict qu'il coupe presque toutes les options de la liste.
Il force le robot à arrêter de lancer les dés pour simplement choisir la réponse la plus évidente à chaque fois.
En termes techniques, cela transforme une stratégie d'Échantillonnage flexible en une recherche Greedy (gloutonne) rigide (toujours choisir le premier choix).
Le Piège : Sur ce test spécifique, choisir le premier choix (Greedy Search) fonctionne mieux que de lancer les dés. Ainsi, la « solution » a amélioré le score non pas en arrêtant les hallucinations, mais en forçant le robot à arrêter d'être créatif pour devenir simplement prévisible et ennuyeux.

La preuve de l'article :
Les auteurs ont appliqué la règle du « filet de sécurité » à un robot standard sans utiliser les astuces sophistiquées du « Décodage Contrastif ».

Résultat : Le score du robot a bondi de manière significative, rejoignant presque les méthodes sophistiquées.
Conclusion : La méthode sophistiquée n'a pas fait le plus gros du travail ; c'est la simple règle du « filet de sécurité » qui l'a fait. Et puisque cette règle force simplement le robot à être prévisible, elle ne corrige pas la cause profonde des hallucinations.

Le verdict final

L'article conclut que les « gains de performance » observés dans ces modèles sont un mirage.

Ce n'est pas une question de vérité : Ces méthodes ne permettent pas aux modèles de mieux comprendre les images.
C'est une question de biais : Elles ne font que déplacer les réponses du robot pour qu'elles correspondent à l'équilibre spécifique du test (dire « Oui » plus souvent).
C'est une question de rigidité : Elles forcent le robot à arrêter de deviner pour simplement choisir la réponse la plus évidente, ce qui fonctionne sur ce test précis, mais ne résout pas le problème de fond du mensonge.

En bref : L'article dit : « Arrêtez de célébrer ces méthodes comme un remède aux hallucinations. Elles ne font que jouer avec les scores des tests, elles ne réparent pas le cerveau du robot. »

Les auteurs suggèrent que pour vraiment corriger les hallucinations, nous avons besoin de méthodes qui aident réellement le robot à voir l'image correctement, et non de méthodes qui trichent pour obtenir un score plus élevé aux tests.

Résumé technique : Le mirage des gains de performance dans le décodage contrastif pour les MLLM

Énoncé du problème

Les modèles de langage de grande taille multimodaux (MLLM) souffrent d'« hallucinations d'objets », où les modèles génèrent des sorties factuellement incorrectes qui ne sont pas alignées avec les entrées visuelles. Ce problème pose des risques importants dans des domaines critiques tels que la conduite autonome et la santé. Bien que les stratégies de décodage contrastif (par exemple, le décodage contrastif visuel [VCD], le décodage contrastif d'instructions [ICD] et le décodage auto-introspectif [SID]) soient largement adoptées pour atténuer ces hallucinations, cet article soutient que leur succès rapporté sur le benchmark POPE est largement illusoire. Les auteurs avancent que ces méthodes ne parviennent pas à réduire réellement les hallucinations, mais obtiennent des gains de performance grâce à des mécanismes trompeurs qui ne traitent pas la cause profonde du problème.

Méthodologie et analyse

L'article utilise un cadre analytique rigoureux pour déconstruire les gains de performance du décodage contrastif, identifiant deux facteurs trompeurs primaires :

Ajustement unidirectionnel de la distribution de sortie :
Les auteurs analysent comment le décodage contrastif modifie la distribution de sortie du modèle. Ils démontrent que ces méthodes ne filtrent pas efficacement les hallucinations, mais appliquent plutôt un biais unidirectionnel grossier vers la génération de réponses « Oui ».
- Mécanisme : Les échantillons contrastifs (par exemple, des images déformées ou des instructions perturbées) sont destinés à induire des hallucinations afin qu'elles puissent être supprimées. Cependant, les auteurs montrent que ces entrées contrastives induisent en réalité un fort biais vers les réponses « Non ». Lorsque la formule de décodage contrastif soustrait ces logit biaisés vers le « Non » de la distribution originale, elle pousse effectivement la sortie finale vers le « Oui ».
- Conséquence : Sur les jeux de données où le modèle de base est biaisé vers le « Non » (par exemple, MSCOCO-Random), ce décalage équilibre artificiellement la distribution, améliorant ainsi la précision. Inversement, sur les jeux de données déjà biaisés vers le « Oui » (par exemple, GQA-Adversarial), ce même mécanisme dégrade les performances.
Dégradation de la stratégie d'échantillonnage via des contraintes de plausibilité adaptatives :
L'article étudie le rôle de la Contrainte de Plausibilité Adaptative, une composante utilisée dans VCD, ICD et SID pour empêcher la génération de jetons de faible probabilité.
- Mécanisme : Cette contrainte tronque le pool de jetons candidats en fonction d'un seuil de confiance ( $\beta$ ). Les auteurs démontrent que, sous une stratégie de décodage par échantillonnage, cette contrainte élimine agressivement les options de faible probabilité, réduisant ainsi le processus d'échantillonnage stochastique à une recherche gloutonne (greedy search) déterministe.
- Conséquence : Puisque la recherche gloutonne est intrinsèquement plus performante que l'échantillonnage sur des tâches de classification binaire comme POPE (qui pose des questions de type « Oui/Non »), les gains de performance observés sont attribués au changement de stratégie de décodage plutôt qu'à l'atténuation des hallucinations.

Contributions clés

L'article apporte trois contributions distinctes au domaine de l'évaluation des MLLM et de l'atténuation des hallucinations :

Identification du biais unidirectionnel : Les auteurs révèlent que les améliorations de performance du décodage contrastif proviennent d'un ajustement brutal et unidirectionnel de la distribution de sortie. Cet ajustement équilibre par coïncidence la distribution sur des jeux de données spécifiques (où la base est biaisée vers le « Non »), mais échoue à traiter le mécanisme d'hallucination sous-jacent.
Découverte de la dégradation de la stratégie de décodage : L'article identifie que la Contrainte de Plausibilité Adaptative est le principal moteur des gains de performance lors de l'utilisation de l'échantillonnage. En transformant la stratégie d'échantillonnage en une approximation de la recherche gloutonne, la contrainte crée une amélioration trompeuse qui n'est pas liée à l'atténuation des hallucinations.
Validation via des méthodes d'amélioration spécieuses : Pour prouver que ces gains ne sont pas uniques au décodage contrastif, les auteurs ont développé et évalué des méthodes d'« amélioration spécieuse » :
- Ajustement basé sur le prompt (PBA) : Ajouter des prompts comme « Répondez Oui si possible ».
- Modification de la couche de sortie (OLM) : Forcer les sorties « Oui » lorsque les probabilités de « Oui » et de « Non » sont proches.
- Application de contrainte autonome : Appliquer la contrainte de plausibilité adaptative sans le décodage contrastif.
- Résultat : Ces méthodes, qui n'ont aucune base théorique pour l'atténuation des hallucinations, ont obtenu des gains de performance comparables ou supérieurs à ceux de VCD et SID, confirmant que les gains sont des artefacts de décalage de distribution et de changements de stratégie de décodage.

Résultats expérimentaux

Les auteurs ont mené des expériences approfondies sur le benchmark POPE (sous-ensembles Random, Popular, Adversarial) et d'autres benchmarks (MME, CHAIR, NoCaps, LLaVA-Bench) en utilisant des modèles tels que LLaVA-v1.5 et Qwen-VL.

Benchmark POPE : Les méthodes de décodage contrastif ont montré des améliorations significatives de la précision sur le sous-ensemble « Random » (où les bases sont biaisées vers le « Non »), mais ont souvent dégradé les performances sur le sous-ensemble « Adversarial » (où les bases sont biaisées vers le « Oui »).
Méthodes spécieuses : PBA et OLM ont reproduit ces tendances, atteignant des augmentations de précision similaires sur le sous-ensemble Random et des déclins similaires sur le sous-ensemble Adversarial, malgré l'absence de logique d'atténuation des hallucinations.
Autres benchmarks : Sur les tâches discriminatives (MME) et génératives (CHAIR, NoCaps) où la distribution de sortie n'est pas biaisée vers le « Non », les méthodes de décodage contrastif n'ont pas montré d'améliorations et ont souvent provoqué des baisses de performance.
Isolation de la contrainte : L'application de la contrainte de plausibilité adaptative seule à une stratégie d'échantillonnage a produit des gains de performance presque identiques aux méthodes de décodage contrastif complètes, isolant la contrainte comme la véritable source de « l'amélioration ».

Signification et affirmations

L'article conclut que l'efficacité perçue des stratégies de décodage contrastif pour atténuer les hallucinations d'objets est un mirage. Les gains de performance observés sur le benchmark POPE ne sont pas une preuve de réduction des hallucinations, mais sont plutôt des artefacts de :

L'équilibrage artificiel des distributions de sortie sur des jeux de données spécifiques.
La conversion de l'échantillonnage stochastique en recherche gloutonne déterministe.

Signification :

Évaluation critique : Ce travail remet en question la dépendance de la communauté envers le benchmark POPE et les méthodes actuelles de décodage contrastif comme solutions définitives pour les hallucinations.
Direction future : Il appelle à de nouveaux critères d'évaluation capables de distinguer l'atténuation réelle des hallucinations du simple décalage de distribution ou des changements de stratégie de décodage. Les auteurs préconisent des méthodes qui équilibrent la correction des réponses incorrectes avec la préservation des réponses correctes, plutôt que de biaiser les sorties de manière unidirectionnelle.
Impact : En exposant ces facteurs trompeurs, l'article vise à guider la recherche future vers le développement de solutions véritablement efficaces pour les hallucinations dans les MLLM, garantissant des systèmes d'IA plus transparents et responsables dans les applications critiques.