🤖 AI

Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

Ce papier propose Residual Decoding (ResDec), une méthode sans entraînement qui atténue les hallucinations des modèles vision-langage en exploitant l'information historique et les mécanismes internes de l'évolution des logits pour corriger les biais linguistiques et améliorer l'ancrage visuel.

Auteurs originaux : Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

Publié 2026-03-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami très intelligent, mais un peu rêveur, qui regarde une photo avec vous. Ce ami est un Grand Modèle de Vision et de Langage (LVLM). Il est excellent pour décrire ce qu'il voit, mais il a un défaut majeur : il a tendance à halluciner.

C'est comme si, en regardant une photo d'un chat, il commençait à vous raconter une histoire magnifique sur un chat qui vole dans l'espace, simplement parce qu'il a lu beaucoup de livres de science-fiction. Il ne regarde plus vraiment la photo ; il se laisse porter par ce qu'il sait déjà (ses "préjugés linguistiques").

Voici comment les chercheurs de cette nouvelle étude, ResDec, ont trouvé une astuce géniale pour arrêter ce rêveur sans même avoir à le rééduquer (pas de réentraînement coûteux !).

1. Le Problème : Le "Bruit" de l'Imagination

Quand ce modèle intelligent décrit une image, il ne le fait pas d'un seul coup. Il construit sa phrase mot par mot, comme un maçon posant des briques.

Au début, il regarde bien la photo.
Mais plus il avance dans sa phrase, plus il commence à se fier à ce qu'il a appris par cœur (les "préjugés").
Résultat : Il commence à inventer des détails qui ne sont pas là (des voitures qui n'existent pas, des couleurs fausses). C'est ce qu'on appelle une hallucination.

2. La Découverte : Le Secret est dans l'Histoire

Les chercheurs ont observé quelque chose de fascinant. Avant même que le modèle ne dise le mot final (par exemple, "banane"), il a déjà "pensé" à ce mot en silence, dans les étapes précédentes.

Imaginez que le modèle est un chef d'orchestre.

Au début de la symphonie (les premiers mots), il y a un peu de chaos.
Puis, il y a un moment de calme absolu où la musique devient claire et précise. C'est là que la vérité sur l'image est la plus forte.
Ensuite, le modèle commence à s'embellir, à ajouter des fioritures (c'est là que les hallucinations arrivent).

Les chercheurs ont découvert qu'en regardant l'histoire des mots précédents, on peut repérer ce moment de "calme" où la vérité visuelle est la plus forte.

3. La Solution : Le "Guidage par Résidu" (ResDec)

C'est ici que la magie opère. ResDec agit comme un guide de voyage très attentif.

Au lieu de laisser le modèle décider seul du mot suivant, ResDec fait ceci :

Il regarde en arrière : Il examine les derniers mots que le modèle a produits.
Il détecte le "moment de vérité" : Il cherche le moment où le modèle était le plus sûr de lui et le plus aligné avec l'image (le moment de calme).
Il crée un "fil d'ariane" : Il prend cette information claire et la mélange avec la décision actuelle du modèle.

L'analogie du GPS :
Imaginez que vous conduisez dans un brouillard épais (l'image floue) et que votre GPS (le modèle) commence à vous dire : "Tournez à gauche, il y a une plage !" (alors qu'il n'y a qu'un mur).

Sans ResDec : Vous tournez à gauche et vous vous écrasez.
Avec ResDec : Le système se souvient que, 5 secondes plus tôt, le GPS était très sûr qu'il n'y avait pas de plage. Il corrige le cap en temps réel en disant : "Attends, ton historique dit que tu n'as pas vu de plage il y a 5 secondes. Restons sur la route."

4. Pourquoi c'est génial ?

Pas de chirurgie : On n'a pas besoin de rééduquer le modèle (ce qui prendrait des mois et des millions de dollars). On change juste la façon dont il "parle" au moment de la réponse.
Rapide et léger : C'est comme ajouter un petit filtre à une photo. Ça ne ralentit presque pas la machine.
Efficace : Les tests montrent que cela réduit énormément les mensonges du modèle. Il devient beaucoup plus fidèle à la réalité de l'image.

En résumé

ResDec, c'est comme donner un miroir à un modèle d'intelligence artificielle qui commence à rêver. Au moment où il s'apprête à inventer quelque chose, on lui montre son propre historique pour lui rappeler : "Hé, tu étais très sûr de toi il y a deux secondes, et là tu étais dans le vrai. Restons sur cette vérité."

C'est une méthode simple, intelligente et gratuite pour rendre nos IA plus honnêtes et plus fiables.

1. Problématique : Les Hallucinations de Priorité Linguistique

Les modèles de langage-vision à grande échelle (LVLM) excellent dans les tâches multimodales, mais ils souffrent d'un problème majeur : les hallucinations. Ces dernières se définissent comme la génération de contenu grammaticalement cohérent mais qui ne correspond pas ou contredit l'entrée visuelle.

Le papier identifie une cause spécifique et critique : les hallucinations de priorité linguistique (Language-Prior Hallucination).

Mécanisme : Au fur et à mesure que le modèle génère une réponse, le contexte textuel s'accumule. Les biais statistiques du pré-entraînement (priors linguistiques) finissent par dominer le contexte visuel.
Observation clé : Les auteurs ont découvert que les tokens hallucinés émergent souvent dans la distribution des logits (probabilités) avant même que le modèle ne décode explicitement la réponse. À certains moments, la probabilité d'un token halluciné (basée sur des co-occurrences textuelles fréquentes) dépasse celle du token correct (basé sur l'image), entraînant une erreur finale.

2. Méthodologie : Le Décodage Résiduel (ResDec)

Pour résoudre ce problème sans réentraînement coûteux, les auteurs proposent ResDec, une stratégie de décodage « plug-and-play » (prête à l'emploi) et sans entraînement (training-free).

A. Analyse de l'Inférence Implicite

Les auteurs observent que les LVLM possèdent une capacité de prédiction multi-tokens implicite. Les informations sur la réponse correcte sont déjà présentes dans les distributions de logits des tokens historiques, bien avant la génération finale.
En analysant l'évolution temporelle de la distribution des tokens candidats via la Divergence de Jensen-Shannon (JSD), ils identifient trois phases :

Phase de Pré-Clarté Sémantique (PSAP) : Distribution chaotique et instable.
Phase d'Ancrage Sémantique (SAP) : La distribution se stabilise (JSD proche de zéro), indiquant que le modèle a « ancré » la sémantique correcte.
Phase de Divergence Expressive (EDP) : La distribution diverge à nouveau car le modèle cherche à varier l'expression, ce qui le rend vulnérable aux priorités linguistiques.

B. Le Mécanisme de ResDec

ResDec exploite la stabilité de la phase SAP (et partiellement EDP) pour corriger les biais du décodage courant. Le processus se déroule en deux étapes :

Agrégation de l'Information Historique Pondérée par la Confiance :
- Le modèle sélectionne une fenêtre historique contenant les tokens des phases SAP et EDP.
- Il calcule un signal résiduel en agrégeant les logits de ces tokens historiques.
- Une pondération par la confiance ( $C_i$ ) est appliquée : les étapes historiques où la distribution des tokens est plus certaine (entropie faible) reçoivent un poids plus important.
- Cela crée un « flux résiduel » ( $\text{logit}^{\text{res}}$ ) qui représente la sémantique stable détectée précédemment.
Fusion avec le Décodage Courant :
- Les logits du token courant sont ajustés en combinant la distribution originale et le signal résiduel historique :
  $\text{logit}_{\text{final}} = (1-\alpha) \cdot \text{logit}_{\theta} + \alpha \cdot \text{logit}^{\text{res}}$
- Le paramètre $\alpha$ contrôle l'influence de la guidance historique.
- Une contrainte de troncature ( $\beta$ ) est appliquée pour filtrer les tokens peu plausibles, garantissant que la distribution reste ancrée dans le contexte visuel.

3. Contributions Clés

Découverte Mécanistique : Identification du fait que les hallucinations résultent d'une inversion temporaire des probabilités dans les logits, où les tokens hallucinés surpassent les tokens visuellement fondés avant le décodage final.
Proposition de ResDec : Une méthode de décodage innovante, sans entraînement, qui utilise l'information historique (via JSD et pondération de confiance) pour guider le modèle vers la vérité visuelle.
Efficacité et Généralisation : Contrairement aux méthodes existantes qui nécessitent des passes multiples (coûteuses en temps) ou des modifications architecturales, ResDec ne nécessite qu'un seul passage avant (single forward pass) et ajoute une surcharge de calcul négligeable.

4. Résultats Expérimentaux

Les auteurs ont évalué ResDec sur trois modèles LVLM modernes (LLaVA-1.5, InstructBLIP, Qwen2.5-VL) et une large gamme de benchmarks.

Réduction des Hallucinations :
- Sur le benchmark POPE (évaluation des hallucinations d'objets), ResDec améliore la précision moyenne de 7,84 % et le score F1 de 8,01 % par rapport au décodage standard, surpassant toutes les méthodes de l'état de l'art (SOTA) comme VCD, ICD, OPERA et MemVR.
- Sur HallusionBench et CHAIR, ResDec obtient les meilleurs résultats, réduisant significativement les descriptions d'objets inexistants.
Performance Globale :
- ResDec améliore également les performances sur des benchmarks complets (MME, MMBench, ScienceQA, MMVP), démontrant qu'il ne sacrifie pas la capacité de raisonnement pour réduire les hallucinations.
Efficacité Computationnelle :
- Le temps de latence de ResDec est quasi identique à celui du décodage standard (Greedy), avec une surcharge de seulement 0,02x. C'est nettement plus rapide que les méthodes SOTA qui nécessitent souvent 2x à 3x le temps d'inférence.

5. Signification et Impact

Ce travail est significatif car il propose une solution économique et scalable au problème des hallucinations dans les LVLM.

Pas de réentraînement : La méthode fonctionne sur n'importe quel modèle LVLM pré-entraîné sans nécessiter de données supplémentaires ou de fine-tuning.
Interprétabilité : Elle offre une nouvelle perspective sur le fonctionnement interne des LVLM, montrant que la « vérité » visuelle est souvent déjà encodée dans les logits historiques, mais masquée par les biais linguistiques au moment du décodage final.
Applicabilité : En étant légère et efficace, ResDec peut être facilement intégrée dans des systèmes de production pour améliorer la fiabilité des assistants visuels, des systèmes médicaux ou de surveillance, où les hallucinations peuvent avoir des conséquences graves.

En résumé, ResDec représente une avancée majeure en démontrant qu'une intervention intelligente au niveau du décodage, basée sur l'histoire de la génération, suffit à réaligner les modèles sur la réalité visuelle, sans alourdir le coût computationnel.