💻 computer science

Revealing Multi-View Hallucination in Large Vision-Language Models

Cet article présente le benchmark MVH-Bench pour analyser l'hallucination multi-vue dans les modèles vision-langage, et propose la méthode RSCD, une technique de décodage sans entraînement qui améliore significativement les performances en supprimant les interférences visuelles.

Auteurs originaux : Wooje Park, Insu Lee, Soohyun Kim, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim

Publié 2026-03-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Wooje Park, Insu Lee, Soohyun Kim, Jaeyun Jang, Minyoung Noh, Kyuhong Shim, Byonghyo Shim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Les Détectives Confus

Imaginez que vous avez un détective très intelligent, capable de voir des photos et de répondre à des questions sur ce qu'il voit. C'est ce qu'on appelle un Modèle Vision-Langage (LVLM).

Maintenant, imaginez que vous donnez à ce détective deux photos d'une même scène, prises sous deux angles différents (par exemple, une photo prise par la caméra du voleur et une par la caméra de sécurité).

Le problème, c'est que ce détective a tendance à se tromper de cible. C'est ce que les chercheurs appellent l'hallucination multi-vue.

Il y a deux façons dont il se trompe :

La confusion de personne (Cross-Instance) : Vous lui demandez : "Que fait l'homme en chemise blanche ?". Au lieu de regarder l'homme en blanc, il regarde l'homme en noir à côté et répond : "Il arrose les fleurs" (alors que c'est l'homme en noir qui le fait). Il mélange les informations entre les deux personnes.
La confusion d'angle (Cross-View) : Vous lui demandez : "Dans la photo 1, vers où pointe le seau ?". Au lieu de regarder la photo 1, il regarde la photo 2 et répond : "Il pointe vers le haut" (alors que dans la photo 1, il pointe vers la gauche). Il oublie de vérifier d'où vient l'information.

C'est comme si vous regardiez un film en 3D avec des lunettes mal ajustées : les personnages se mélangent et les décors sautent d'un écran à l'autre.

📝 La Solution : Un Nouveau Terrain d'Entraînement (MVH-Bench)

Pour prouver que ce problème existe vraiment et mesurer à quel point les détectives sont mauvais, les chercheurs ont créé un nouveau jeu d'entraînement appelé MVH-Bench.

C'est comme un examen de conduite très difficile :

Ils montrent des paires de photos.
Ils posent des questions pièges où la réponse "évidente" dans une photo est fausse pour l'autre.
Ils vérifient si le détective sait distinguer qui fait quoi et où cela se passe exactement.

Résultat ? Même les détectives les plus modernes (les modèles d'IA les plus récents) échouent lamentablement. Ils sont trop facilement distraits par les détails qui ne sont pas pertinents pour la question précise.

💡 La Réparation : Le "Masque de Référent" (RSCD)

Comment réparer ce détective sans le rééduquer de zéro (ce qui serait long et coûteux) ? Les chercheurs ont inventé une astuce de génie appelée RSCD (Décodage Contrastif par Décalage de Référence).

Voici l'analogie pour comprendre comment ça marche :

Imaginez que le détective est en train de lire une question complexe. S'il lit trop vite, il se trompe.

L'astuce : Au moment où il va répondre, on lui brouille légèrement la lecture de la question. On lui cache quelques mots clés ou on lui empêche de bien faire le lien entre les mots de la phrase.
La réaction : Parce qu'il ne comprend plus bien la question, il panique et regarde n'importe quoi dans les photos (souvent les mauvaises choses). Il donne une réponse "fausse" basée sur cette confusion.
Le calcul : On compare sa réponse "normale" avec sa réponse "confuse".
- Si la réponse normale et la réponse confuse sont très différentes, c'est que le détective était sur la bonne piste.
- Si elles sont trop proches, c'est qu'il est confus.
Le résultat : On utilise cette différence pour forcer le détective à se concentrer uniquement sur ce qui est vraiment important dans la question, en ignorant les distractions visuelles.

C'est comme si vous demandiez à quelqu'un de résoudre un casse-tête, puis vous lui disiez : "Attends, oublie la pièce bleue, qu'est-ce que tu vois maintenant ?". En voyant ce qui change quand on enlève un élément, on comprend mieux ce qui est essentiel.

🏆 Le Résultat

Grâce à cette astuce simple (qui ne nécessite pas de réapprendre l'IA, juste de changer la façon dont elle répond), les chercheurs ont vu les performances exploser :

Les modèles sont devenus beaucoup plus précis.
Ils ne confondent plus les personnes entre elles.
Ils ne mélangent plus les angles de vue.

En résumé : Les chercheurs ont découvert que les IA actuelles sont comme des touristes pressés qui regardent deux photos en même temps et mélangent tout. Ils ont créé un test pour le prouver et une astuce intelligente pour les forcer à ralentir, à bien lire la question, et à regarder exactement ce qu'on leur demande de regarder.

1. Problématique : L'Hallucination Multi-Vue (MVH)

Les grands modèles vision-langage (LVLM) sont de plus en plus utilisés pour traiter des images capturées sous différents angles (multi-vues), notamment dans des domaines comme l'IA embarquée, les jumeaux numériques et la surveillance. Cependant, les auteurs identifient un problème critique non encore pleinement exploré : l'hallucination multi-vue (Multi-View Hallucination - MVH).

Contrairement aux hallucinations classiques où le modèle invente des objets absents, la MVH se produit lorsque le modèle confond ou mélange des informations visuelles provenant de :

Différentes instances (Cross-Instance) : Le modèle attribue les actions ou attributs d'une personne/objet à une autre personne/objet présente dans une autre vue.
Différents points de vue (Cross-View) : Le modèle répond à une question sur une vue spécifique en s'appuyant sur les informations d'une autre vue (ex: répondre à une question sur la "vue 1" en utilisant les détails de la "vue 2").

Exemple concret : Si l'on demande "Que fait la personne en haut blanc ?" (dans la vue 1), le modèle peut répondre "Il tient un arrosoir" en s'appuyant sur la personne en haut noir visible dans la vue 2, alors que la réponse correcte est "Il pointe vers des fleurs".

2. Méthodologie

Pour analyser et résoudre ce problème, l'équipe propose une approche en trois volets : la création d'un benchmark, l'analyse des causes profondes, et le développement d'une technique de décodage.

A. Le Benchmark MVH-Bench

Les auteurs ont construit MVH-Bench, un ensemble de données d'évaluation contenant 4 800 paires de questions-réponses issues de vidéos multi-vues synchronisées (Ego-Exo4D et LEMMA).

Structure : Pour chaque paire d'images multi-vues, le benchmark génère des questions binaires (Vrai/Faux) et à choix multiples.
Stratégie de génération : Les questions sont conçues pour créer des interférences visuelles en échangeant les descripteurs (actions, objets, positions) entre les instances ou les vues.
Métriques dédiées :
- p-Acc (Pair Accuracy) : Mesure la capacité du modèle à répondre correctement à la fois aux questions "Oui" et "Non" pour une même instance/vue.
- q-Acc (Quadruplet Accuracy) : Exige que le modèle réponde correctement à l'ensemble des quatre questions binaires liées à une paire d'images.
- YER (Yes-Error Ratio) & AER (Adversarial Error Ratio) : Mesurent la tendance du modèle à répondre systématiquement "Oui" ou à choisir des distracteurs adverses.

B. Analyse des Causes

Les auteurs ont analysé la formation du contexte de la requête dans les LVLM en bloquant les mécanismes d'attention entre les tokens de texte.

Observation clé : En bloquant l'attention "texte-vers-texte" dans les couches intermédiaires du modèle (ex: couches 13-20 pour LLaVA-OneVision), la précision de référence chute drastiquement.
Conclusion : Le modèle ne comprend pas pleinement le contexte de la requête s'il ne peut pas échanger des informations entre les tokens textuels dans ces couches spécifiques. Cette incompréhension partielle le rend vulnérable aux indices visuels distracteurs provenant d'autres vues ou instances.

C. Solution : RSCD (Reference Shift Contrastive Decoding)

Pour pallier ce problème sans réentraînement, les auteurs proposent RSCD, une technique de décodage contrastif sans entraînement (training-free).

Principe : Amplifier le contraste entre les logits originaux (basés sur une compréhension complète) et des "logits négatifs" (basés sur une compréhension perturbée).
Mécanisme :
1. On applique un masque spécifique (Reference Shift Mask) sur les couches intermédiaires identifiées ( $\Lambda^*$ ). Ce masque bloque les connexions d'attention entre les tokens de texte, forçant le modèle à générer une réponse basée sur une compréhension partielle de la requête (ce qui induit une hallucination vers des indices visuels non ciblés).
2. On soustrait ces logits négatifs des logits originaux pour supprimer les prédictions basées sur des indices visuels erronés.
3. La formule de décodage est :
  $\text{logit}_{\text{rscd}} = (1 + \alpha) \cdot \text{logit}_{\text{orig}} - \alpha \cdot \text{logit}_{\text{mask}}$
Avantage : Contrairement aux méthodes précédentes qui modifient les images d'entrée, RSCD réutilise les états cachés (KV cache) des images, ce qui le rend très efficace en termes de coût de calcul.

3. Résultats Expérimentaux

Les expériences ont été menées sur Qwen2.5-VL et LLaVA-OneVision, comparant RSCD à des méthodes de mitigation d'hallucination récentes (VCD, ICD, AvisC).

Performance globale : RSCD surpasse systématiquement les méthodes de l'état de l'art.
- Sur Qwen2.5-VL, amélioration de 21,1 points sur le score global MVH par rapport à la méthode AvisC.
- Sur LLaVA-OneVision, amélioration de 34,6 points sur le score global.
Robustesse : Les modèles corrigés montrent une réduction significative du YER et de l'AER, indiquant qu'ils ne répondent plus par défaut "Oui" ou ne choisissent plus les distracteurs visuels les plus trompeurs.
Analyse qualitative : Les cartes d'attention montrent que RSCD permet au modèle de se concentrer sur la région visuelle correcte (ex: la personne spécifique mentionnée) plutôt que de se laisser distraire par des objets similaires dans d'autres vues.

4. Contributions Clés

Définition et Catégorisation : Identification formelle de l'hallucination multi-vue comme un problème distinct de l'hallucination classique, divisé en deux types (inter-instance et inter-vue).
Benchmark MVH-Bench : Création d'une ressource d'évaluation standardisée avec 4,8k paires QA et des métriques spécifiques (p-Acc, q-Acc) pour mesurer la robustesse des LVLM face aux interférences visuelles.
Analyse Mécanistique : Démonstration que la formation du contexte textuel dans les couches intermédiaires est cruciale pour l'ancrage visuel correct.
Méthode RSCD : Proposition d'une technique de décodage simple, efficace et sans entraînement qui améliore considérablement la précision des modèles existants.

5. Signification et Impact

Ce travail met en lumière une vulnérabilité critique des LVLM modernes lorsqu'ils sont déployés dans des scénarios réels impliquant plusieurs caméras ou perspectives. Les résultats suggèrent que les modèles actuels, même les plus avancés, peinent à distinguer les sources d'information dans un environnement multi-vue.

La méthode RSCD offre une solution immédiate et légère pour améliorer la fiabilité de ces modèles dans des applications critiques comme la robotique, la surveillance et l'assistance médicale, où la confusion entre les vues ou les objets peut avoir des conséquences graves. De plus, l'approche sans réentraînement (training-free) rend cette solution facilement applicable aux modèles propriétaires et open-source existants.