💬 NLP

When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs

Ce papier présente HalluScope, un benchmark révélant que les hallucinations des modèles vision-langage proviennent principalement des priorités textuelles des instructions, et propose HalluVL-DPO, une méthode d'optimisation par préférence qui atténue efficacement ces erreurs tout en préservant les capacités visuelles.

Auteurs originaux : Pegah Khayatan, Jayneel Parekh, Arnaud Dapogny, Mustafa Shukor, Alasdair Newson, Matthieu Cord

Publié 2026-04-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pegah Khayatan, Jayneel Parekh, Arnaud Dapogny, Mustafa Shukor, Alasdair Newson, Matthieu Cord

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Le "Grand Détective" qui invente des histoires

Imaginez un Grand Détective très intelligent (c'est le modèle d'IA appelé LVLM). Ce détective a deux super-pouvoirs :

Il peut voir des images (grâce à ses yeux artificiels).
Il peut parler et décrire ce qu'il voit (grâce à son cerveau linguistique).

Le problème, c'est que ce détective est un peu trop confiant dans ses connaissances générales et un peu trop obéissant aux questions.

L'analogie du "Client qui ment"

Imaginez que vous montrez une photo d'un chien à ce détective.

Le client (la question) lui demande : "De quelle couleur est le chat sur la photo ?"
Même si le détective voit clairement qu'il n'y a aucun chat, son cerveau de "langage" prend le dessus. Il se dit : "Attends, les chats et les chiens sont souvent ensemble, et le client a demandé la couleur du chat... Je vais inventer un chat gris !".

C'est ce qu'on appelle une hallucination. Le détective ne regarde plus la photo (la réalité visuelle), il suit aveuglément ce que la question lui suggère (le texte).

🔍 L'Enquête : HalluScope (La loupe du détective)

Les chercheurs ont réalisé que les anciens tests ne savaient pas distinguer deux types d'erreurs :

Mauvaise vue : Le détective ne voit pas l'objet (il est trop flou).
Mauvaise écoute : Le détective voit l'objet, mais invente des choses parce que la question l'y pousse.

Pour régler ça, ils ont créé HalluScope, une nouvelle série de tests très astucieux. C'est comme si on testait le détective avec trois types de situations :

Le test de la vue : "Y a-t-il un chien ?" (Si oui, c'est bon).
Le test de l'imagination : "Y a-t-il un éléphant ?" (Si non, c'est bon).
Le test du piège (Le plus important) : "De quelle couleur est l'éléphant ?" (La question suppose qu'il y en a un !).

Le résultat de l'enquête : Ils ont découvert que le détective voit très bien les objets (ses yeux fonctionnent bien). Mais dès qu'on lui pose une question qui suppose la présence d'un objet absent, il hallucine immédiatement. Il écoute trop la question et pas assez la photo.

🛠️ La Solution : HalluVL-DPO (L'entraînement spécial)

Pour arrêter ce détective d'inventer des histoires, les chercheurs ont créé une nouvelle méthode d'entraînement appelée HalluVL-DPO.

L'analogie du "Jeu de rôle"

Au lieu de simplement lui montrer des images, on lui fait jouer un jeu de rôle avec deux versions de la même scène :

La version "Mentir" (Rejetée) : On lui donne un indice faux (ex: "Il y a un éléphant") et on le force à décrire l'éléphant. C'est la mauvaise réponse.
La version "Vérité" (Préférée) : On lui donne un indice vrai (ex: "Il n'y a pas d'éléphant") et on le félicite s'il dit "Je ne vois pas d'éléphant".

Le détective apprend ainsi : "Ah ! Si je suis trop obéissant à la question, je perds des points. Si je reste fidèle à ce que je vois vraiment, je gagne des points."

Ils ont aussi ajouté une règle intelligente : On ne donne pas la même importance à toutes les leçons.

Si la différence entre la bonne et la mauvaise réponse est mince (ex: juste une virgule), c'est une leçon faible (note 1).
Si la différence est énorme (ex: l'un dit "il y a un chat", l'autre dit "il n'y a rien"), c'est une leçon cruciale (note 3). On se concentre sur ces moments-là pour apprendre au détective à résister aux pièges.

🏆 Le Résultat : Un détective plus honnête

Après cet entraînement spécial :

Le détective arrête d'inventer des objets qui ne sont pas là, même quand la question est piégeuse.
Il reste aussi intelligent pour les autres tâches (décrire une scène, répondre à des questions scientifiques).
Il ne perd pas sa vue, il apprend juste à écouter ses yeux avant d'écouter ses oreilles.

En résumé

Ce papier dit : "Les IA voient bien, mais elles inventent trop parce qu'elles veulent trop bien répondre aux questions. En les entraînant avec un jeu de 'Vrai vs Faux' basé sur la réalité visuelle, on peut les rendre beaucoup plus fiables et honnêtes."

1. Problématique : La prédominance du langage sur la vision

Les modèles de grande taille vision-langage (LVLM) ont fait des progrès remarquables, mais ils restent vulnérables aux hallucinations visuelles (générer du contenu non ancré dans l'image d'entrée).

Le constat : Les travaux antérieurs attribuaient souvent ces hallucinations aux limites du "backbone" visuel (le module de perception) ou à la domination du composant linguistique.
L'observation clé des auteurs : Même lorsque la reconnaissance visuelle est précise, les LVLM modernes génèrent souvent des réponses incorrectes. Cela suggère un changement de mode de défaillance : les hallucinations ne proviennent plus principalement d'une incapacité à voir, mais d'une sur-reliance sur les priors textuels (connaissances apprises sur la co-occurrence des objets) et sur les présuppositions introduites par les instructions textuelles.
Le manque actuel : Les benchmarks existants (comme POPE, CHAIR, MMHAL-Bench) ne distinguent pas les causes des hallucinations (échec de perception vs. biais de co-occurrence vs. présuppositions de l'instruction), ce qui empêche une analyse fine et une mitigation ciblée.

2. Méthodologie

Les auteurs proposent une approche en deux temps : un nouveau benchmark diagnostique et un cadre d'entraînement pour corriger le problème.

A. HalluScope : Un benchmark diagnostique

Pour isoler les causes des hallucinations, ils introduisent HalluScope, un benchmark structuré autour de trois types de questions :

Reconnaissance d'objets positifs et aléatoires : Vérifie la capacité de base du modèle à détecter la présence ou l'absence d'objets (évalue les limites de la perception visuelle).
Reconnaissance d'objets adverses (Adversarial Object Recognition) : Pose des questions sur des objets sémantiquement plausibles mais absents de l'image (ex: demander s'il y a une "chaise" dans une image de "table" sans chaise). Cela teste la dépendance aux priors de co-occurrence appris.
Questions de présupposition adverbe (Adversarial Presupposition Attribute) : Demande des attributs (ex: "Quelle est la couleur du chapeau ?") en supposant implicitement la présence de l'objet. Cela teste la vulnérabilité aux présuppositions textuelles de l'instruction.

Construction : Le benchmark utilise une sélection diversifiée d'images COCO, une détection d'objets robuste (Florence-2 + Grounding-DINO) et une vérification en deux étapes pour garantir l'absence réelle des objets "adverses". Les objets adverses sont sélectionnés via des statistiques de co-occurrence (PMI) pour être contextuellement crédibles mais visuellement absents.

B. HalluVL-DPO : Un cadre de fine-tuning

Pour atténuer les hallucinations induites par les instructions textuelles, les auteurs proposent HalluVL-DPO, un cadre de fine-tuning basé sur l'optimisation des préférences (DPO - Direct Preference Optimization).

Optimisation pondérée par l'informativité (Sample-Informativeness) : Contrairement au DPO standard qui traite toutes les paires de préférences de manière égale, HalluVL-DPO attribue un poids ( $w$ $w$ ) à chaque paire $(y_w, y_l)$ $(y_{w}, y_{l})$ en fonction de l'écart sémantique entre la réponse choisie (ancrée) et la réponse rejetée (hallucinée).
- Score 1 (Faible) : Réponses quasi identiques.
- Score 2 (Moyen) : Différences de détails.
- Score 3 (Élevé) : Contraste clair (ex: l'une nie la présence d'un objet, l'autre l'affirme).
Construction du jeu de données : Ils génèrent un jeu de données de préférence à grande échelle (27,4k images, >100k requêtes) en utilisant des stratégies d'augmentation de "hints" (indices) unilatéraux, contrastés, et une injection d'hallucinations post-hoc. Cela permet de créer des paires où la réponse choisie est visuellement ancrée et la réponse rejetée contient des hallucinations spécifiques.

3. Contributions Clés

HalluScope : Le premier benchmark conçu spécifiquement pour démêler les causes des hallucinations (perception, priors de co-occurrence, présuppositions textuelles).
Analyse des modes de défaillance : Démonstration empirique que, sur les modèles modernes, les hallucinations sont principalement dues à la sur-reliance sur les instructions textuelles et aux priors sémantiques, et non à des échecs de perception visuelle (les modèles reconnaissent bien les objets présents et absents aléatoires, mais échouent face aux présuppositions).
HalluVL-DPO : Une méthode de fine-tuning efficace qui utilise l'optimisation de préférence pondérée pour apprendre aux modèles à rejeter les présuppositions fausses et à privilégier les réponses ancrées visuellement, sans dégrader les capacités générales.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de base comme LLaVA-1.5-7B et Qwen2-VL-7B.

Sur HalluScope :
- Les modèles de base obtiennent de bons scores sur la reconnaissance d'objets présents/absents aléatoires (>85-90%), confirmant que la perception visuelle est fiable.
- Cependant, les scores chutent drastiquement sur les tâches d'objets adverses et de présupposition (ex: AdP de 5,85% à 5,85% pour LLaVA avant entraînement).
- Après HalluVL-DPO :
  - LLaVA : L'AdP passe de 5,85% à >83%. La reconnaissance d'objets adverses passe de 58,5% à 76,5%.
  - Qwen2-VL : L'AdP passe de ~58% à >80%.
Sur d'autres benchmarks :
- Les modèles entraînés montrent des améliorations constantes sur CP-Bench, HallusionBench et CHAIR.
- Préservation des capacités : Contrairement à d'autres méthodes qui dégradent les performances générales, HalluVL-DPO maintient ou améliore les performances sur des tâches générales (MME, ScienceQA, MM-Vet).
Analyse d'ablation :
- L'ajout de paires de préférences "attribut" (générées par inversion assistée par modèle) est crucial pour la performance sur tous les benchmarks.
- L'augmentation de la taille du jeu de données jusqu'à ~20k échantillons permet de saturer les gains sur les tâches de présupposition.

5. Signification et Impact

Changement de paradigme : Ce travail déplace le focus de la lutte contre les hallucinations des limitations de la perception visuelle vers le problème d'alignement entre les modalités. Le problème n'est plus "le modèle ne voit pas", mais "le modèle écoute trop le texte".
Efficacité de la mitigation : La méthode prouve qu'il est possible de corriger spécifiquement les hallucinations induites par les prompts (très courantes dans les applications réelles) sans sacrifier la polyvalence du modèle.
Ressources ouvertes : Les auteurs publient le benchmark HalluScope, le pipeline de construction, le jeu de données d'entraînement et les modèles finaux, favorisant la reproductibilité et la recherche future.

En résumé, ce papier établit que les hallucinations modernes sont un problème d'alignement textuel-visuel et propose une solution robuste basée sur l'optimisation de préférences pondérées pour forcer le modèle à prioriser la réalité visuelle face aux présuppositions textuelles.