💬 NLP

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

Cet article propose une méthode pour atténuer les hallucinations dans les grands modèles de vision-langage en affinant les plongements textuels afin de réduire la dépendance excessive aux priors linguistiques et de favoriser une intégration plus équilibrée des indices visuels, atteignant ainsi des améliorations de performance significatives à travers de multiples bancs d'essai d'hallucination.

Auteurs originaux : Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « Conteur Trop Confiant »

Imaginez que vous avez un conteur brillant (le Grand Modèle de Langage, ou LLM) qui a lu tous les livres de la bibliothèque mais qui n'a jamais vu de véritable photo. Vous montrez à ce conteur la photo d'un plan de travail de cuisine vide et lui demandez : « Que vois-tu ? »

Parce que le conteur est tellement habitué à lire des histoires sur les cuisines, il commence immédiatement à deviner. Il pourrait dire : « Je vois une tasse de café fumante et un bol de fruits », même si le plan de travail est complètement vide. Il s'appuie sur sa mémoire des mots plutôt que sur l'observation de l'image.

Dans le monde de l'IA, c'est ce qu'on appelle une hallucination. Le modèle est éloquent et semble intelligent, mais il invente des choses parce qu'il fait plus confiance à son entraînement textuel qu'aux preuves visuelles.

La Configuration Actuelle : Le « Train à Deux Voies »

La plupart des modèles d'IA actuels qui regardent des images (appelés LVLMs) fonctionnent comme un train avec deux voies séparées qui fusionnent tout à la fin :

Voie A (Texte) : Les mots du conteur.
Voie B (Vision) : Les données de l'image.

Le problème est que la locomotive du train (l'IA) a été construite pour rouler sur la Voie A (le texte). Lorsque les deux voies fusionnent, le moteur préfère naturellement la Voie A, plus fluide et familière. Il ignore les bosses et les détails de la Voie B (l'image). Il traite l'image comme une suggestion secondaire plutôt que comme le fait principal.

La Solution : « VisAlign » – La « Carte Peinte »

Les chercheurs proposent une nouvelle méthode appelée VisAlign. Au lieu de simplement fusionner les voies à la fin, ils décident de peindre l'image directement sur les mots avant même que l'histoire ne commence.

Voici comment ils procèdent :

Le Regard Global : D'abord, l'IA jette un coup d'œil rapide et moyen sur l'ensemble de l'image (comme si l'on plissait les yeux devant une peinture pour en saisir l'ambiance générale).
L'Injection : Ils prennent cette « ambiance » et la mélangent directement dans l'ADN de chaque mot que l'IA est sur le point de prononcer.
Le Résultat : Désormais, quand l'IA pense au mot « tasse », ce mot n'est plus seulement une définition textuelle ; il porte la « texture » de l'image réelle qu'elle regarde.

L'Analogie :
Imaginez que vous donniez des indications à un ami.

Ancienne Méthode : Vous dites : « Tournez à gauche à la boulangerie », mais vous regardez une carte de la ville où il n'y a pas de boulangerie. Vous ne faites que réciter un script.
Méthode VisAlign : Vous tenez la carte en main, et chaque fois que vous dites « boulangerie », vous pointez physiquement l'endroit sur la carte. Le mot et l'image sont fusionnés. Vous ne pouvez pas dire « boulangerie » sans voir la carte.

Que se passe-t-il quand on le répare ?

Les chercheurs ont testé cette nouvelle méthode sur un modèle appelé Video-LLaVA (qui regarde des vidéos et répond à des questions). Ils ont observé comment l'« attention » de l'IA (là où elle concentre sa puissance cérébrale) a changé.

Avant VisAlign : L'IA se concentrait fortement sur le début et la fin de la phrase (le texte) et regardait à peine la partie centrale où se trouvaient les données de l'image. C'était comme un étudiant qui lit la question d'un examen mais ignore le diagramme.
Après VisAlign : L'IA a commencé à prêter attention aux données de l'image tout au long de la phrase. L'« attention » est devenue équilibrée. Elle a cessé de deviner en fonction de ce qui « arrive habituellement » pour commencer à regarder ce qui « se passe réellement ».

Les Résultats : Moins de Faits Inventés

L'équipe a testé cette nouvelle méthode sur plusieurs « Benchmarks d'Hallucination » (des tests conçus pour piéger l'IA et la faire mentir). Les résultats sont clairs :

Meilleure Précision : Le modèle est devenu nettement meilleur pour repérer ce qui n'était pas là (comme un chien inexistant) et pour décrire ce qui était présent.
Gains Spécifiques :
- Sur un test appelé MMVP-MLLM, la précision a bondi de 9,33 %.
- Sur POPE (un test pour les hallucinations d'objets), la précision a augmenté de près de 3 %.
- Sur Merlin (un test pour vérifier l'existence d'objets), elle s'est améliorée jusqu'à 3,4 %.
Généralisation : Ils ont testé cette astuce sur d'autres modèles d'IA (comme LLaVA 1.5 et Open-Qwen2VL), et cela a également fonctionné. C'est un correctif universel pour le problème « texte sur vision ».

Le Compromis : Un Petit Prix à Payer

L'article note une petite limitation. Parce que l'IA est désormais forcée de s'appuyer davantage sur l'image et moins sur sa mémoire du monde, elle pourrait devenir légèrement moins performante pour les questions qui ne nécessitent que des connaissances générales (comme « Qui est un acteur célèbre ? »). Cependant, pour les tâches qui nécessitent de regarder une image, l'amélioration est massive.

Résumé

L'article soutient que les modèles d'IA hallucinent parce qu'ils sont trop « riches en texte » et trop « pauvres en vision ». En mélangeant l'information visuelle directement dans les mots du texte avant que l'IA ne commence à réfléchir, on force le modèle à regarder l'image. Ce petit ajustement agit comme un fil de mise à la terre, empêchant l'IA de s'évader dans des histoires imaginaires et la maintenant ancrée dans la réalité visuelle.

Résumé Technique : Vers l'atténuation des hallucinations dans les grands modèles vision-langage par le raffinement des plongements textuels

1. Énoncé du problème

Les grands modèles vision-langage (LVLM) souffrent fréquemment d'hallucinations : des sorties qui sont linguistiquement fluides mais factuellement incorrectes ou non soutenues par l'entrée visuelle. Ces erreurs se manifestent sous forme d'hallucinations d'objets (invention d'éléments inexistants), d'hallucinations d'attributs (identification erronée de couleurs ou de propriétés), d'hallucinations de relations (fabrication de relations spatiales) et d'hallucinations temporelles (invention d'actions dans une vidéo).

Les auteurs émettent l'hypothèse que l'une des sources principales de ces hallucinations est un déséquilibre de modalité ancré dans le paradigme architectural prédominant. La plupart des LVLM (par exemple, Video-LLaVA, LLaVA) fonctionnent en ajoutant des plongements visuels au flux de jetons (tokens) d'entrée d'un grand modèle de langage (LLM) pré-entraîné. Comme le squelette (backbone) du LLM est entraîné exclusivement sur du texte, il possède un biais inhérent vers le raisonnement piloté par le langage. Lors du réglage fin (fine-tuning), le modèle a tendance à trop s'appuyer sur les priors textuels et à sous-utiliser les plongements visuels, traitant les jetons visuels comme secondaires. Cela conduit à une distribution d'attention asymétrique où le modèle se concentre lourdement sur les jetons textuels aux limites de la séquence tout en négligeant les jetons visuels situés entre eux, ce qui produit des sorties qui sont sémantiquement plausibles mais visuellement non ancrées.

2. Méthodologie : VisAlign

Pour remédier à ce déséquilibre, les auteurs proposent VisAlign, une méthode qui raffine les plongements textuels en intégrant un contexte visuel global avant que les jetons n'entrent dans les couches du transformeur. Contra-irement aux approches qui modifient le mécanisme d'attention lors de l'inférence ou ajoutent des modules de cross-attention complexes, VisAlign opère au niveau de la représentation pour encourager un raisonnement cross-modal équilibré pendant l'entraînement.

Le mécanisme central comprend trois étapes :

Agrégation visuelle globale : Les plongements visuels projetés ( $V_{proj}$ ) sont moyennés à l'aide d'une opération de pooling sans paramètre pour créer un vecteur de résumé visuel global unique ( $\hat{V}$ ).
Raffinement du plongement textuel : Ce vecteur visuel global est concaténé avec les plongements textuels originaux ( $T$ ) le long de la dimension de plongement. Une couche de projection linéaire mappe ensuite cette représentation fusionnée vers la dimension de plongement originale du LLM, produisant des plongements textuels ancrés visuellement ( $\hat{T}$ ).
Reconstruction : La séquence est reconstruite en ajoutant les plongements textuels raffinés ( $\hat{T}$ ) et les plongements visuels originaux ( $V_{proj}$ ) dans l'ordre standard utilisé par le modèle de base.

Principes de conception clés :

Injection au niveau de la représentation : L'information visuelle est injectée directement dans la représentation linguistique, forçant le modèle à apprendre des plongements qui portent à la fois des sémantiques textuelles et visuelles.
Indépendance de l'architecture : La méthode ne modifie pas l'architecture du squelette du LLM et ne nécessite pas de mécanismes de cross-attention complexes ; elle modifie simplement la séquence de jetons d'entrée.
Stratégie d'entraînement : VisAlign est entraîné parallèlement aux étapes standard de pré-entraînement et de réglage fin du LVLM de base (par exemple, Video-LLaVA). Lors de la phase de pré-entraînement, la projection et les couches linéaires sont entraînées tandis que le LLM est gelé ; lors de la phase de réglage fin, le modèle complet est entraîné de bout en bout.

3. Contributions clés

Analyse systématique du déséquilibre de modalité : Le papier fournit une preuve empirique (via la visualisation des scores d'attention) que les LVLM standards présentent un fort biais vers les jetons textuels, conduisant à une attention fragmentée sur le contenu visuel.
Une stratégie d'atténuation simple et efficace : VisAlign offre une solution légère qui rééquilibre l'attention en ancrant le contexte visuel directement dans les jetons textuels, déplaçant l'alignement de l'étape d'attention vers l'étape de plongement.
Généralisabilité : La méthode démontre son efficacité non seulement sur Video-LLaVA, mais aussi sur d'autres modèles de pointe comme LLaVA 1.5 et Open-Qwen2VL.
Complémentarité : L'approche est montrée comme étant orthogonale aux stratégies de décodage au moment de l'inférence (par exemple, Visual Contrastive Decoding), permettant des améliorations combinées.

4. Résultats expérimentaux

Les auteurs ont évalué VisAlign sur de multiples benchmarks d'hallucination, rapportant des gains constants et statistiquement significatifs :

MMVP-MLLM : A atteint une amélioration de +9,33 % de la précision, démontrant une discrimination visuelle fine améliorée.
POPE (A-OKVQA) : A amélioré la précision de +2,99 %, la précision (precision) de +1,76 % et le score F1 de +1,18 %, indiquant une réduction des hallucinations au niveau des objets.
Merlin : A montré des améliorations allant jusqu'à +3,4 % dans la cohérence factuelle et la vérification de l'existence d'objets.
HallusionBench : A obtenu une amélioration de +3 % sur le split "hard-data", particulièrement pour les tâches nécessitant un ancrage visuel plutôt qu'une connaissance mémorisée (ex: Cartes, OCR, Tableaux).
Mementos : A démontré des gains dans le domaine de la robotique pour les hallucinations d'objets (+1,13 %) et d'actions (+0,97 %), bien que les améliorations soient plus modestes dans des domaines complexes comme les Bandes Dessinées et la Vie Quotidienne.
Généralisation : Appliquée à LLaVA 1.5 et Open-Qwen2VL, VisAlign a systématiquement réduit les hallucinations et amélioré les performances sur le benchmark POPE.
Comparaison : VisAlign a surpassé la méthode d'inférence Visual Contrastive Decoding (VCD) seule. Combiner VisAlign avec VCD a produit la performance globale la plus élevée, confirmant leur nature complémentaire.

5. Signification et affirmations

Le papier affirme que les hallucinations dans les LVLM sont fondamentalement liées à l'asymétrie structurelle des architectures actuelles, où les LLM pré-entraînés dominent le processus de raisonnement. En raffinant les plongements textuels pour inclure un contexte visuel global, VisAlign force le modèle à prêter une attention plus égale aux preuves visuelles, réduisant ainsi la dépendance aux priors linguistiques.

Les auteurs positionnent VisAlign comme une approche simple mais fondée sur des principes qui améliore l'ancrage visuel sans nécessiter de refonte architecturale ou de supervision externe. Ils notent que si la méthode booste significativement les performances sur les tâches d'ancrage visuel, elle peut entraîner de légers compromis de performance dans les catégories riches en connaissances (ex: monuments, célébrités) où la dépendance aux connaissances mondiales mémorisées est bénéfique. Le travail vise à inspirer de futures recherches sur l'alignement au niveau de la représentation pour améliorer la fiabilité du raisonnement multimodal dans les applications critiques pour la sécurité.