💻 computer science

MHSA: A Lightweight Framework for Mitigating Hallucinations via Steered Attention in LVLMs

L'article propose MHSA, un cadre léger qui atténue les hallucinations dans les modèles vision-langage de grande taille en entraînant un simple MLP à générer des motifs d'attention intermodaux corrigés, permettant ainsi de réduire les hallucinations sur divers jeux de données sans modifier les paramètres du modèle sous-jacent.

Auteurs originaux : Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire très intelligente et bien informée (l'IA) capable d'examiner une photographie et de vous raconter une histoire à son sujet. Cette bibliothécaire est incroyablement talentueuse, mais elle a une mauvaise habitude : parfois, elle s'emballe ou devient si confiante qu'elle commence à inventer des détails qui ne figurent pas réellement sur l'image. Elle pourrait dire : « Je vois un vélo rouge », alors que la photo représente en réalité un parc calme sans aucun vélo. C'est ce qu'on appelle une hallucination.

Le document que vous avez fourni présente un nouvel outil appelé MHSA (Mitigating Hallucinations via Steered Attention, soit Atténuation des hallucinations par attention guidée) pour résoudre ce problème sans licencier la bibliothécaire ni la retraiter entièrement.

Voici comment fonctionne MHSA, en utilisant des analogies simples :

1. Le Problème : Le « Regard » de la Bibliothécaire

Lorsque la bibliothécaire examine une photo pour répondre à une question, elle ne regarde pas l'image entière d'un coup. Elle concentre son « regard » (appelé attention) sur des parties spécifiques de l'image pour décider quoi dire.

Le Problème : Lorsque la bibliothécaire hallucine, son regard est souvent « vacillant » ou fixé sur les mauvais éléments. Par exemple, si elle dit « Je vois un chien », son regard pourrait dériver sur une tache d'herbe qui ressemble à un chien, plutôt que de se concentrer sur un vrai chien.
Tentatives Préalables : Avant ce document, les chercheurs pouvaient construire un « garde de sécurité » (un détecteur) pour repérer quand la bibliothécaire mentait. Mais le garde ne pouvait que dire : « Hé, tu hallucines ! » Il ne pouvait pas corriger le regard de la bibliothécaire en temps réel. D'autres méthodes tentaient de forcer la bibliothécaire à regarder plus attentivement en utilisant des règles rigides, mais ces règles étaient comme essayer de diriger une voiture avec un volant cassé — trop rigides et peu adaptables.

2. La Solution : Le « Volant » (MHSA)

MHSA agit comme un volant intelligent et léger attaché au regard de la bibliothécaire. Il ne remplace pas la bibliothécaire ; il pousse simplement doucement ses yeux dans la bonne direction lorsqu'ils commencent à errer.

Voici le processus étape par étape :

Étape 1 : La Vérification (Le Garde de Sécurité) : Avant que la bibliothécaire ne donne sa réponse finale, un petit « garde de sécurité » préentraîné (basé sur une recherche précédente appelée DHCP) scanne rapidement le regard actuel de la bibliothécaire. Il demande : « La bibliothécaire regarde-t-elle les bons éléments, ou est-elle en train d'inventer ? »
Étape 2 : Le Coup de Pouce (Le Générateur) : Si le garde dit : « Oui, elle hallucine », un tout petit programme informatique rapide (un simple « cerveau » à trois couches appelé générateur) intervient.
- Imaginez ce générateur comme un coach de correction. Il examine le regard vacillant de la bibliothécaire et calcule un ajustement minuscule.
- Il ne réécrit pas toute l'histoire ; il déplace simplement le regard légèrement pour qu'il se pose sur l'objet réel de la photo.
Étape 3 : La Correction : Le regard de la bibliothécaire est « dirigé » vers le nouvel endroit correct, et elle donne sa réponse basée sur ce qu'elle voit réellement maintenant.

3. Pourquoi est-ce Spécial ?

Le document met en avant trois avantages principaux de cette approche :

C'est Léger (L'Approche « Ajout ») : Imaginez que vous avez un immense et coûteux bâtiment de bibliothèque (le grand modèle d'IA). Vous n'avez pas besoin de le démolir et de le reconstruire. MHSA est comme l'ajout d'un petit kiosque portable à l'entrée. Il entraîne un petit assistant simple pour corriger le regard, laissant l'immense bibliothèque intacte. Cela économise énormément de temps et d'argent.
Il Apprend, il ne Devine pas : Les anciennes méthodes utilisaient des règles fixes (comme « regarde toujours au centre »). MHSA est différent ; il apprend à corriger le regard en observant des milliers d'exemples de « mauvais regards » et de « bons regards ». Il s'adapte à l'erreur spécifique que la bibliothécaire commet en ce moment.
Il Fonctionne pour les « Oui/Non » et les Histoires :
- Tâches Discriminatives : Si vous demandez : « Y a-t-il un avion ? », MHSA aide la bibliothécaire à dire correctement « Non » s'il n'y en a pas.
- Tâches Génératives : Si vous demandez à la bibliothécaire d'écrire une histoire sur la photo, MHSA l'aide à éviter d'inventer des détails (comme des « conserves » qui ne sont pas là) pendant qu'elle écrit l'histoire, mot par mot.

4. Les Résultats

Les chercheurs ont testé ce « volant » sur plusieurs types différents de bibliothécaires intelligentes (modèles d'IA comme Qwen, InternVL et LLaVA).

Le Résultat : Les bibliothécaires ont commis significativement moins d'erreurs. Elles ont arrêté d'inventer des objets qui n'étaient pas là et ont commencé à remarquer des objets qu'elles avaient précédemment manqués.
Le Compromis : Le système est si efficace qu'il n'ajoute qu'un tout petit peu de délai (environ 0,4 fois la vitesse normale) car il ne « dirige » le regard que lorsqu'il détecte un problème. La plupart du temps, la bibliothécaire regarde déjà au bon endroit, donc le volant reste inactif.

Résumé

En bref, MHSA est un ajout intelligent et peu coûteux qui agit comme un correcteur de regard en temps réel pour l'IA. Au lieu de forcer l'IA à tout réapprendre depuis zéro, il guide doucement l'attention de l'IA vers la réalité chaque fois qu'elle commence à rêvasser, rendant l'IA plus fiable et digne de confiance sans nécessiter une refonte massive.

Résumé Technique : MHSA – Un Framework Léger pour Atténuer les Hallucinations via une Attention Guidée dans les LVLM

1. Énoncé du Problème

Les Modèles Vision-Langage de Grande Taille (LVLM) ont démontré des capacités exceptionnelles dans des tâches multimodales telles que la réponse aux questions visuelles (VQA) et la légende d'images. Cependant, ils souffrent d'hallucinations, générant un contenu incohérent avec l'entrée visuelle ou absent de celle-ci. Ces hallucinations se manifestent sous forme d'objets, d'attributs ou de relations erronés, sapant gravement la fiabilité du modèle.

Les stratégies d'atténuation existantes rencontrent des limitations significatives :

Les méthodes basées sur l'entraînement (par exemple, RLHF, ajustement par instruction) nécessitent d'importantes ressources de calcul et des données annotées de haute qualité, et les améliorations sont souvent limitées à des distributions d'entraînement spécifiques.
Les méthodes au moment de l'inférence reposent souvent sur des règles heuristiques fixes et conçues à la main (par exemple, fonctions de pénalité, ré-pondération statique) qui échouent à s'adapter aux signatures d'hallucinations spécifiques de chaque échantillon d'entrée.
Les approches de décodage contrastif (par exemple, VCD, ICD) doublent généralement les coûts d'inférence en nécessitant plusieurs passages avant.

Un travail récent, DHCP (Détection des Hallucinations par Motif d'Attention Cross-Modale), a établi que les échantillons hallucinés et non hallucinés présentent des motifs d'attention cross-modale distincts. Cependant, DHCP est limité à la détection uniquement et opère principalement au niveau de la phrase, n'offrant aucun mécanisme pour l'atténuation.

2. Méthodologie : Framework MHSA

Les auteurs proposent MHSA (Atténuation des Hallucinations via une Attention Guidée), un framework léger, sans entraînement, qui comble le fossé entre la détection et l'atténuation en apprenant à corriger les motifs d'attention cross-modale.

Architecture Principale

MHSA opère via un pipeline en deux étapes « détecter puis corriger » sans modifier les paramètres du socle du LVLM :

Discriminateur ( $D$ ) : Un MLP léger à deux couches pré-entraîné (originellement issu de DHCP) qui agit comme un détecteur au niveau du token. Il analyse les poids d'attention cross-modale pour identifier les motifs hallucinatoires.
Générateur ( $G$ ) : Un MLP léger à trois couches qui prend le tenseur d'attention cross-modale original ( $A$ ) en entrée et produit un terme de correction ( $\Delta A$ ).
Mécanisme de Guidage : L'attention corrigée est calculée comme $A' = A + \Delta A$ . Pendant l'inférence, si $D$ détecte une hallucination, $G$ génère $\Delta A$ , et le LVLM utilise $A'$ au lieu de $A$ pour produire la sortie finale.

Objectifs d'Entraînement

Le générateur $G$ est entraîné à l'aide d'un objectif à trois composantes pour assurer une correction efficace et stable :

Perte Guidée par le Discriminateur ( $\mathcal{L}_{dg}$ ) : Une perte adversariale qui encourage le générateur à transformer les motifs d'attention hallucinatoires en motifs non hallucinatoires, tel que jugé par le discriminateur $D$ .
Perte de Régularisation ( $\mathcal{L}_{reg}$ ) : Une contrainte sur l'amplitude de $\Delta A$ ( $\|\Delta A\|_2^2$ ) pour garantir que les corrections sont minimales et localisées, préservant la sémantique de l'attention originale et empêchant les artefacts.
Perte de Qualité de Sortie du LVLM ( $\mathcal{L}_{LVLM}$ ) : Une perte d'entropie croisée assurant que l'attention corrigée maintient ou améliore la qualité de la sortie générée par le LVLM par rapport à la vérité terrain.

Adaptation aux Tâches Génératives

Alors que DHCP opérait originellement au niveau de la phrase, MHSA étend cela à une correction au niveau du token pour les tâches génératives (par exemple, légende d'images).

Le discriminateur et le générateur sont entraînés sur des tenseurs d'attention cross-modale par token extraits lors de la légende d'images.
Pendant l'inférence, le système évalue l'attention à chaque étape de décodage. Si le motif d'attention d'un token spécifique est signalé comme hallucinatoire, le générateur applique une correction avant l'échantillonnage de ce token.

3. Contributions Clés

Premier Framework d'Atténuation Basé sur les Données : MHSA est le premier framework à atténuer les hallucinations des LVLM en apprenant des corrections adaptatives à l'échantillon des motifs d'attention cross-modale, dépassant les règles heuristiques fixes.
Extension au Niveau du Token : Les auteurs étendent la détection basée sur l'attention du niveau de la phrase au niveau du token, permettant l'atténuation dans les tâches discriminatives (VQA) et génératives (légende).
Léger et Efficace : Le framework ne modifie pas les paramètres du socle du LVLM. Il entraîne uniquement un petit générateur MLP et utilise un discriminateur pré-entraîné, introduisant une surcharge de calcul marginale par rapport au coût d'inférence du LVLM.
Évaluation Complète : La méthode est validée sur plusieurs LVLMs de l'état de l'art (Qwen2.5-VL, InternVL2, LLaVA-v1.5) et des ensembles de données divers (MSCOCO, Objects365, OpenImages, Flickr30k).

4. Résultats Expérimentaux

Tâches Discriminatives (Benchmark POPE)

Performance : MHSA réalise des améliorations constantes et significatives des scores F1 sur tous les modèles et ensembles de données testés. Par exemple, sur Qwen2.5-VL-7B avec MSCOCO, MHSA a amélioré le score F1 de +7,42 points (passant de 85,55 à 92,97) et le Rappel de +15,78 points.
Généralisation : La méthode démontre une forte généralisation à travers différentes architectures de modèles et ensembles de données. Crucialement, elle montre des performances robustes hors distribution (OOD) ; les modèles entraînés sur un ensemble de données (par exemple, Objects365) atténuent efficacement les hallucinations lorsqu'ils sont testés sur un autre (par exemple, COCO), suggérant que les corrections apprises capturent des signatures d'hallucinations fondamentales plutôt que des artefacts spécifiques à l'ensemble de données.

Tâches Génératives (Légende d'Images)

Réduction des Hallucinations : Sur l'ensemble de données Flickr30k, MHSA a réduit les taux d'hallucination au niveau de la phrase ( $CHAIR_s$ ) et au niveau de l'instance ( $CHAIR_i$ ) de 44 % avec seulement une légère baisse de Rappel (3,9 %).
Compromis : La méthode réussit à équilibrer la suppression des hallucinations avec la préservation du contenu, évitant les chutes sévères de rappel observées dans les méthodes heuristiques agressives.

Efficacité

Latence : MHSA introduit une augmentation de latence amortie de seulement 0,43× sur le benchmark POPE-COCO. Cela s'explique par le fait que le discriminateur léger filtre tous les échantillons, et le générateur n'est invoqué que pour la minorité d'échantillons signalés comme hallucinés (environ 12,3 % dans le cadre adversarial POPE). Cela est nettement plus efficace que les méthodes de décodage contrastif qui nécessitent une surcharge fixe d'environ 1,0× pour chaque échantillon.

5. Signification et Revendications

L'article revendique que MHSA offre une nouvelle perspective sur la recherche des hallucinations en étendant les mécanismes d'attention cross-modale de la simple détection à l'atténuation active.

Insight Mécanistique : Les visualisations confirment que MHSA fonctionne comme un mécanisme de correction ciblé. Il concentre l'attention sur les régions pertinentes pour la tâche et réduit l'entropie spatiale, « guidant » efficacement le modèle loin des motifs hallucinatoires sans perturbation large de la structure d'attention.
Praticité : En évitant le fine-tuning complet du modèle et en minimisant la surcharge d'inférence, MHSA présente une solution pratique et déployable pour améliorer la fiabilité des LVLM dans les applications réelles.
Limites : Les auteurs notent que, bien que MHSA améliore significativement les métriques, il n'est pas une panacée ; des travaux futurs sont nécessaires pour explorer des architectures de générateur plus expressives et une couverture de modèles plus large.

En résumé, MHSA exploite la corrélation entre les motifs d'attention et les hallucinations pour créer un framework léger et basé sur les données qui réduit efficacement les hallucinations dans les tâches LVLM discriminatives et génératives, surpassant les approches heuristiques et basées sur l'entraînement existantes en termes d'efficacité et de généralisabilité.