💬 NLP

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

Le document présente ADAPT, un cadre basé sur l'attention qui atténue les hallucinations dans les grands modèles de langage multimodaux en alignant la dynamique de l'attention croisée texte-image via des ancres visuelles, des mécanismes de correction en ligne et un ajustement par préférence, parvenant ainsi à une réduction significative des hallucinations tout en préservant les capacités générales.

Auteurs originaux : Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Modèle de Langage Multimodal (MLLM) comme un guide touristique très intelligent et érudit à qui l'on vient de remettre une photographie. Son travail est de décrire la photo avec précision. Cependant, ce guide a une mauvaise habitude : au fur et à mesure qu'il parle, il commence à dériver. Il commence à s'appuyer davantage sur ce qu'il pense devoir se trouver dans l'image (basé sur ses connaissances générales) plutôt que sur ce qui s'y trouve réellement. C'est ce qu'on appelle l'hallucination — inventer des détails comme « un vélo rouge » alors que la photo ne montre qu'une voiture bleue.

Le document ADAPT étudie pourquoi cela se produit et propose une solution en trois parties pour garder le guide concentré sur la photo.

Le Problème : Le « Regard qui Dérive »

Les chercheurs ont découvert que les « yeux » du modèle (son attention croisée interne) sont forts au début, mais deviennent fatigués et confus à mesure que la description s'allonge.

Au début : Le modèle regarde exactement le bon endroit (par exemple, l'avion sur la photo).
Plus tard : Le regard devient « flou ». Il peut fixer le mauvais coin de l'image, ou il peut cesser totalement de regarder l'image pour simplement deviner en fonction des mots qu'il vient de prononcer.
Le Résultat : Le modèle commence à inventer des choses parce qu'il ne vérifie plus les preuves visuelles.

Imaginez cela comme un étudiant passant un examen. Au début, il regarde le manuel (l'image) pour répondre. Mais à mi-chemin, il se fatigue, arrête de regarder le livre et commence à deviner en se basant sur ce dont il se souvient du cours (les biais linguistiques). C'est là qu'il commence à faire des erreurs.

La Solution : ADAPT

Les auteurs ont construit un système appelé ADAPT (Attention Dynamics Alignment with Preference Tuning) pour corriger cela. Ils utilisent trois outils créatifs pour maintenir le « regard » du modèle stable.

1. L'« Ancre Dorée » (Amélioration Visuelle)

Avant que le modèle ne commence à rédiger sa longue description, le système jette un coup d'œil rapide et précoce à la photo pour identifier les faits les plus importants et incontestables.

L'Analogie : Imaginez que le guide touristique reçoive un surligneur avant de commencer à parler. Il balaie rapidement la photo et surligne le sujet principal (ex. : « C'est un avion blanc »).
La Correction : Cette zone surlignée devient une « Ancre Dorée ». C'est un point de référence stable qui dit : « Peu importe ce qui arrive, rappelle-toi que c'est un avion ». Le système nettoie cette ancre pour éliminer tout biais (comme le fait que le modèle regarde toujours le côté gauche de l'image, quel que soit le contenu).

2. Le « Superviseur de Projecteur » (Inférence Supervisée par l'Attention)

Pendant que le modèle parle, ce superviseur surveille son « regard » en temps réel.

L'Analogie : Imaginez un professeur strict debout à côté du guide. Chaque fois que les yeux du guide s'éloignent de l'« Ancre Dorée » ou commencent à fixer le vide, le professeur lui tapote doucement l'épaule.
La Correction : Si l'attention du modèle commence à dériver ou à devenir « imprécise », le système ramène instantanément l'attention du modèle vers les parties pertinentes de l'image. Il ne force pas le modèle à dire exactement les mêmes mots, mais il le force à regarder les preuves pertinentes avant de parler.

3. L'« Entraînement à l'Aveugle » (Guidage de l'Attention Visuelle par DPO)

Il s'agit d'une étape d'entraînement où le modèle apprend à préférer regarder la photo plutôt que de deviner.

L'Analogie : Le modèle est entraîné selon deux scénarios :
1. Scénario A (La Bonne Méthode) : Le modèle voit la photo avec l'« Ancre Dorée » surlignée et donne une réponse correcte.
2. Scénario B (La Mauvaise Méthode) : Le modèle voit un écran noir et bruité (un « bandeau sur les yeux ») et tente de deviner la réponse.
La Correction : Le système enseigne au modèle : « Si tu regardes un écran vide, tu ne devrais pas être confiant. Si tu regardes la vraie photo, tu devrais être confiant. » Cela entraîne le modèle à s'appuyer sur les preuves visuelles plutôt que de simplement inventer des choses.

Les Résultats

Lorsque les chercheurs ont testé ce système sur différents modèles d'IA :

Moins d'Hallucinations : Les modèles ont inventé 40 à 60 % de détails fictifs en moins.
Toujours Intelligent : Les modèles n'ont pas perdu leur capacité générale à parler ou à comprendre ; ils sont juste devenus bien meilleurs pour s'en tenir aux faits de l'image.
Efficace : Le système fonctionne rapidement, ajoutant très peu de temps supplémentaire au processus.

Résumé

En bref, ADAPT réalise que les modèles d'IA se « distraient » et commencent à deviner au fur et à mesure qu'ils parlent. Pour corriger cela, il leur donne un point de référence stable (l'Ancre), un superviseur en temps réel pour attraper les regards errants, et un entraînement spécial pour valoriser ce qu'ils voient plutôt que ce qu'ils imaginent. Le résultat est une IA qui dit la vérité sur l'image qu'elle regarde.

Résumé Technique : ADAPT (Attention Dynamics Alignment with Preference Tuning)

Problématique

Les modèles de langage multimodaux (MLLM) souffrent fréquemment d'hallucinations, générant des descriptions ou des réponses incohérentes avec l'image d'entrée. Bien que les stratégies d'atténuation existantes se concentrent sur des ajustements axés sur le résultat — tels que la manipulation des probabilités de jetons (tokens) lors de l'inférence (ex: décodage contrastif) ou l'alignement des distributions de sortie via des objectifs de formation (ex: RLHF, DPO) — elles négligent largement les mécanismes internes qui pilotent ces échecs.

Cet article identifie une signature interne critique de l'hallucination : la dégradation progressive de l'attention croisée texte-image pendant la génération. Les auteurs observent qu'au fur et à mesure que la génération progresse, l'attention du modèle passe d'un état initial ancré visuellement à un état ultérieur dominé par les a priori (priors). Cette dégradation se manifeste par trois schémas d'échec spécifiques :

Dérive et Biais (Drift and Bias) : L'attention s'éloigne des preuves visuelles pertinentes au texte, devenant soit diffuse (non focalisée), soit spatialement biaisée (concentrée sur des régions non pertinentes).
Réduction de la Réactivité (Reduced Responsiveness) : Le taux de changement de l'attention croisée diminue à mesure que de nouveaux jetons sont générés, indiquant un échec à localiser à nouveau les preuves visuelles pour le contexte suivant.
Décroissance de la Valeur (Value Decay) : La valeur d'attention assignée aux jetons visuels chute considérablement à travers les couches, affaiblissant les contraintes visuelles et permettant aux a priori linguistiques de dominer.

Par conséquent, les hallucinations deviennent de plus en plus probables lors des phases tardives de la génération de textes longs.

Méthodologie : Cadre ADAPT

Pour traiter ces dynamiques internes, les auteurs proposent ADAPT (Attention Dynamics Alignment with Preference Tuning), un cadre qui intervient directement sur les dynamiques d'attention croisée à travers trois étapes synergiques :

1. Amélioration Visuelle de l'Attention Croisée (Pré-Inférence)

La première étape consiste à construire une Ancre Visuelle d'Attention Croisée ( $A_{anchor}$ ) fiable à partir de la phase initiale et ancrée de la génération (les $K$ premiers jetons). Comme l'attention croisée brute est bruitée et sujette aux "puits d'attention" (biais positionnels indépendants du contenu), les auteurs affinent les cartes d'attention multi-couches à l'aide de trois critères complémentaires :

Cohérence et Lissage (Consistency & Smoothness) : Quantifiés via des ratios d'énergie à haute fréquence et des régularisateurs de variation totale (TV) inverses pour supprimer les activations fragmentées et bruitées.
Focalisation (Focus) : Mesurée par l'entropie de Shannon, ajustée dynamiquement selon la sémantique de la requête pour équilibrer entre une focalisation sur l'objet et une focalisation globale.
Correction du Biais Spatial (Spatial Bias Correction) : Un masque de débaisage est dérivé en moyennant les cartes d'attention sur des images de bruit afin d'identifier et de supprimer les a priori positionnels indépendants du contenu.

L'ancre résultante sert de référence stable et pertinente à la requête pour la supervision en aval, et est utilisée pour créer des images "guidées par l'ancre" qui renforcent l'ancrage visuel avant le début de la génération complète.

2. Inférence Supervisée par l'Attention (Temps d'Inférence)

Pendant le décodage, le cadre surveille la fidélité de la distribution d'attention croisée actuelle ( $A_t$ ) par rapport à l'ancre pré-calculée ( $A_{anchor}$ ).

Détection : Un indice de Concentration Modulée par l'Ancre (AMC) ( $S_{AMC}$ ) est calculé pour mesurer l'alignement. Si $S_{AMC}$ tombe sous un seuil $\tau$ , cela indique une dérive de l'attention (non focalisée ou biaisée).
Correction : Lorsqu'une dérive est détectée, un opérateur de pilotage correctif parcimonieux est appliqué aux logits d'attention. Cet opérateur repondère l'attention vers les régions cohérentes avec l'ancre, ramenant efficacement le modèle loin des a priori linguistiques sans imposer une cible fixe et rigide.

3. VAG-DPO : Guidage de l'Attention Visuelle par DPO (Temps d'Entraînement)

Pour aligner les préférences intrinsèques du modèle avec les preuves visuelles, les auteurs introduisent le VAG-DPO. Contrairement au DPO standard qui contraste des réponses textuelles, le VAG-DPO contraste des réponses sous différentes conditions de preuves visuelles :

Échantillon Choisi (Chosen Sample) : Une réponse factuelle couplée à une image visuellement améliorée (dérivée de l'ancre), renforçant le lien entre les jetons corrects et les preuves visuelles saillantes.
Échantillon Rejeté (Rejected Sample) : Une réponse hallucinatoire couplée à une image de bruit, créant une condition "aveugle" où le modèle ne devrait pas assigner une confiance élevée à un contenu non supporté.

Cet objectif pénalise explicitement la génération d'hallucinations à haute confiance basées uniquement sur les a priori linguistiques.

Contributions Clés

Aperçu Diagnostique : L'article révèle systématiquement un processus de dégradation de l'attention en deux étapes (de l'Ancrage Visuel vers la Dominance des A Priori) et identifie trois schémas d'échec spécifiques (dérive, réduction de réactivité, décroissance de la valeur) associés aux hallucinations.
Mécanisme de Raffinement : Une méthode novatrice pour affiner l'attention croisée en une ancre fiable utilisant trois critères complémentaires (spectraux, lissage, focalisation) et une correction explicite du biais spatial.
Cadre Intégré : La conception d'ADAPT, qui couple la correction de la dérive de l'attention en ligne pendant l'inférence avec l'alignement des préférences par guidage de l'attention visuelle pendant l'entraînement.
Validation Empirique : Des expériences exhaustives démontrant qu'ADAPT réduit les taux d'hallucination de 40 à 60 % sur les principaux backbones (LLaVA, Qwen-VL) tout en préservant les capacités multimodales générales.

Résultats Expérimentaux

Les auteurs ont évalué ADAPT sur quatre benchmarks majeurs d'hallucination : Obj-Hal (métriques Chair), AMBER, MM-Hal, et POPE.

Performance : La version complète d'ADAPT a atteint des résultats de l'état de l'art (SOTA) sur tous les benchmarks et backbones. Par exemple, sur le modèle LLaVA-v1.5-7B, il a réduit le score Chair de 7,8 à 3,8 et le score Hal sur AMBER de 36,4 à 15,2.
Efficacité : La variante sans entraînement (ADAPT-TF) seule a surpassé de nombreuses méthodes avancées. Le cadre complet n'introduit qu'un léger surcoût de temps d'exécution de seulement 1,42x par rapport à la ligne de base, ce qui est nettement plus efficace que d'autres interventions au moment de l'inférence comme OPERA (7,20x).
Généralisation : La méthode a montré une forte capacité de généralisation à travers différentes familles de modèles (variantes 7B et 13B de LLaVA et Qwen) et a maintenu les capacités multimodales générales (MME, MMBench) avec une dégradation minimale par rapport au DPO classique.
Ancrage (Grounding) : Les ancres visuelles raffinées ont démontré des performances supérieures dans les tâches de localisation (RefCOCO/RefCOCOg), atteignant une précision et une mIoU plus élevées que CLIP et d'autres méthodes basées sur l'attention.

Signification et Revendications

L'article affirme qu'ADAPT fournit une nouvelle perspective basée sur l'attention pour atténuer les hallucinations. En déplaçant l'attention de la manipulation de la sortie axée sur le résultat vers les comportements internes de l'attention croisée texte-image, les auteurs démontrent que les hallucinations ne sont pas simplement le résultat de données d'entraînement de mauvaise qualité ou de stratégies de décodage, mais une conséquence de la dégradation de la dynamique de l'attention au fil du temps.

La portée de ce travail réside dans :

Intervention Basée sur le Mécanisme : Dépasser le réglage "boîte noire" des sorties pour intervenir directement sur les mécanismes d'attention internes du modèle.
Conception Synergique : Démontrer que la combinaison de la supervision au moment de l'inférence et du réglage des préférences au moment de l'entraînement produit des résultats supérieurs à l'une ou l'autre approche prise isolément.
Praticité : Offrir une solution qui est à la fois hautement efficace pour réduire les hallucinations et suffisamment efficace sur le plan computationnel pour un déploiement pratique.

Les auteurs concluent que l'exploration et la correction des dynamiques d'attention internes constituent une voie pratique et efficace pour construire des MLLM plus fidèles.