Résumé technique : Atténuation des hallucinations dans les modèles vision-langage de grande taille via le contrôle causal des routes

1. Énoncé du problème

Les modèles vision-langage de grande taille (LVLM) souffrent fréquemment d'hallucinations, générant un contenu fluide et plausible qui ne trouve aucun appui dans l'image d'entrée. Ce problème compromet la fiabilité des LVLM dans des déploiements réels, en particulier dans des contextes critiques pour la sécurité ou d'aide à la décision.

L'article identifie un mode de défaillance spécifique : la compétition des routes. Même lorsque les tokens visuels reçoivent de l'attention, la décision finale du token peut être dominée par la voie textuelle. Par conséquent, le décodeur suit des priors linguistiques (ce qui est plausible) plutôt que des preuves visuelles (ce qui est visible). Les stratégies d'atténuation sans entraînement existantes reposent souvent sur des proxies basés sur l'attention (par exemple, le ratio d'attention visuelle, VAR) ou un recalibrage grossier des têtes. Les auteurs soutiennent que ces approches sont insuffisantes car :

• Une masse d'attention élevée ne se traduit pas nécessairement par une contribution causale à la sortie.
• La normalisation softmax peut artificiellement gonfler les parts d'attention visuelle en affaiblissant la compétition textuelle sans ancrer réellement la décision.
• Le recalibrage grossier supprime à la fois les routes visuelle et textuelle, risquant de nuire à un raisonnement véritablement ancré.

2. Méthodologie : Contrôle causal des routes (CRG)

La méthode proposée, le Contrôle causal des routes (CRG), est une intervention sans entraînement, appliquée au moment de l'inférence, qui opère au niveau du token en décomposant les têtes d'attention en routes visuelle et textuelle distinctes.

2.1. Décomposition des routes internes aux têtes

Les auteurs exploitent la linéarité des opérations des Transformers pour décomposer la sortie de chaque tête d'attention $h$ dans la couche $l$ en deux composantes additives :

• Route visuelle ($O^{vis}_{l,h}$) : La contribution dérivée des tokens visuels.
• Route textuelle ($O^{txt}_{l,h}$) : La contribution dérivée des tokens textuels.
  La sortie totale de la tête est $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$.

2.2. Effets causaux des routes alignés sur la décision (CRE)

Au lieu de se fier aux poids d'attention, le CRG mesure l'effet causal de chaque route sur le score de décision $\ell$ du token courant (par exemple, la log-probabilité du token généré ou la marge de log-odds pour une question-réponse binaire). En utilisant des interventions do, les effets sont définis comme suit :

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$ : Le changement de score lorsque la route visuelle est supprimée.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$ : Le changement de score lorsque la route textuelle est supprimée.

Un $\Delta$ positif indique que la route soutient la décision ; un $\Delta$ négatif indique qu'elle s'oppose à la décision.

2.3. Identification des conflits et indice de dépendance visuelle (VRI)

La méthode identifie les conflits de routes où les routes visuelle et textuelle poussent la décision dans des directions opposées (les signes de $\Delta^{vis}$ et $\Delta^{txt}$ diffèrent).

• Conflit-A (+, -) : La route visuelle soutient, la route textuelle s'oppose.
• Conflit-B (-, +) : La route visuelle s'oppose, la route textuelle soutient (la marque de fabrique de l'hallucination où les priors linguistiques override les preuves visuelles).

Pour prioriser l'intervention, les auteurs définissent l'Indice de dépendance visuelle (VRI) :
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
Un VRI faible indique qu'une tête est pilotée par le texte (prédominance des priors).

2.4. Estimation efficace et intervention

• Approximation une passe avant/une gradient : Le calcul exact des effets do nécessite plusieurs passes avant. Le CRG utilise une approximation du premier ordre ne nécessitant qu'une seule passe avant et une seule requête de gradient par token. Les estimations sont dérivées du produit scalaire des sorties de route et du gradient du score de décision ($\nabla \ell$).
• Contrôle conscient des conflits :
  1. Sélectionner les $k$ têtes ayant le VRI le plus faible au sein des ensembles de conflits.
  2. Appliquer un contrôle de route textuelle ($g^{txt}_{l,h}$) pour supprimer la contribution textuelle tout en maintenant la route visuelle intacte ($g^{vis}_{l,h} = 1$).
  3. Suppression différenciée :
     • Conflit-A : Suppression légère (plage de contrôle [0,5, 1,0]) pour stabiliser le bruit.
     • Conflit-B : Suppression forte (plage de contrôle [0, 0,5]) pour couper les priors linguistiques qui contredisent les preuves visuelles.

3. Contributions clés

1. Effets causaux au niveau des routes : Introduction d'effets causaux alignés sur la décision pour les routes visuelle et textuelle au sein des têtes d'attention, allant au-delà des proxies d'attention corrélatoires.
2. Indice de dépendance visuelle (VRI) : Une métrique normalisée pour identifier les têtes prédominantes par les priors qui entraînent des hallucinations.
3. Estimateur efficace : Un estimateur du premier ordre permettant une sélection de têtes par étape avec une surcharge computationnelle minimale (une passe avant, un gradient).
4. Intervention consciente des conflits : Un mécanisme de contrôle sélectif qui supprime uniquement la route textuelle dans les têtes en conflit, préservant l'ancrage visuel.
5. Analyse théorique : Démonstration que la masse d'attention (VAR) n'est pas un proxy suffisant pour l'ancrage visuel pertinent à la décision en raison du contenu des valeurs et des effets de compétition softmax.

4. Résultats expérimentaux

La méthode a été évaluée sur cinq benchmarks couvrant des contextes discriminatifs (POPE, AMBER) et génératifs (CHAIR, MMHal-Bench, MME) à travers trois modèles (LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct).

• Réduction des hallucinations : Le CRG a réduit de manière constante les erreurs liées aux hallucinations. Sur le benchmark POPE, il a amélioré la précision de 6,3 % à 7,0 % par rapport au décodage standard et a surpassé des bases fortes comme VCD, OPERA et VTI.
• Performance générative : Sur CHAIR, le CRG a obtenu les taux d'hallucination les plus bas (CS/CI) tout en maintenant un rappel élevé et une augmentation modeste de la longueur de génération.
• Capacité multimodale : Sur MME, la méthode a amélioré les performances dans les catégories sensibles à l'ancrage (Existence, Comptage, Position, Couleur) et les tâches de raisonnement de haut niveau, indiquant que la réduction des hallucinations ne s'est pas faite au détriment des performances multimodales générales.
• Efficacité : Le CRG a entraîné une surcharge de latence de 2,27 fois (environ 139 ms/étape) par rapport au décodage standard, ce qui est comparable au décodage contrastif visuel (VCD) et nettement plus rapide qu'OPERA (7,12 fois). Crucialement, il n'a introduit aucune surcharge supplémentaire de mémoire GPU de pointe (1,00 fois).

5. Importance et revendications

L'article revendique que l'hallucination dans les LVLM est souvent le résultat d'une compétition de routes inadaptée où les priors linguistiques override les preuves visuelles. En exposant et en intervenant sur ces routes internes, le CRG offre une solution ciblée qui :

• Restaure l'ancrage visuel : Il permet au modèle de s'appuyer sur des preuves visuelles même lorsque les priors linguistiques suggèrent une réponse différente.
• Évite la suppression indiscriminée : Contrairement aux méthodes qui recalibrent des têtes entières, le CRG supprime sélectivement uniquement la route textuelle dans les têtes en conflit, préservant la voie visuelle.
• Fournit de l'interprétabilité : L'utilisation d'effets causaux et du VRI offre un diagnostic plus clair de pourquoi un modèle hallucine (c'est-à-dire des têtes spécifiques où les priors textuels dominent les preuves visuelles) par rapport aux proxies de masse d'attention.

6. Limites

Les auteurs notent explicitement plusieurs limites :

• Portée : Le CRG cible les hallucinations médiées par des conflits. Il ne peut pas corriger les erreurs où les routes visuelle et textuelle partagent le même biais (par exemple, une « banane rose » où l'encodeur visuel lui-même est biaisé) ou les erreurs dominées par des défaillances de perception/OCR.
• Preuves faibles : Dans les cas de preuves visuelles ambiguës, la méthode peut devenir trop conservatrice, supprimant des priors linguistiques utiles qui pourraient aider à deviner.
• Exigence de boîte blanche : La méthode nécessite un accès aux activations internes et aux gradients, ce qui la rend inadaptée aux API propriétaires sans modification.
• Surcharge : Bien que modeste, le calcul de gradient par token ajoute de la latence, ce qui peut être significatif pour la génération de très longs textes.