Résumé Technique : Correction du Flou Visuel Induit par la Distraction de l'Attention pour Réduire les Hallucinations

1. Énoncé du Problème

Les Modèles de Langage Multimodaux (MLLM) souffrent fréquemment d'hallucinations d'objets, générant des descriptions confiantes mais erronées des entrées visuelles (par exemple, attribuer des objets inexistants ou des attributs incorrects). Bien que des stratégies d'atténuation existantes soient disponibles — allant de la récupération de connaissances externes et du fine-tuning à l'ajustement de l'attention et à l'apprentissage contrastif — elles souffrent souvent de trois limitations majeures :

1. Dépendance aux Ressources : De nombreuses méthodes reposent sur des ressources auxiliaires, des jeux de données à grande échelle ou des temps de traitement prolongés (par exemple, le décodage basé sur la rétrospection).
2. Compréhension Mécanistique Insuffisante : Les mécanismes de perception visuelle sous-jacents aux hallucinations restent peu explorés. Les travaux antérieurs attribuent souvent les hallucinations uniquement aux biais côté langage (par exemple, l'inertie textuelle), négligeant les distorsions dans l'interprétation visuelle.
3. Lacunes Spatio-temporelles et Théoriques : Peu d'études examinent conjointement les hallucinations à travers le prisme des dynamiques d'attention spatiale et de la dégradation temporelle. De plus, le lien théorique entre la dispersion de l'attention et la capacité de généralisation du modèle est sous-caractérisé.

Les auteurs postulent que les hallucinations sont fortement associées à un phénomène de distraction de l'attention de type humain, où une focalisation divisée conduit à une clarté visuelle dégradée. Dans les MLLM, cela se manifeste par une incohérence spatiale dans l'attention multi-têtes et un estompage temporel de l'attention envers les jetons d'image lors du décodage autorégressif.

2. Méthodologie : Approche Centrée sur l'Attention pour une Meilleure Perception des Images (AFIP)

L'article propose AFIP, un cadre sans entraînement, plug-and-play, conçu pour corriger la distraction de l'attention sans engendrer de surcharge d'inférence supplémentaire. La méthode opère sur deux fronts principaux :

A. Correction de la Distraction de l'Attention au Niveau des Têtes (Cohérence Spatiale)

Basé sur la découverte que les jetons hallucinés présentent une attention diffuse et une forte incohérence inter-têtes, AFIP agrège les informations de plusieurs têtes d'attention pour identifier des indices perceptifs fiables.

• Mécanisme : Pour chaque couche, la méthode sélectionne les $k$ têtes d'attention principales qui présentent la réponse la plus forte aux jetons d'image.
• Correction : Elle calcule la moyenne ($Avg$) et la variance ($Var$) des scores d'attention parmi ces têtes sélectionnées. Les scores d'attention sont ensuite ajustés en enrichissant les informations bénéfiques et en pénalisant les réponses incohérentes :
  $$\hat{B}^{(l,h)}_t(at, i) = B^{(l,h)}_t(at, i) + Avg^{(l)} - \alpha Var^{(l)}$$
  où $\Delta^{(l)}_1 = Avg^{(l)} - \alpha Var^{(l)}$ sert de terme de régularisation pour supprimer l'attention incohérente et concentrer la focalisation sur les régions visuelles saillantes.

B. Amélioration Dynamique de l'Attention Historique (Cohérence Temporelle)

Pour répondre à la dégradation progressive de l'attention visuelle (estompage temporel) lors de la génération de longs textes, AFIP réintègre les informations visuelles historiques.

• Mécanisme : Une fenêtre d'historique de longueur fixe stocke les scores d'attention visuelle des étapes de décodage précédentes. La méthode identifie le jeton textuel historique le plus pertinent et fusionne l'attention visuelle historique correspondante dans l'état actuel :
  $$\tilde{B}^{(l,h)}_t(at, j) = \hat{B}^{(l,h)}_t(at, j) + \gamma C^{(l,h)}_{t-1-r^{(l,h)}_t}(s+j)$$
  où $\Delta^{(l,h)}_2$ représente le terme d'amélioration historique.
• Porte Dynamique : Pour éviter un ajustement excessif qui pourrait perturber la génération fluide ou ignorer le contexte textuel nécessaire, un mécanisme de porte dynamique est employé. Il calcule l'écart ($D^{(l,h)}_t$) entre le score d'attention maximal sur les régions visuelles et le maximal sur les régions textuelles. Si l'attention textuelle domine significativement ($D^{(l,h)}_t \geq \tau$), l'ajustement est supprimé pour éviter toute interférence avec le raisonnement piloté par le texte.

C. Fondement Théorique

L'article fournit des insights théoriques reliant la dispersion de l'attention à la complexité du modèle.

• Complexité de Rademacher : Les auteurs dérivent une borne supérieure pour la complexité de Rademacher de l'architecture Transformer. Ils démontrent que cette borne est minimisée lorsque les têtes d'attention contribuent de manière uniforme (c'est-à-dire $a_1 = \dots = a_H = \bar{a}$). Les écarts par rapport à cette uniformité (augmentation de l'hétérogénéité) élargissent la borne de complexité, affaiblissant ainsi les garanties de généralisation.
• Erreur de Généralisation : L'analyse théorique suggère qu'une forte généralisation émerge lorsque plusieurs têtes maintiennent un focus sémantique hautement cohérent. Les incohérences entre les têtes altèrent la discrimination au niveau des jetons, augmentant la probabilité d'hallucination.

3. Contributions Clés

1. Nouvelle Analogie : L'article est le premier à révéler une forte analogie entre les hallucinations machines et le flou visuel humain causé par la distraction de l'attention, décomposant ce phénomène en incohérence spatiale (divergence multi-têtes) et atténuation temporelle (estompage visuel) au sein des MLLM.
2. Insight Théorique : Il établit théoriquement que les écarts entre les têtes d'attention augmentent la complexité du modèle et altèrent la discrimination au niveau des jetons, réduisant ainsi les performances globales de généralisation.
3. Cadre AFIP : La proposition d'AFIP, un module sans entraînement qui corrige la distraction de l'attention via l'enrichissement inter-têtes et l'amélioration historique dynamique. Il ne nécessite aucun entraînement supplémentaire et n'engendre aucune latence d'inférence supplémentaire.

4. Résultats Expérimentaux

Des expériences extensives ont été menées sur plusieurs benchmarks (CHAIR pour la génération de longs textes, POPE pour l'existence binaire d'objets) à travers cinq modèles (LLaVA-1.5-7B/13B, Shikra-7B, MiniGPT-4-7B, Qwen-VL).

• Performance : AFIP a constamment surpassé les baselines principales, incluant le décodage Greedy/Beam, OPERA, VCD (Décodage Contrastif), HGAI (Intervention sur l'Attention) et MemVR (Intervention sur l'état caché).
  • Sur CHAIR, AFIP a obtenu des résultats de pointe, réduisant le taux d'hallucination au niveau de la phrase (CS) de plus de 50 % par rapport aux stratégies de décodage vanilla sur LLaVA-1.5 et Qwen-VL.
  • Sur POPE, AFIP a atteint des scores de précision et F1 leaders dans les configurations Aléatoire, Populaire et Adversaire pour la plupart des modèles.
• Robustesse : La méthode a démontré une robustesse à travers des longueurs de génération variables (64 à 256 jetons), montrant des gains particulièrement significatifs dans les tâches de séquences longues où l'estompage temporel est le plus prononcé.
• Études d'Ablation : La suppression de n'importe quel composant (correction spatiale, amélioration historique ou porte dynamique) a conduit à une dégradation des performances, validant la nécessité du cadre complet.
• Sensibilité aux Paramètres : La méthode s'est révélée largement insensible au coefficient de régularisation de la variance ($\alpha$) et au coefficient d'amélioration historique ($\gamma$), avec une performance optimale généralement atteinte lorsque la sélection des $k$ têtes principales se situe entre 5,5 et 7,5 et que le seuil de porte ($\tau$) est compris entre 0,4 et 0,6.

5. Signification et Revendications

L'article revendique qu'AFIP s'attaque aux causes racines de l'hallucination en corrigeant le « flou visuel » induit par la distraction de l'attention. En alignant les mécanismes d'attention internes du modèle avec les principes de la perception visuelle focalisée (attention spatiale concentrée et focalisation temporelle soutenue), AFIP améliore considérablement l'ancrage visuel.

Les auteurs soulignent que leur approche offre une intervention légère au moment de l'inférence qui ne nécessite ni réentraînement ni bases de données externes, la rendant adaptée au déploiement en temps réel dans des applications sensibles aux risques. Ce travail comble le fossé entre la psychologie de la perception humaine et l'architecture des MLLM, fournissant à la fois une solution pratique et un cadre théorique pour comprendre et atténuer les hallucinations.