Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

1. Problématique : Les Hallucinations dans les LVLM

Les Grands Modèles Vision-Langage (LVLM) excellent dans des tâches multimodales comme la description d'images ou le raisonnement visuel. Cependant, ils souffrent d'un problème critique : l'hallucination. Cela se manifeste par la génération de contenu non ancré dans l'entrée visuelle, tel que la description d'objets absents ou l'interprétation erronée de scènes.

L'article identifie que les méthodes d'intervention actuelles (sans réentraînement) peinent à maintenir leur efficacité dans des scénarios de génération longue (long-form generation). L'analyse des auteurs révèle deux biais fondamentaux à l'origine de ces hallucinations :

1. Biais de perception spatiale (Spatial Perception Bias) : Le modèle distribue de manière disproportionnée son attention sur un sous-ensemble restreint de jetons d'image (tokens), ignorant souvent les régions pertinentes. Ce phénomène persiste même avec des entrées vides (ex: un canevas noir).
2. Biais de modalité (Modality Bias) : Au fur et à mesure que la génération progresse (surtout dans les séquences longues), le modèle tend à s'appuyer de plus en plus sur ses priors linguistiques (texte) au détriment de l'entrée visuelle. L'attention portée aux jetons d'image décline, augmentant le risque d'hallucination lorsque le modèle est incertain.

2. Méthodologie : Le Cadre CAAC

Pour résoudre ces problèmes, les auteurs proposent CAAC (Confidence-Aware Attention Calibration), une approche unifiée et sans réentraînement (training-free) qui recalibre dynamiquement l'attention du modèle. CAAC opère en deux étapes distinctes au sein du module d'attention auto-attentionnelle (MSA) du décodeur :

A. Calibrage des Jetons Visuels (Visual-Token Calibration - VTC)

• Objectif : Corriger le biais de perception spatiale en lissant la distribution de l'attention sur les jetons d'image.
• Mécanisme :
  • Le système utilise une entrée de référence (image sans signification + requête générique) pour construire un vecteur de calibrage ($V_{cal}$). Ce vecteur est l'inverse des poids d'attention observés sur cette entrée de référence.
  • Pour une nouvelle entrée, les poids d'attention actuels ($V$) sont ajustés par un produit élémentaire avec ce vecteur de calibrage pour obtenir une distribution plus uniforme ($V_u$).
  • Un paramètre de lissage $\beta$ ($0 \le \beta \le 1$) permet de pondérer entre l'attention originale et l'attention calibrée, évitant ainsi une uniformité stricte qui pourrait déformer l'information visuelle.
• Résultat : Cela empêche le modèle de se concentrer excessivement sur quelques jetons d'image spécifiques, favorisant une perception spatiale plus équilibrée.

B. Re-Redimensionnement Adaptatif de l'Attention (Adaptive Attention Re-Scaling - AAR)

• Objectif : Contrecarrer le biais de modalité en renforçant l'ancrage visuel lorsque le modèle est incertain.
• Mécanisme :
  • À chaque étape de génération, le système évalue la confiance du modèle (probabilité maximale du logit, $p_t$) pour le jeton prédit.
  • Si la confiance $p_t$ tombe en dessous d'un seuil prédéfini ($p_{thr}$), cela indique un risque élevé d'hallucination.
  • Un facteur d'échelle $\lambda_t$ est alors calculé dynamiquement : plus la confiance est faible, plus le facteur d'échelle est élevé.
  • Les poids d'attention vers les jetons d'image sont multipliés par ce facteur $\lambda_t$ avant l'application de la fonction softmax, forçant le modèle à réorienter son attention vers l'image.
• Résultat : L'intervention est ciblée et adaptative ; elle ne se produit que lorsque le modèle hésite, préservant ainsi la fluidité du texte généré lorsque le modèle est confiant.

3. Contributions Clés

1. Analyse des causes racines : Une nouvelle analyse utilisant des cartes de pertinence (relevancy maps) qui démontre que les jetons hallucinés sont associés à une faible pertinence visuelle et à une faible confiance du modèle, confirmant l'existence des biais spatiaux et de modalité.
2. Framework CAAC : Proposition d'une méthode d'intervention à l'inférence qui combine le lissage de l'attention spatiale (VTC) et le renforcement adaptatif basé sur la confiance (AAR).
3. Performance supérieure : Démonstration que CAAC surpasse les méthodes de l'état de l'art (comme OPERA, VCD, M3ID) sur plusieurs benchmarks, en particulier pour les générations longues.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois modèles LVLM (InstructBLIP, LLaVA-1.5, LLaVA-NeXT) et évaluées sur les benchmarks CHAIR, AMBER et POPE.

• Benchmark CHAIR (Description d'images) :
  • CAAC réduit significativement les taux d'hallucination ($C_s$ et $C_i$).
  • Sur InstructBLIP, CAAC atteint un taux $C_s$ de 37,4 contre 46,4 pour OPERA (le meilleur précédent), soit une amélioration notable.
• Benchmark AMBER (Génération et Discrimination) :
  • CAAC obtient les meilleurs scores de réduction d'hallucination (CHAIR et HAL) sur toutes les configurations, y compris pour les générations longues (Max Tokens = 512).
  • Contrairement aux méthodes de décodage contrastif (VCD, M3ID) qui voient leurs performances se dégrader sur les séquences longues, CAAC maintient son efficacité.
  • Bien que le score de couverture (COVER) soit parfois légèrement inférieur aux méthodes qui sacrifient la justesse pour la complétude, CAAC offre le meilleur équilibre entre fidélité factuelle et complétude.
• Benchmark POPE (Évaluation discriminative) :
  • CAAC performe très bien même sur des tâches de discrimination (détection d'objets), obtenant des scores de précision et F1 comparables à OPERA et supérieurs aux autres méthodes sans réentraînement.
• Étude d'ablation :
  • Les modules VTC et AAR fonctionnent bien individuellement, mais leur combinaison (CAAC complet) offre les meilleures performances globales, confirmant que les deux biais doivent être traités simultanément.

5. Signification et Conclusion

L'article CAAC représente une avancée significative pour la fiabilité des LVLM, en particulier dans des domaines critiques comme le diagnostic médical, la navigation autonome ou l'analyse juridique, où la précision factuelle prime sur la génération de détails exhaustifs mais faux.

• Efficacité : La méthode est "training-free", ce qui signifie qu'elle peut être déployée immédiatement sur n'importe quel modèle LVLM existant sans coût de réentraînement.
• Robustesse : Elle résout le problème spécifique de la dégradation des performances dans les générations longues, un point faible majeur des solutions précédentes.
• Compromis maîtrisé : CAAC parvient à réduire drastiquement les hallucinations tout en maintenant une qualité de texte fluide et une couverture d'information raisonnable, évitant le piège des méthodes qui génèrent du texte vide ou incohérent pour éviter les erreurs.

En somme, CAAC propose une solution élégante et efficace pour aligner la génération textuelle sur la réalité visuelle, en exploitant la confiance intrinsèque du modèle pour guider son attention.