Résumé Technique : SAVAA – Atténuation des Hallucinations dans les LVLM via l'Amplification Adaptative Étape par Étape de l'Attention Visuelle

1. Énoncé du Problème

Les Modèles de Langage et de Vision de Grande Taille (LVLM) souffrent fréquemment d'hallucinations, générant un contenu incohérent avec l'entrée visuelle. Une cause principale lors de la génération autoregressive est la sur-reliance du modèle sur les priors linguistiques, particulièrement lorsque les preuves visuelles sont sous-utilisées.

Les approches récentes sans entraînement, collectivement désignées sous le terme d'Amplification de l'Attention Visuelle (VAA), tentent d'atténuer ce phénomène en amplifiant les poids d'attention attribués aux jetons visuels lors d'un seul passage avant. Cependant, les méthodes VAA existantes emploient un facteur d'amplification fixe à travers toutes les étapes de génération. Les auteurs identifient un modèle de double échec inhérent à cette approche statique :

1. Sous-amplification : À certaines étapes, le facteur fixe est trop faible pour résoudre les hallucinations existantes.
2. Sur-amplification : À d'autres étapes, ce même facteur est trop fort, introduisant de nouvelles hallucinations qui n'étaient pas présentes dans la sortie originale.

Ce phénomène se produit car le niveau approprié d'attention visuelle varie dynamiquement en fonction du jeton spécifique en cours de génération et de l'état actuel d'incertitude et d'ancrage du modèle.

2. Méthodologie : SAVAA

L'article propose l'Amplification Adaptative Étape par Étape de l'Attention Visuelle (SAVAA), un cadre qui calibre dynamiquement le facteur d'amplification visuelle à chaque étape de génération en fonction d'un risque d'hallucination estimé.

2.1 Entropie d'Ancrage Visuel (VGE)

Pour permettre un calibrage guidé par le risque, SAVAA nécessite un estimateur de risque d'hallucination léger. Les auteurs introduisent l'Entropie d'Ancrage Visuel (VGE), qui enrichit l'entropie prédictive standard avec des signaux d'ancrage visuel.

• Entropie Prédictive ($\bar{H}_t$) : Mesure l'incertitude du modèle basée sur les logits de sortie. Cependant, l'entropie seule échoue lorsque le modèle est très confiant mais faiblement ancré dans l'image (c'est-à-dire des "hallucinations confiantes").
• Score d'Ancrage Visuel ($G_t$) : Calculé lors de l'étape de préremplissage, un vecteur d'ancrage $G$ est construit en regroupant les logits du vocabulaire des jetons visuels. Pour un jeton prédit $v^*_t$, le score d'ancrage $G_t$ représente la force des preuves visuelles soutenant ce jeton.
• Calcul de la VGE : Le score de risque est défini comme une combinaison pondérée :
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  où $\alpha$ équilibre l'incertitude et l'ancrage. Une VGE plus élevée indique qu'un jeton est incertain, faiblement ancré, ou les deux.

2.2 Calibrage Adaptatif Étape par Étape du Facteur VAA

SAVAA utilise un mécanisme de calibrage à un pas de retard. Le risque $r_t$ est calculé à partir des logits de l'étape actuelle $t$ mais est utilisé pour calibrer le facteur d'amplification pour la prochaine étape $t+1$.

• Normalisation du Risque : La VGE est normalisée en un score de risque $r_t \in [0, 1]$.
• Calibrage du Facteur : Le facteur d'amplification visuelle $m_t$ pour l'étape $t$ est calculé comme suit :
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  Si l'étape précédente présentait un faible risque, $m_t \approx 1$ (aucune intervention). Si l'étape précédente présentait un risque élevé, $m_t$ augmente, appliquant une amplification visuelle plus forte à l'étape actuelle.

2.3 Suppression de l'Attention Textuelle

Pour traiter les hallucinations résiduelles qui persistent même sous une forte amplification visuelle (souvent dues aux priors linguistiques), SAVAA intègre un mécanisme complémentaire de Suppression de l'Attention Textuelle.

• Ce mécanisme supprime les scores d'attention pré-softmax attribués aux jetons de texte d'entrée par un facteur fixe $m_{txt}^{max}$.
• Contrairement au facteur visuel adaptatif, cette suppression est statique et légère, conçue pour réduire l'influence relative des priors linguistiques sans nécessiter d'estimation de risque étape par étape.

2.4 Flux de Travail Global

1. Préremplissage : Calculer le vecteur d'ancrage visuel $G$ une seule fois.
2. Boucle de Génération :
   • Calculer le facteur VAA $m_t$ et le facteur de suppression textuelle basés sur le risque $r_{t-1}$ de l'étape précédente.
   • Moduler les scores d'attention pré-softmax : amplifier les jetons visuels par $m_t$ et supprimer les jetons textuels par $1/m_{txt}^{max}$.
   • Générer le jeton suivant.
   • Calculer le nouveau risque $r_t$ en utilisant la VGE pour la prochaine itération.

3. Contributions Clés

1. Identification du Modèle de Double Échec : L'article démontre que les facteurs d'amplification fixes dans les méthodes VAA existantes entraînent à la fois une sous-amplification (laissant les hallucinations non résolues) et une sur-amplification (introduisant de nouvelles hallucinations), variant selon les étapes de génération et les architectures de modèles.
2. Cadre SAVAA : Un nouveau cadre VAA qui estime le risque d'hallucination étape par étape en utilisant l'Entropie d'Ancrage Visuel (VGE) et calibre adaptativement le facteur d'amplification.
3. Suppression Textuelle Complémentaire : L'introduction d'un mécanisme léger de suppression de l'attention textuelle pour traiter la dominance résiduelle des priors linguistiques, fonctionnant de concert avec l'amplification visuelle.
4. Validation Empirique : Évaluation complète sur trois LVLM divers (LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) et plusieurs benchmarks (CHAIR, SHR, AMBER, POPE), montrant des améliorations constantes par rapport aux bases de référence de l'état de l'art.

4. Résultats Expérimentaux

SAVAA a été évalué sur des benchmarks d'hallucination standards :

• CHAIR : SAVAA a obtenu les meilleurs scores CHAIRs (au niveau de la phrase) et CHAIRi (au niveau de l'instance) sur les trois modèles, réduisant les hallucinations de marges significatives (par exemple, réduisant CHAIRs de 7,00 points sur InternVL3.5-8B) sans sacrifier la qualité de génération (les scores F1 sont restés comparables aux modèles de base).
• SHR : SAVAA a surpassé les bases de référence sur les quatre métriques (HSR, HWR, HSPI, HWPI), démontrant son efficacité à réduire à la fois les hallucinations au niveau de la phrase et au niveau du mot.
• AMBER : SAVAA a obtenu les taux d'hallucination les plus bas (Hal) tout en maintenant une couverture de contenu élevée (Cover), indiquant un compromis favorable entre atténuation et complétude sémantique.
• POPE : Sur les tâches discriminatives, SAVAA a préservé l'utilité du modèle original, obtenant des scores de précision et F1 comparables aux bases de référence de base, bien que les gains aient été modestes par rapport aux tâches génératives.
• Efficacité : SAVAA engendre une surcharge marginale au moment de l'inférence par rapport aux modèles de base, car la VGE ne nécessite aucun passage avant supplémentaire (le vecteur d'ancrage est calculé une fois) et la logique de calibrage est légère.

5. Importance et Revendications

L'article revendique que SAVAA représente un passage d'une amplification visuelle statique et heuristique à un calibrage de l'attention guidé par le risque et étape par étape. En modélisant explicitement le besoin variable d'ancrage visuel à travers différentes étapes de génération, SAVAA adresse les limites des méthodes à facteur fixe.

Les auteurs positionnent SAVAA comme une solution pratique, sans entraînement, pouvant être déployée au moment de l'inférence pour améliorer la fiabilité factuelle des LVLM dans des tâches de génération ouverte. Ils reconnaissent les limites, notant que la méthode repose sur des hyperparamètres spécifiques au modèle et produit des gains plus modestes sur les tâches discriminatives à jeton unique par rapport à la génération ouverte. Le travail suggère que les orientations futures pourraient impliquer des stratégies de calibrage plus adaptatives et l'extension de l'approche aux contextes de prédiction sous forme fermée.