Résumé Technique : CAST – Atténuation de l'Hallucination d'Objets dans les Grands Modèles Vision-Langage via la Direction de l'Attention Visuelle Guidée par la Légende

1. Énoncé du Problème

Les Grands Modèles Vision-Langage (LVLM) ont atteint des performances remarquables sur les tâches en aval, mais souffrent fréquemment d'hallucination d'objets, où le modèle génère un contenu qui s'écarte ou contredit l'entrée visuelle. Les stratégies d'atténuation existantes relèvent généralement de deux catégories, toutes deux présentant des limitations significatives :

• Méthodes basées sur l'entraînement : Elles reposent sur des jeux de données soigneusement sélectionnés et des annotations manuelles coûteuses ou l'apprentissage par renforcement (par exemple, RLHF), entraînant des coûts computationnels et de données élevés.
• Stratégies de décodage sans entraînement : Des méthodes comme le décodage contrastif (par exemple, VCD, OPERA) augmentent souvent considérablement la latence d'inférence, les rendant moins pratiques pour les applications en temps réel.

De plus, les études d'interprétabilité suggèrent qu'une attention insuffisante aux informations visuelles est une cause racine de l'hallucination. Cependant, peu de méthodes traitent explicitement ce problème en améliorant la perception visuelle sans modifier les paramètres du modèle ni introduire une surcharge d'inférence lourde.

2. Méthodologie : Direction de l'Attention Visuelle Guidée par la Légende (CAST)

Les auteurs proposent CAST, une méthode sans entraînement, plug-and-play, qui atténue l'hallucination d'objets en orientant les mécanismes d'attention du modèle lors de l'inférence. L'idée centrale de CAST est l'observation que les requêtes de légende (par exemple, « Veuillez décrire cette image en détail ») déclenchent une attention visuelle significativement accrue dans des têtes d'attention spécifiques par rapport aux requêtes non légendées (par exemple, « Y a-t-il un casque dans l'image ? »).

CAST fonctionne en trois étapes distinctes :

A. Sondage des Têtes d'Attention Guidées par la Légende

La méthode identifie d'abord les « têtes d'attention guidées par la légende » — des têtes spécifiques au sein des couches Transformer qui présentent une forte sensibilité aux requêtes de légende.

• Mécanisme : En utilisant un jeu de données de paires image-requête, les auteurs masquent l'attention vers les tokens textuels pour isoler les motifs d'attention visuelle.
• Classification : Un classificateur binaire (par exemple, SVM) est entraîné sur les sorties d'attention du dernier token d'entrée pour distinguer les requêtes de légende des requêtes non légendées.
• Sélection : Les $K$ têtes d'attention principales avec la précision de classification la plus élevée sont sélectionnées comme cibles pour l'orientation. Ces têtes sont principalement concentrées dans les couches intermédiaires du modèle.

B. Estimation des Vecteurs de Perception Affinée

Une fois les têtes cibles identifiées, la méthode calcule des vecteurs de décalage qui représentent la différence dans la sortie d'attention entre les requêtes de légende et les requêtes non légendées.

• Calcul : Pour chaque tête sélectionnée, le vecteur de décalage $S^{(l,h)}$ est calculé comme la différence moyenne entre la sortie d'attention lorsqu'elle est alimentée par une requête de légende ($O^{(l,h)}$) et une requête non légendée ($O'^{(l,h)}$) :
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• Objectif : Ces vecteurs quantifient la « direction de perception fine », capturant efficacement l'état d'attention visuelle suffisante induit par les requêtes de légende.

C. Orientation lors de l'Inférence

Pendant l'inférence d'une requête non légendée (le scénario typique où les hallucinations se produisent), les vecteurs de décalage précalculés sont appliqués aux têtes d'attention sélectionnées.

• Règle de Mise à Jour : L'état caché est mis à jour en ajoutant une version mise à l'échelle du vecteur de décalage à la sortie d'attention des têtes guidées par la légende :
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  Où $I^{(l,h)}$ est une fonction de porte (1 pour les têtes sélectionnées, 0 sinon) et $\alpha$ contrôle l'intensité de l'orientation.
• Effet : Cela oriente l'attention du modèle d'un état « insuffisant » (propre aux hallucinations) vers un état « suffisant » (perception visuelle améliorée), atténuant efficacement l'hallucination d'objets sans réentraîner le modèle.

3. Contributions Clés

1. Nouvelle Idée : Ce travail est le premier à révéler et à quantifier explicitement l'impact des requêtes de légende par rapport aux requêtes non légendées sur les motifs d'activation de l'attention des LVLM, identifiant des têtes d'attention spécifiques responsables de la perception visuelle fine.
2. Méthode CAST : Une approche sans entraînement, plug-and-play, qui affine les sorties des têtes d'attention guidées par la légende lors de l'inférence. Elle ne nécessite aucune mise à jour des paramètres du modèle et ajoute un coût d'inférence minimal.
3. Évaluation Complète : Des expériences extensives démontrent que CAST atténue efficacement l'hallucination tout en préservant les capacités fondamentales du modèle (par exemple, raisonnement, OCR) et en généralisant à travers différentes architectures de modèles (LLaVA, Qwen-VL, LLaVA-NeXT).

4. Résultats Expérimentaux

Les auteurs ont évalué CAST sur cinq benchmarks largement utilisés (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) et cinq LVLM différents.

• Atténuation de l'Hallucination :
  • POPE : CAST a amélioré la précision de 5,64 % en moyenne et le score F1 de 5,50 % sur l'ensemble des modèles.
  • CHAIR : Réduction des métriques d'hallucination moyennes (CS et CI) de 6,43 points.
  • MMHal-Bench : Réduction du taux d'hallucination (VH.%) de 2,95 % et amélioration du score d'informativité.
  • Performance Générale : En moyenne, CAST a réduit l'hallucination d'objets de 6,03 % sur cinq LVLM et cinq benchmarks.
• Efficacité : Contrairement aux méthodes de décodage contrastif qui augmentent considérablement le temps d'inférence (par exemple, VCD augmente le TPOT de 2,7 fois), CAST ajoute une latence négligeable (comparable à la ligne de base, ~1,0x).
• Préservation des Capacités : CAST a amélioré les performances sur le benchmark MME pour toutes les tâches de perception et de cognition, démontrant qu'il ne dégrade pas les autres capacités fondamentales du modèle.
• Généralisation : La méthode s'est avérée efficace sur des modèles avancés (Qwen2-VL, InternVL2) et des tâches spécifiques à un domaine (Medical VQA-RAD, OCR), confirmant sa robustesse.

5. Signification et Revendications

L'article revendique que CAST offre une solution de l'état de l'art (SOTA) pour atténuer l'hallucination d'objets dans les LVLM en exploitant les motifs d'attention inhérents induits par les requêtes de légende. Sa signification réside dans :

• Rentabilité : Elle élimine le besoin d'annotations manuelles coûteuses ou de réentraînement.
• Efficacité : Elle évite la latence d'inférence élevée associée aux stratégies de décodage contrastif.
• Insight Mécanistique : Elle fournit un mécanisme clair et interprétable pour l'atténuation de l'hallucination en ciblant directement les têtes d'attention responsables de la perception visuelle.

Les auteurs concluent que CAST améliore efficacement la capacité de perception visuelle fine des LVLM, offrant une voie pratique et efficace pour réduire les hallucinations sans compromettre l'utilité du modèle.