DEX-AR: A Dynamic Explainability Method for Autoregressive Vision-Language Models

Ce papier présente DEX-AR, une nouvelle méthode d'explicabilité dynamique conçue pour interpréter les modèles vision-langage autoregressifs en générant des cartes thermiques 2D qui identifient les régions d'image cruciales pour les réponses textuelles, grâce à un filtrage dynamique des têtes d'attention et une agrégation séquentielle distinguant les tokens visuels des tokens linguistiques.

L'essentiel

🎨 DEX-AR : Le "Sous-titreur" qui comprend vraiment ce que l'IA voit

Imaginez que vous avez un ami très intelligent, mais un peu bavard, qui regarde des photos et vous décrit ce qu'il voit. C'est un peu comme les Modèles Vision-Langage (VLM) modernes (comme GPT-4o ou LLaVA). Ils sont incroyables : ils peuvent dire "C'est un chien qui joue avec un ballon".

Mais voici le problème : Comment savoir si cet ami regarde vraiment le chien, ou s'il devine juste parce qu'il y a de l'herbe verte ?

Les méthodes actuelles pour expliquer comment l'IA réfléchit sont comme des cartes au trésor floues. Elles disent "L'IA a regardé quelque part ici", mais elles ne distinguent pas bien ce qui est important (le chien) de ce qui est juste du remplissage grammatical ("et", "le", "est").

C'est là que DEX-AR entre en jeu. C'est une nouvelle méthode pour rendre la pensée de l'IA transparente et précise.

---

🕵️‍♂️ L'Analogie du Chef d'Orchestre et des Musiciens

Pour comprendre comment DEX-AR fonctionne, imaginons que le modèle d'IA est un gros orchestre jouant une symphonie (la description de l'image).

1. Le problème des anciennes méthodes :
   Les anciennes méthodes écoutaient tout l'orchestre en même temps et disaient : "Là, il y a du bruit !" ou "Là, il y a de la musique !". Mais elles ne savaient pas qui jouait quoi. Elles confondaient les violons (les mots importants comme "chien") avec les percussions de fond (les mots inutiles comme "le" ou "un").

2. La solution DEX-AR (Le Chef d'Orchestre Dynamique) :
   DEX-AR agit comme un chef d'orchestre ultra-spy qui écoute note par note (mot par mot) pendant que l'orchestre joue. Il a deux super-pouvoirs :

   • Le Filtre "Musicien Visuel" (Dynamic Head Filtering) :
     Dans l'orchestre, certains musiciens regardent l'image, d'autres regardent seulement leur partition (le texte). DEX-AR identifie instantanément : "Ah ! Ce violoniste regarde la photo du chien, mais ce trompettiste regarde juste le texte." Il ignore les musiciens qui ne regardent pas l'image pour ne pas se tromper sur ce qui est important.

   • Le Filtre "Mot de Remplissage" (Token-Level Filtering) :
     Parfois, l'IA dit : "Le chien est sur l'herbe."

     • "Chien" et "Herbe" sont des mots qui regardent l'image.
     • "Le", "est", "sur" sont juste des mots de liaison grammaticale.
       DEX-AR sait faire la différence. Il dit : "On ne va pas mettre de lumière sur le mot 'est', car il ne nous dit rien sur l'image. On va juste éclairer 'Chien' et 'Herbe'."

---

🧪 Comment ont-ils testé ça ? (Le jeu du "Caché et Trouvé")

Pour prouver que leur méthode est la meilleure, les chercheurs ont joué à un jeu très simple :

1. Le test de l'aveugle (Perturbation) :
   Ils ont pris une photo et ont effacé (flouté) les zones que DEX-AR disait être importantes.

   • Résultat : Si l'IA ne peut plus deviner ce qu'elle voit, c'est que DEX-AR avait raison ! Plus l'IA devient confuse quand on cache une zone, plus la carte de chaleur (heatmap) de DEX-AR est précise.
   • Analogie : Si vous cachez le visage d'un ami sur une photo et que vous ne le reconnaissez plus, c'est que vous saviez exactement où regarder.

2. Le test du "Remplissage" (Filler Words) :
   Ils ont créé un jeu où l'IA devait dire : "Je vois un [CHAT] et un [CHIEN]". Les mots "Je", "vois", "et" sont des "mots de remplissage".

   • Les anciennes méthodes mettaient de la lumière sur "Je" et "et".
   • DEX-AR, lui, a éteint la lumière sur ces mots et ne l'a allumée que sur "CHAT" et "CHIEN". C'est comme si un détective enlevait les fausses pistes pour ne garder que la preuve réelle.

---

🚀 Pourquoi est-ce important pour nous ?

Imaginez que cette IA est utilisée dans une voiture autonome ou pour aider des personnes malvoyantes.

• Si l'IA dit "Il y a un piéton" mais qu'elle regardait en réalité un panneau publicitaire qui ressemble à un homme, c'est dangereux.
• Avec DEX-AR, nous pouvons voir exactement ce que l'IA a regardé pour prendre sa décision. Si la carte de chaleur montre qu'elle regarde le bon endroit, on peut lui faire confiance. Si elle regarde le mauvais endroit, on sait qu'il faut réparer le modèle.

🏆 En résumé

DEX-AR, c'est comme passer d'une carte au trésor dessinée au crayon gomme (floue et pleine d'erreurs) à une carte GPS en haute définition qui vous dit :

1. Regarde ici, c'est l'objet important.
2. Ignore ça, ce n'est que du bruit.
3. Regarde ici, c'est un autre objet important.

C'est une avancée majeure pour comprendre comment les IA "voient" vraiment le monde, et non pas juste comment elles devinent.

Résumé technique

1. Problématique

Les modèles Vision-Language (VLM) autoregressifs modernes (comme LLaVA, PaliGemma, GPT-4o) ont révolutionné la compréhension visuelle et la génération de texte. Cependant, leur boîte noire complexe pose un défi majeur pour l'interprétabilité (explicabilité).

Les méthodes d'explication traditionnelles, conçues pour des tâches de classification ou des modèles contrastifs statiques (comme CLIP), échouent face aux VLMs autoregressifs pour plusieurs raisons :

• Nature dynamique de la génération : Contrairement à une sortie fixe, les VLMs génèrent du token par token. Chaque token peut dépendre de différentes régions de l'image et du contexte textuel précédent.
• Interaction multimodale complexe : Il est difficile de distinguer quelles parties de l'image influencent spécifiquement un token généré, par rapport aux tokens purement linguistiques (mots de remplissage, connecteurs grammaticaux).
• Limites des méthodes existantes : Les approches basées uniquement sur les poids d'attention (Attention Rollout) ou les gradients sur les états cachés (Grad-CAM adapté) ne capturent pas la dynamique de l'attention au fil des étapes de génération et ne filtrent pas le bruit linguistique, conduisant à des cartes de chaleur (heatmaps) diffuses et peu précises.

2. Méthodologie : DEX-AR

DEX-AR (Dynamic Explainability for AutoRegressive models) est une méthode d'explicabilité conçue spécifiquement pour les VLMs autoregressifs. Elle repose sur le calcul de gradients par rapport aux cartes d'attention (attention maps) à chaque étape de génération.

A. Fondement Théorique

Pour chaque étape de génération $t$ et chaque couche $l$ du modèle, DEX-AR calcule le gradient du logit du token prédit par rapport à la carte d'attention $A^{l,t}$.

• Logits Intermédiaires : Au lieu d'utiliser uniquement la sortie finale, la méthode projette les états cachés intermédiaires dans l'espace du vocabulaire (approche "Logit Lens") pour isoler la décision à chaque étape.
• Focalisation Visuelle : Le gradient est extrait spécifiquement pour les interactions entre le dernier token généré et les tokens visuels (images).

B. Mécanismes de Filtrage Dynamique (Innovations Clés)

DEX-AR introduit deux mécanismes de filtrage pour améliorer la précision :

1. Filtrage Dynamique des Têtes d'Attention (Head Filtering) :

   • Toutes les têtes d'attention ne contribuent pas également à la compréhension visuelle. Certaines se concentrent sur le texte ou le bruit.
   • DEX-AR calcule un facteur de pondération $w_{l,t,i}$ pour chaque tête $i$ à chaque couche $l$, basé sur la différence entre le gradient maximal sur les tokens visuels et celui sur les tokens textuels.
   • Une fonction ReLU est appliquée : $w = \max(0, \text{grad}_{visuel} - \text{grad}_{texte})$. Seules les têtes montrant une forte sensibilité visuelle sont conservées.
   • Une approche basée sur le maximum (plutôt que la moyenne) est utilisée pour éviter le biais vers les grands objets et capturer les signaux visuels les plus saillants, même pour de petits objets.

2. Filtrage au Niveau de la Séquence (Token-Level Filtering) :

   • Les réponses générées contiennent des mots essentiels visuellement ("chien", "rouge") et des mots purement grammaticaux ("le", "est", "un").
   • Pour chaque token $t$, un poids $\delta_t$ est calculé en comparant l'importance visuelle maximale par rapport à l'importance textuelle à travers toutes les couches et têtes.
   • Les tokens à faible sensibilité visuelle (mots de remplissage) sont supprimés ou fortement pondérés à la baisse lors de l'agrégation finale.

C. Production des Cartes

• Carte par Token (Per-Token) : Une carte 2D est générée pour chaque mot, montrant les régions de l'image cruciales pour ce mot spécifique.
• Carte de Séquence (Sentence-Level) : Les cartes par token sont agrégées en pondérant chaque carte par son score de pertinence visuelle ($\delta_t$), produisant une carte finale qui met en évidence les objets pertinents tout en ignorant le bruit linguistique.

3. Contributions Principales

1. Méthode basée sur les gradients pour VLMs : Proposition d'une méthode d'explicabilité adaptée à la génération token par token, utilisant les gradients des cartes d'attention pour tracer le flux d'information visuelle.
2. Mécanisme de double filtrage : Introduction d'un système dynamique qui filtre à la fois les têtes d'attention non pertinentes et les tokens purement linguistiques, améliorant considérablement le rapport signal/bruit.
3. Nouveau protocole d'évaluation :
   • Utilisation de la perplexité normalisée comme métrique principale pour évaluer l'impact des perturbations d'image sur la confiance du modèle.
   • Création du dataset PascalVOC-QA, un ensemble de données spécialisé avec des annotations de "mots de remplissage" (filler words) pour évaluer quantitativement la capacité du filtrage à distinguer le contenu visuel du langage.

4. Résultats Expérimentaux

Les évaluations ont été menées sur plusieurs architectures (LLaVA-1.5, BakLLaVA, PaliGemma, Florence-2) et datasets (ImageNet, VQAv2, PascalVOC).

• Perturbation (ImageNet & VQAv2) : DEX-AR surpasse systématiquement les méthodes de référence (GradCAM, CheferCAM, RISE, Attention Rollout, TAM).

  • Sur ImageNet avec BakLLaVA, DEX-AR atteint un AUC de 18.10 pour la perturbation positive (contre 12.60 pour le meilleur concurrent), indiquant que la suppression des pixels identifiés par DEX-AR dégrade beaucoup plus la performance du modèle, prouvant que ces pixels sont réellement critiques.
  • La méthode est également plus rapide que les méthodes itératives comme RISE ou Integrated Gradients.

• Segmentation (PascalVOC) :

  • DEX-AR obtient des scores IoU (Intersection over Union) et EPG (Energy Pointing Game) supérieurs. Par exemple, sur LLaVA-1.5, le IoU passe de 28.90% (GradCAM) à 36.34% avec DEX-AR.
  • La carte de chaleur est plus précise et mieux alignée avec les masques d'objets ground truth.

• Efficacité du Filtrage (Ablation) :

  • L'ajout du filtrage des têtes d'attention améliore le rapport Signal/Bruit (SNR) de 1.64 à 3.64 sur LLaVA.
  • L'ajout du filtrage des mots de remplissage (filler words) sur PascalVOC-QA fait passer le SNR de 9.16 (sans filtrage) à 96.12, démontrant une capacité exceptionnelle à isoler le contenu visuel pertinent.

• Robustesse : La méthode reste efficace face à des images corrompues (bruit, flou, brouillard) et gère correctement les artefacts des "registres" (tokens de fond à haute norme dans les Transformers) que les méthodes d'attention brute détectent à tort.

5. Signification et Impact

DEX-AR comble un vide critique dans l'interprétabilité des modèles d'IA multimodaux avancés.

• Compréhension fine : Elle permet de visualiser non seulement quoi le modèle regarde, mais quand et pourquoi il regarde une région spécifique lors de la génération d'un mot précis.
• Fiabilité : En distinguant le contenu visuel du bruit linguistique, elle offre une vision plus honnête des capacités de raisonnement du modèle, facilitant la détection des échecs (hallucinations) et des biais.
• Déploiement responsable : Cette méthode est essentielle pour les applications à haut risque (systèmes autonomes, assistance médicale) où la traçabilité des décisions visuelles est cruciale pour la confiance et la sécurité.

En résumé, DEX-AR représente une avancée majeure en passant d'une explication statique à une explication dynamique, contextuelle et filtrée, adaptée à la nature séquentielle des grands modèles de langage multimodaux.