💻 computer science

Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation

Ce papier présente EAGLE, un cadre léger et boîte noire qui explique la génération de tokens dans les modèles multimodaux de grande taille en attribuant les décisions à des régions visuelles spécifiques et en quantifiant l'influence relative des priors linguistiques et des preuves perceptuelles.

Auteurs originaux : Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Laiyuan Wang, Hua Zhang, Xiaochun Cao

Publié 2026-03-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruoyu Chen, Xiaoqing Guo, Kangwei Liu, Siyuan Liang, Shiming Liu, Qunli Zhang, Laiyuan Wang, Hua Zhang, Xiaochun Cao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🦅 EAGLE : Le Détective qui Révèle la Pensée des IA

Imaginez que vous avez un ami très intelligent, mais un peu mystérieux, qui regarde une photo et vous raconte une histoire. C'est ce que font les Modèles de Langage Multimodaux (MLLMs) : ils voient une image et génèrent du texte.

Le problème ? Parfois, cet ami invente des détails qui ne sont pas là (des "hallucinations"), ou il est difficile de savoir pourquoi il a décidé de dire "chat" au lieu de "chien". C'est comme si vous lui posiez la question : "Pourquoi as-tu vu un chat ?" et qu'il répondait : "Je ne sais pas, c'est juste venu comme ça."

C'est là qu'intervient EAGLE (Explaining Autoregressive Generation by Language priors or Evidence). C'est un nouvel outil conçu pour ouvrir la "boîte noire" de ces intelligences artificielles et nous dire exactement ce qu'elles regardent et sur quoi elles s'appuient.

Voici comment cela fonctionne, avec quelques analogies :

1. Le Problème : L'IA qui "hallucine"

Les IA sont parfois trop confiantes. Si vous montrez une photo d'un chat sur un arbre, elles pourraient dire : "Il y a un chat sur un arbre avec des bananes." Mais si vous regardez bien, il n'y a pas de bananes ! L'IA a "halluciné" des bananes parce qu'elle a trop écouté ce qu'elle pense savoir (ses préjugés linguistiques) plutôt que ce qu'elle voit vraiment.

2. La Solution EAGLE : Le Jeu du "Qui a fait quoi ?"

EAGLE agit comme un détective très méticuleux. Son but est de répondre à deux questions pour chaque mot que l'IA produit :

Où l'IA a-t-elle regardé ? (Quelle partie de l'image a déclenché ce mot ?)
Sur quoi l'IA s'est-elle appuyée ? (Est-ce qu'elle a vu l'objet, ou est-ce qu'elle a juste deviné parce que le mot "chat" va souvent avec "arbre" ?)

3. Comment ça marche ? (L'analogie du Puzzle)

Imaginez que l'image est un grand puzzle. EAGLE ne regarde pas l'image d'un coup d'œil. Il la découpe en petits morceaux (comme des pièces de puzzle).

Le Test de l'Insight (La "Preuve") :
EAGLE essaie de reconstruire l'image pièce par pièce, du plus important au moins important. Il se demande : "Si je ne montre à l'IA que ces 3 pièces de puzzle, va-t-elle toujours réussir à deviner le mot 'chat' ?"
Si oui, ces pièces sont suffisantes. C'est la preuve visuelle.
Le Test de la Nécessité (L'Indispensable) :
Ensuite, il fait l'inverse. Il prend l'image complète et retire petit à petit les pièces. Il se demande : "Si j'enlève cette pièce, est-ce que l'IA va oublier le mot 'chat' ?"
Si l'IA oublie le mot, alors cette pièce était indispensable.

En combinant ces deux tests, EAGLE crée une carte de chaleur. Les zones rouges sont celles que l'IA a vraiment "vues" et utilisées pour écrire. Les zones sombres sont celles qu'elle a ignorées.

4. La Magie : Distinguer la "Mémoire" de la "Vision"

C'est ici que EAGLE devient brillant. Il peut dire :

"Pour le mot 'bananes', l'IA s'est appuyée à 90% sur sa mémoire (elle pensait que les chats aiment les bananes) et à 10% sur la vision (elle a vu un truc vert)."

C'est comme si vous aviez un ami qui regarde un tableau.

S'il dit "C'est un chien" en voyant un chien, c'est qu'il a vu le chien.
S'il dit "C'est un chien" alors qu'il y a un chat, c'est qu'il a rêvé un chien parce qu'il pensait que c'était un chien.

EAGLE nous permet de voir la différence.

5. Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé EAGLE sur plusieurs IA célèbres (comme LLaVA ou Qwen). Voici ce qu'ils ont découvert :

Moins d'erreurs : EAGLE trouve les zones responsables des erreurs (hallucinations) beaucoup mieux que les anciennes méthodes.
Économie d'énergie : Contrairement à d'autres méthodes qui nécessitent des ordinateurs géants et très puissants (comme des supercalculateurs), EAGLE est léger. Il peut tourner sur des machines plus modestes.
Précision chirurgicale : Quand l'IA se trompe (par exemple, elle voit un snowboard là où il y a une planche de surf), EAGLE pointe exactement la zone confuse sur l'image pour expliquer pourquoi l'erreur est arrivée.

En résumé

EAGLE, c'est comme donner des lunettes de vérité à l'IA. Au lieu de simplement accepter ce qu'elle dit, nous pouvons maintenant voir :

Ce qu'elle a regardé (la réalité de l'image).
Ce qu'elle a imaginé (ses préjugés).

C'est une étape cruciale pour rendre les intelligences artificielles plus fiables, surtout dans des domaines importants comme la médecine ou la conduite autonome, où une hallucination peut être dangereuse. Avec EAGLE, nous passons de "L'IA a dit ça" à "L'IA a dit ça parce qu'elle a vu ça, et voici la preuve."

1. Problématique

Les modèles de langage multimodaux (MLLMs) ont démontré des capacités remarquables pour aligner les entrées visuelles avec des sorties textuelles. Cependant, leur fonctionnement reste une « boîte noire », ce qui pose deux défis majeurs :

Manque d'interprétabilité : Il est difficile de comprendre dans quelle mesure les tokens générés dépendent réellement de l'image (evidence perceptuelle) par rapport aux préférences linguistiques (priors).
Fiabilité et Hallucinations : Les MLLMs sont sujets aux hallucinations (détecter des objets absents), ce qui compromet leur fiabilité dans des domaines critiques comme la santé ou la conduite autonome.
Limites des méthodes existantes : Les méthodes d'attribution actuelles (basées sur les gradients comme IGOS++ ou sur les cartes d'activation comme TAM) souffrent de plusieurs défauts : elles sont souvent sensibles au bruit, dépendantes de l'architecture interne du modèle, coûteuses en mémoire GPU, et peinent à capturer les interactions complexes entre modalités dans une génération auto-régressive. De plus, elles ne distinguent pas clairement si un token est généré par la vision ou par le langage.

2. Méthodologie : Le Framework EAGLE

Les auteurs proposent EAGLE (Explaining Autoregressive Generation by Language priors or Evidence), un framework d'attribution boîte noire, léger et efficace.

A. Formulation du problème

L'objectif est d'identifier les régions perceptuelles minimales d'une image qui conduisent à la génération d'un ensemble de tokens spécifiques. Le problème est formulé comme une tâche de sélection de sous-ensemble ordonné :

Sparsification : L'image d'entrée est divisée en sous-régions sémantiques (super-pixels) via l'algorithme SLICO.
Sélection ordonnée : Au lieu de chercher un ensemble non ordonné, EAGLE cherche un ordre optimal de régions $\pi$ qui maximise la probabilité de génération des tokens cibles.

B. Fonction Objectif Unifiée

EAGLE introduit une fonction objectif combinant deux métriques clés pour interpréter la génération auto-régressive :

Score d'Insight (Suffisance) : Mesure l'ensemble minimal de régions suffisant pour maximiser la probabilité des tokens cibles. Il identifie les preuves les plus informatives.
Score de Nécessité (Indispensabilité) : Mesure la dégradation de la probabilité des tokens si certaines régions sont retirées. Il identifie les preuves critiques dont le modèle dépend.
La fonction objectif unifiée $\mathcal{F}$ combine ces deux scores pour guider une recherche gloutonne (greedy search) sur les régions d'image, produisant un classement ordonné des régions les plus influentes.

C. Analyse de la Dépendance aux Modalités

Au-delà de la localisation spatiale (« Où le modèle regarde ? »), EAGLE répond à la question « Sur quoi le modèle s'appuie-t-il ? » :

En suivant l'évolution des logits des tokens à mesure que les régions pertinentes sont révélées progressivement, le framework calcule un score d'influence.
Ce score quantifie si un token est davantage piloté par l'evidence perceptuelle (l'image) ou par les priors linguistiques (le contexte textuel).
Cette approche est agnostique aux tokens : elle fonctionne même pour des tokens fortement influencés par le langage, évitant les biais des méthodes basées sur la sélection de tokens.

3. Contributions Clés

Framework EAGLE : Une méthode d'attribution boîte noire légère qui attribue n'importe quel ensemble de tokens à des régions perceptuelles compactes avec une consommation mémoire GPU réduite.
Fonction Objectif Innovante : L'unification des scores de suffisance (Insight) et d'indispensabilité (Necessité), optimisée par une recherche gloutonne pour un compromis fidélité/efficacité.
Analyse Modale : Une capacité unique à quantifier la dépendance de chaque token aux preuves visuelles versus aux priors linguistiques, offrant une interprétabilité fine des décisions du modèle.
Diagnostic d'Hallucination : Une méthode pour localiser les régions visuelles spécifiques responsables des hallucinations et proposer des corrections en supprimant uniquement ces régions.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs MLLMs open-source (LLaVA-1.5, Qwen2.5-VL, InternVL3.5) et des benchmarks variés (MS COCO, MMVP, RePOPE).

Fidélité (Sentence-level) : EAGLE surpasse les méthodes de l'état de l'art (LLaVA-CAM, IGOS++, TAM) de manière significative.
- Sur la tâche de description d'image (Captioning), amélioration moyenne de +20,0 % sur la métrique d'insertion et +13,4 % sur la suppression.
- Sur les tokens sensibles, les gains sont encore plus marqués (jusqu'à +41,9 %).
Localisation (Word-level) : EAGLE obtient les meilleurs résultats sur le jeu de données Pointing Game (box et mask), surpassant TAM de 36,42 % et 42,63 % respectivement. Les cartes générées sont plus épurées et alignées avec les objets réels.
Diagnostic d'Hallucination : Sur le benchmark RePOPE, EAGLE identifie avec précision les régions causant les erreurs.
- Il permet de corriger les hallucinations en supprimant une très petite fraction de l'image (AMCR faible).
- Taux de succès de correction (CSR@10%) supérieur de plus de 100 % par rapport aux baselines sur certains modèles.
Efficacité : EAGLE nécessite considérablement moins de mémoire GPU (ex: 16 Go contre 96 Go pour IGOS++ sur Qwen2.5-VL 7B), bien que le temps de calcul soit plus élevé en raison de la recherche gloutonne.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'interprétabilité des MLLMs :

Transparence : Il offre une compréhension claire de la dynamique de décision des modèles, distinguant ce qui est « vu » de ce qui est « deviné » via le langage.
Fiabilité : En permettant de localiser et de supprimer les causes racines des hallucinations, il ouvre la voie à des systèmes plus sûrs et plus robustes.
Accessibilité : En étant une méthode boîte noire et légère en mémoire, elle est applicable à une large gamme de modèles sans nécessiter d'accès aux poids internes ou aux gradients, facilitant son adoption pratique.

En résumé, EAGLE ne se contente pas de montrer où le modèle regarde, mais explique pourquoi il génère telle ou telle réponse, en quantifiant le poids relatif de la vision et du langage dans chaque étape de génération.