🤖 AI

Large Vision-Language Models Get Lost in Attention

Ce papier propose un cadre unifié, à la fois informationnel et géométrique, pour révéler que les mécanismes d'attention dans les grands modèles vision-langage sont fonctionnellement redondants et souvent mal alloués, car le remplacement des poids d'attention appris par des valeurs prédéfinies peut produire des performances comparables ou supérieures.

Auteurs originaux : Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

Publié 2026-05-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Modèle de Vision-Langage à Grande Échelle (LVLM) comme un conservateur de galerie d'art hautement sophistiqué qui tente de décrire une peinture à un visiteur. Ce conservateur dispose de deux assistants principaux travaillant dans la pièce arrière pour l'aider à préparer la description :

Le « Réorganisateur » (Attention) : Cet assistant examine toutes les différentes parties de la peinture et les questions du visiteur, puis mélange les notes pour déterminer quelles parties sont les plus importantes à l'instant présent.
L'« Inventeur » (FFN) : Cet assistant prend ces notes mélangées et rédige réellement de nouvelles idées, ajoutant du vocabulaire et des concepts frais à la description.

L'article soutient que, pendant longtemps, nous avons pensé que le « Réorganisateur » effectuait le gros du travail, scannant constamment la peinture pour trouver les détails les plus critiques. Cependant, les auteurs de cet article ont créé un nouvel ensemble de lunettes (un cadre mathématique) pour observer exactement ce que font ces assistants, et ils ont découvert quelque chose de surprenant : le Réorganisateur est en fait perdu dans le mélange.

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. Les deux assistants ont des tâches très différentes

Les chercheurs ont découvert que ces deux assistants font des choses complètement différentes, presque comme s'ils parlaient des langues différentes :

Le Réorganisateur (Attention) est un « Mélangeur » : Sa tâche principale est de prendre les informations déjà sur la table et de les mélanger. Il modifie comment les informations sont organisées (reconfiguration), mais il ajoute rarement quelque chose de totalement nouveau. C'est comme un DJ qui fait tourner la même playlist ; l'ordre change, mais les chansons restent les mêmes.
L'Inventeur (FFN) est un « Créateur » : Cet assistant est celui qui apporte réellement de nouvelles idées à la table. Il étend le « sous-espace » de la conversation, ajoutant de nouvelles directions sémantiques. C'est comme un écrivain qui imagine réellement de nouveaux points de l'intrigue.

2. Le problème de « Perdu dans l'Attention »

La grande accroche de l'article est que ces modèles sont « Perdus dans l'Attention ».

Imaginez que l'assistant Réorganisateur tente de désigner la partie la plus importante d'une peinture (comme une vache dans un champ) pour aider le conservateur à répondre à une question. Les chercheurs ont découvert que cet assistant se laisse souvent distraire. Au lieu de se concentrer sur la vache, il consacre beaucoup d'énergie à mélanger des notes sur des détails d'arrière-plan aléatoires ou simplement à tourner en rond.

Ils ont mesuré cela en examinant la quantité de « nouvelles informations » que l'assistant injectait réellement dans le système. Ils ont constaté que le « mélange » était souvent redondant — comme réorganiser le même jeu de cartes encore et encore sans tirer une nouvelle carte.

3. L'expérience du « Bruit Aléatoire » (La preuve irréfutable)

Pour prouver que le Réorganisateur perdait son temps, les chercheurs ont tenté une expérience folle : Ils ont remplacé les calculs minutieux du Réorganisateur par du bruit aléatoire.

Au lieu de laisser l'assistant regarder la peinture et décider sur quoi se concentrer, ils lui ont dit de simplement choisir un motif aléatoire (comme de la neige sur une vieille télévision) ou une règle préétablie.

Le Résultat ? Le modèle ne s'est pas effondré. En fait, lors de nombreux tests, le modèle a performé aussi bien, et parfois même mieux, que lorsqu'il utilisait ses propres scores d'attention « intelligents ».

C'est comme dire à un chef : « Arrête de goûter la soupe pour décider quelle épice ajouter ; saupoudre simplement du sel au hasard. » Étonnamment, la soupe avait toujours un goût délicieux. Cela suggère que les mathématiques complexes et coûteuses que le modèle effectuait pour « prêter attention » étaient largement inutiles. Le modèle surréfléchissait au mélange, et l'assistant « Inventeur » effectuait de toute façon le gros du travail.

Résumé

L'article conclut que les modèles d'IA actuels sont inefficaces. Ils consacrent une quantité massive de puissance de calcul à un assistant « Réorganisateur » qui tourne souvent en rond ou se perd dans les détails, tandis que l'assistant « Inventeur » est celui qui conduit réellement l'intelligence.

En réalisant cela, les auteurs suggèrent que nous pourrions être en mesure de construire des modèles d'IA plus rapides et moins chers en simplifiant la façon dont ils « prêtent attention », car ils n'ont pas besoin d'être aussi sophistiqués pour accomplir la tâche.

Résumé Technique : Les Modèles de Vision-Langage de Grande Taille se Perdent dans l'Attention

1. Énoncé du Problème

Malgré les avancées rapides des paradigmes d'entraînement, les architectures de base décodeur des Modèles de Vision-Langage de Grande Taille (LVLM) restent fondamentalement ancrées dans l'architecture Transformer à connexions résiduelles. Alors que les travaux antérieurs sur l'interprétabilité ont offert des insights statistiques sur les fonctions des modules (par exemple, l'attention comme raisonnement dépendant du contexte et les réseaux feed-forward (FFN) comme mémoires clé-valeur), ces approches manquent souvent d'une base théorique unifiée pour contraster explicitement comment différents sous-modules contribuent à la structure de la représentation dans des contextes multimodaux.

Plus spécifiquement, des analyses empiriques ont révélé des phénomènes tels que les « puits d'attention visuelle » et la « dérive de l'attention », suggérant que les LVLM allouent souvent une attention insuffisante aux preuves visuelles informatives. Cependant, il manque une perspective : un cadre principiel capable de quantifier la nature géométrique et entropique des mises à jour résiduelles pour déterminer si les modules pilotent l'innovation sémantique ou se contentent de reconfigurer l'information existante. Ce vide motive la question de savoir si les LVLM actuels exploitent efficacement le contexte visuel ou s'ils souffrent d'une mauvaise allocation sévère et de redondance dans leurs mécanismes d'attention.

2. Méthodologie

Les auteurs proposent un cadre unifié fondé sur la théorie de l'information et la géométrie différentielle pour quantifier et contraster les contributions fonctionnelles au niveau des modules au sein du flux résiduel des LVLM.

Cadre Théorique

Adoptant l'hypothèse de variété, les auteurs formalisent l'information contenue dans une matrice de représentation $X \in \mathbb{R}^{S \times H}$ (où $S$ est la longueur des tokens et $H$ la taille cachée) comme une paire $\mathcal{I}(X) = (\mathcal{S}_X, \mathcal{D}_X)$ :

Complexité de l'Information ( $\mathcal{S}_X$ ) : Quantifiée par le rang effectif (eRank) du spectre singulier, représentant l'échelle de la représentation.
Support de l'Information ( $\mathcal{D}_X$ ) : Défini par les sous-espaces singuliers gauche et droit (points de Grassmann), représentant les directions sémantiques et les dépendances entre tokens.

Pour mesurer la contribution d'une mise à jour résiduelle $\Delta X$ (où $X' = X + \Delta X$ ), le cadre introduit deux métriques complémentaires :

Discrépance d'Information de Représentation (RID) : Mesure l'innovation. Elle quantifie l'injection d'information externe en sommant le changement de complexité spectrale ( $\Delta \mathcal{S}$ ) et la nouveauté du support de sous-espace ( $\Delta \mathcal{D}$ ). Une RID élevée indique que la mise à jour étend le sous-espace sémantique ou modifie la complexité spectrale.
Gain d'Information de Mélange (MixIG) : Mesure la reconfiguration. Elle quantifie le changement de l'Entropie de Mélange de Tokens (TME), qui capture la manière dont les tokens interagissent et redistribuent l'information au sein du support existant. Un MixIG élevé indique une réorganisation interne significative sans nécessairement introduire de nouvelles directions sémantiques.

Protocole Expérimental

Le cadre a été appliqué à 15 LVLM de l'état de l'art couvrant trois architectures dominantes (famille Qwen, famille LLaVA-1.5 et famille LLaVA-NeXT) sur une large suite de benchmarks multimodaux (incluant POPE, 3DSRBench, MMMU et HallusionBench).

L'étude a employé trois configurations comparatives :

Baselines Stochastiques : Remplacement des mises à jour d'attention par du bruit gaussien (correspondant aux moments empiriques) ou randomisation des poids QKV pour valider la sensibilité des métriques face à des perturbations non structurées.
Attribution de Module : Suivi de l'évolution de la RID et du MixIG à travers les couches pour isoler les contributions spécifiques des modules Attention et FFN.
Intervention (Prior d'Attention Partagée - SAP) : Remplacement des scores d'attention appris dans des couches sélectionnées par des priors prédéfinis (cartes d'attention de l'encodeur visuel, priors de complexité de patchs, ou bruit gaussien) pour tester la nécessité fonctionnelle des poids d'attention appris.

3. Contributions Clés

Cadre Théorique : L'article établit un formalisme rigoureux basé sur l'hypothèse de variété pour définir l'information de représentation. Il introduit la RID et le MixIG comme des métriques duales pour quantifier les impacts géométriques (innovation) et entropiques (reconfiguration) des mises à jour résiduelles, offrant un outil généralisé pour sonder la dynamique de la représentation au-delà d'une simple attribution.
Interprétabilité au Niveau des Modules : L'étude fournit une explication quantitative des rôles distincts au sein des blocs Transformer. Elle démontre que l'Attention et les FFN opèrent dans des régimes orthogonaux :
- L'Attention agit comme un opérateur préservant le sous-espace, effectuant une forte reconfiguration (MixIG élevé) mais une faible innovation (RID faible). Elle réorganise principalement l'information existante.
- Les FFN agissent comme des opérateurs étendant le sous-espace, pilotant l'innovation sémantique (RID élevé) avec une faible reconfiguration (MixIG faible).
Diagnostics Empiriques : La recherche révèle des inefficacités critiques dans les conceptions de LVLM. Elle montre que l'attention visuelle du décodeur échoue souvent à effectuer un mélange significatif sur les preuves visuelles pertinentes pour la question, présentant une redondance substantielle.

4. Résultats

Découplage Fonctionnel : À travers 15 variantes de LVLM, une séparation cohérente est apparue. Les mises à jour d'attention ont montré une innovation négligeable (de l'ordre de la tolérance $\epsilon_{RoPE}$ ) mais une forte reconfiguration. À l'inverse, les mises à jour des FFN ont montré une innovation substantielle avec une faible reconfiguration. Cela valide une division stricte du travail où l'attention contextualise l'information existante tandis que les FFN calculent de nouvelles caractéristiques sémantiques.
Mauvaise Allocation dans l'Attention Visuelle : L'analyse couche par couche a montré que les interactions inter-tokens restent rares dans la plupart des couches. L'attention visuelle échoue souvent à allouer l'interaction aux régions visuelles pertinentes pour la question. Dans les échantillons incorrects, le « ratio de degré de région-clé » (masse d'interaction acheminée vers les preuves visuelles pertinentes) était significativement plus faible (4,2 %) par rapport aux échantillons corrects (13,1 %).
Redondance de l'Attention Apprise : Dans les expériences d'intervention SAP, le remplacement des scores d'attention appris par des valeurs prédéfinies (par exemple, bruit gaussien, cartes d'encodeur visuel, ou priors de complexité de patchs) dans des couches sélectionnées a produit des performances comparables, voire supérieures, sur la majorité des ensembles de données par rapport aux modèles de base. Par exemple, dans les variantes Qwen-2.5-VL et LLaVA-1.5, le remplacement de l'attention par du bruit dans des plages de couches spécifiques n'a pas dégradé les performances, et dans certains cas, les a améliorées.

5. Signification et Revendications

L'article revendique que les LVLM actuels de l'état de l'art se « perdent effectivement dans l'attention ». Les résultats suggèrent que l'intégration des tokens visuels est souvent coûteuse en calcul mais informationnellement sparse, avec une grande fraction du score d'attention visuelle étant fonctionnellement inutile.

La signification de ce travail réside dans :

Le Changement de Perspective Diagnostique : Passer de l'identification de ce qui existe (par exemple, des fonctionnalités spécifiques de têtes) au diagnostic de ce qui est insuffisant ou excessif dans la mise à jour résiduelle elle-même (innovation vs reconfiguration).
La Remise en Question des Hypothèses Architecturales : Les résultats exposent une mauvaise allocation sévère et une redondance, suggérant que le coût computationnel quadratique de l'auto-attention standard dans les décodeurs LVLM pourrait ne pas être pleinement justifié par le flux d'information qu'il fournit.
Optimisation Future : Le travail motive des optimisations ciblées centrées sur l'attention, telles que la conception de mécanismes d'attention plus efficaces ou de régularisateurs qui préservent le mélange utile tout en réduisant le score inutile, menant potentiellement à des architectures LVLM plus efficaces.

Les auteurs concluent que leur cadre transforme les mises à jour résiduelles des LVLM en dynamiques mesurables d'innovation–reconfiguration, fournissant des preuves que la dépendance actuelle aux scores d'attention appris pour l'intégration du contexte visuel est souvent redondante.