Résumé Technique : Aperçus Mécanistes de la Parcimonie Fonctionnelle dans les MLLM via les Têtes CoRe

1. Énoncé du Problème

Les modèles de langage multimodaux (MLLM) ont démontré une compétence remarquable dans des tâches de vision-langage complexes, pourtant les mécanismes internes régissant la manière dont ils extraient les caractéristiques visuelles pertinentes par rapport à une requête au sein de contextes bruyants et encombrés restent opaques. Bien que les MLLM projettent des signaux visuels de haute dimension dans des espaces sémantiques, les entrées du monde réel contiennent souvent des informations redondantes. Le raisonnement multimodal robuste dépend de la capacité du modèle à isoler sélectivement des indices visuels parcimonieux et pertinents pour la tâche. Cependant, les cadres d'interprétabilité existants reposent sur des heuristiques statistiques grossières (ex. : entropie spatiale, agrégation d'attention) évaluées principalement sur des images statiques. Ces approches ne parviennent pas à capturer l'attention par jeton (token-level) conditionnée par la requête dans des scènes spatiotemporelles denses ou dynamiques, laissant un fossé important dans la compréhension des modes de défaillance et de l'efficacité interne des MLLM.

2. Méthodologie

Les auteurs proposent un cadre systématique pour identifier et caractériser un sous-ensemble spécialisé de têtes d'attention responsables de la recherche croisée de modalités, nommé têtes de Récupération Sensibles au Contexte (CoRe - Context-aware Retrieval).

2.1 Masse d'Attention de Récupération (RAM)

Pour isoler ces têtes, les auteurs introduisent une métrique par jeton appelée Masse d'Attention de Récupération (RAM). Contrairement aux métriques d'attention génériques, la RAM quantifie la masse d'attention allouée par une tête spécifique $h$ des jetons de requête instructionnels ($q$) vers les entités visuelles de vérité terrain ($V^*$).
Le score RAM pour une tête est défini par :
$$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$$
où $\Omega(V^*)$ représente l'étendue spatiale ou temporelle tokenisée des entités visuelles clés, et $A(h)_{x \to y}$ est le poids d'attention. Des valeurs RAM élevées indiquent une récupération ciblée plutôt qu'une accumulation d'attention générique ou des « puits d'attention » (attention sinks).

2.2 Protocole d'Évaluation Unifié

L'étude utilise un protocole unifié à travers quatre jeux de données diversifiés couvrant différentes modalités et complexités :

• RefCOCOg : Localisation visuelle sur image statique (boîtes englobantes).
• VidSTG : Localisation spatio-temporelle vidéo (tubes temporels).
• MMLongG : Raisonnement multi-preuves à contexte long (régions de preuves).
• MMDocIR : Récupération basée sur des documents (régions de pages/figures).

Les auteurs projettent les annotations continues (boîtes spatiales, tubes temporels) en indices de jetons discrets $\Omega(V^*)$ en utilisant des stratégies spécifiques à l'architecture (ex. : marquage de bordure pour les modèles basés sur des adaptateurs, découpage uniforme pour les modèles à expansion fixe) afin d'assurer une mesure précise de l'attention.

2.3 Interventions Causales et Accélération

Pour valider la nécessité fonctionnelle des têtes CoRe, les auteurs effectuent des interventions causales via le masquage d'attention pendant l'inférence. Ils ablent les $k$ meilleures têtes CoRe (classées par RAM) et comparent les performances par rapport à l'ablation de têtes classées en queue de liste ou aléatoires.
De plus, ils proposent un mécanisme d'Attention Hybride Guidée par CoRe pour l'accélération au niveau du système. Cette stratégie conserve l'attention globale complète pour les $k$ meilleures têtes CoRe tout en restreignant les têtes non essentielles restantes à des fenêtres glissantes locales (Attention Sparse de type Stream) durant la phase de prefill, visant à réduire la complexité computationnelle quadratique.

3. Contributions Clés et Résultats

3.1 Découverte de la Parcimonie Fonctionnelle

L'analyse révèle une propriété structurelle profonde : la parcimonie fonctionnelle. Un petit sous-ensemble spécialisé de têtes d'attention (têtes CoRe) agit comme des extracteurs d'informations dédiés, tandis que la grande majorité des têtes présentent des motifs d'attention globaux et diffus.

• Localisation : Les têtes CoRe localisent précisément les entités visuelles pertinentes au contexte (ex. : objets spécifiques dans une vidéo ou régions textuelles dans un document), filtrant ainsi le bruit de fond.
• Différenciation : Les têtes de rang inférieur (Bottom Heads) dispersent l'attention à travers des régions non pertinentes et échouent à ancrer les instructions.

3.2 Évolution Structurelle et Mise à l'Échelle (Scaling)

• Modèles de Scaling : À mesure que la capacité du modèle augmente (ex. : de 4B à 32B paramètres), les têtes CoRe passent d'une distribution éparpillée à un « goulot d'étranglement » hautement concentré dans les couches profondes (ex. : couches 44–56 pour les modèles 32B).
• Divergence Architecturale : Différentes familles de modèles présentent des topologies distinctes. Qwen3-VL montre une localisation parcimonieuse, LLaVA-OneVision une dispersion modérée, et InternVL3.5 des activations denses, suggérant que la parcimonie structurelle est une stratégie d'allocation dynamique répondant à la densité de la représentation visuelle plutôt qu'une propriété intrinsèque du LLM de base.

3.3 Stabilité Trans-domaine

Les têtes CoRe présentent un paradigisme « globalement cohérent, localement variant ». Environ 30 têtes spécifiques restent universellement activées à travers diverses tâches (RefCOCOg, VidSTG, MMLongBench, MMDocIR), avec des corrélations de rang de Spearman élevées (0.79–0.92) dans leurs motifs d'activation. Ces têtes sont stablement concentrées dans les couches médianes à tardives.

3.4 Nécessité Causale

Les interventions causales confirment la nécessité non redondante des têtes CoRe :

• Dégradation des Performances : Abler uniquement les 5 % des meilleures têtes CoRe provoque une chute catastrophique des performances de raisonnement multimodal (ex. : la précision chutant d'environ 45 % à 27 % pour Qwen3-VL-4B).
• Redondance : L'ablation des têtes de rang inférieur a un effet minimal, indiquant une redondance fonctionnelle significative dans les têtes non spécialisées.

3.5 Accélération et Efficacité

En exploitant cette parcimonie, le mécanisme d'attention hybride proposé permet des accélérations significatives :

• Accélération : Jusqu'à 2,3× d'accélération du prefill sur des tâches à contexte long (ex. : MLVU, Video-MME) tout en maintenant des performances robustes.
• Rétention de Performance : Dans certaines configurations (ex. : rétention de 19,1 % des têtes dans LLaV-OneVision), le modèle hybride surpasse légèrement la ligne de base entièrement dense, probablement en raison d'un effet de régularisation implicite qui filtre le bruit cross-modal.
• Scalabilité : Les modèles plus larges (ex. : Qwen3-VL-32B) soutiennent des niveaux de parcimonie plus élevés (jusqu'à 4,9 % des têtes) avec une perte de performance négligeable, suggérant une redondance fonctionnelle accrue à grande échelle.

4. Signification et Revendications

L'article affirme révéler un principe structurel de parcimonie fonctionnelle au sein des MLLM, affinant la compréhension actuelle de l'interprétabilité mécaniste. Les implications clés incluent :

1. Aperçu Mécaniste : Le raisonnement multimodal est régi par un sous-ensemble parcimonieux et cohérent de têtes qui agissent comme un goulot d'étranglement critique pour l'extraction cross-modale, distinct de l'agrégation de caractéristiques globales effectuée par les autres têtes.
2. Non-Redondance : Ces têtes spécialisées sont causalement indispensables ; leur suppression ne peut être compensée par le reste du réseau.
3. Potentiel d'Optimisation : Cette découverte fournit une base théorique pour une optimisation efficace des modèles. En opérant sur une petite fraction de têtes critiques, il est possible d'accélérer considérablement l'inférence (particulièrement dans les scénarios à contexte long) sans compromettre la sélection sémantique ou la performance des tâches.

Les auteurs notent des limites, telles que la dépendance aux annotations de vérité terrain explicites pour le calcul de la RAM et l'utilisation actuelle de configurations de têtes statiques pour l'accélération, suggérant que les travaux futurs pourraient explorer des stratégies de routage dynamiques et adaptatives à l'entrée.