What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

Cette étude introduit le cadre d'analyse EmbedLens pour révéler que les tokens visuels dans les modèles multimodaux sont hautement redondants et parcimonieux, démontrant que seuls environ 60 % des tokens « vivants » portent un sens spécifique et que l'injection directe de ces tokens dans les couches intermédiaires du modèle de langage suffit à traiter la plupart des tâches, rendant ainsi superflue une computation visuelle interne approfondie.

L'essentiel

Imaginez que les Modèles de Langage Multimodaux (MLLM) sont comme des chefs cuisiniers de génie capables de lire des recettes (le texte) et de regarder des photos de plats (l'image) pour répondre à des questions.

Jusqu'à présent, on pensait que ce chef prenait chaque petit morceau de la photo (appelé "token visuel") et le transformait méticuleusement en un ingrédient compréhensible avant de commencer à cuisiner.

Mais cette recherche, menée par Yingqi Fan et son équipe, révèle une vérité surprenante : le chef gaspille énormément d'énergie. En réalité, la plupart des morceaux de la photo qu'il reçoit sont soit inutiles, soit déjà parfaitement cuits, et il n'a pas besoin de les retoucher.

Voici les trois grandes découvertes de l'article, expliquées simplement :

1. Le tri des ingrédients : Les "Morts", les "Puits" et les "Vivants"

Lorsqu'on regarde les morceaux de l'image qui arrivent dans le cerveau du modèle, ils ne sont pas tous égaux. L'équipe a découvert qu'ils se divisent en trois catégories, comme dans une grande cuisine :

• Les "Morts" (Dead Tokens) : Imaginez des épluchures de pommes ou des miettes de pain qui ne servent à rien. Ces morceaux d'image ne contiennent aucune information utile (pas de couleur, pas de forme, pas de texte). Pire encore, le modèle les regarde à peine.
  • La bonne nouvelle : Si on enlève ces 30% de "miettes" avant même de commencer à cuisiner, le plat (la réponse du modèle) reste aussi bon, voire meilleur !
• Les "Puits" (Sink Tokens) : Ce sont comme des aimants ou des décorations fixes sur la table. Ils ne changent jamais, peu importe l'image (que ce soit un chat ou une voiture). Ils servent juste à stabiliser la structure de la conversation, mais ne racontent aucune histoire.
  • La bonne nouvelle : On peut aussi les retirer sans problème.
• Les "Vivants" (Alive Tokens) : Ce sont les vrais ingrédients ! Environ 60% des morceaux restants contiennent toute l'information importante (l'objet, sa couleur, le texte écrit dessus).
  • Le secret : Ces morceaux sont déjà si bien préparés par la caméra (le visionneur) qu'ils arrivent dans le cerveau du modèle presque prêts à être compris.

2. L'illusion de la transformation

On pensait que le modèle devait travailler dur pour transformer ces images en mots. C'est faux.

• L'analogie du traducteur : Imaginez que vous envoyez un message à un ami qui parle déjà votre langue. Vous n'avez pas besoin de le faire passer par un traducteur lent et compliqué.
• La découverte : Les morceaux "Vivants" arrivent déjà avec un sens très clair (comme un objet, une couleur ou un mot écrit). Le modèle n'a presque pas besoin de les "re-cuire" dans ses premières couches de traitement. En fait, essayer de les transformer trop tôt (dans les couches superficielles) peut même gâcher le goût, en ajoutant du bruit ou des erreurs (comme confondre la couleur d'un objet avec celle du fond).

3. Le raccourci magique : Injecter au milieu

Puisque les ingrédients sont déjà bien préparés, pourquoi les faire passer par toute la chaîne de production ?

• L'analogie du métro : Imaginez que vous devez aller au centre-ville. Au lieu de prendre le métro depuis la première station (le début du modèle) et de faire tous les arrêts, vous pouvez sauter directement dans le wagon qui correspond à votre destination (les couches du milieu).
• La conclusion : Pour la plupart des tâches, on peut ignorer les premières étapes de traitement visuel et injecter directement l'image au milieu du cerveau du modèle. Cela rend le système plus rapide, plus économe en énergie et tout aussi intelligent.

En résumé

Cette étude nous dit que les modèles actuels sont comme des usines surdimensionnées : ils passent trop de temps à trier des déchets (les tokens morts) et à transformer des produits déjà finis.

Ce que cela change pour l'avenir :
Les chercheurs proposent de construire des modèles plus intelligents et plus rapides en :

1. Jettant les déchets (supprimer les tokens inutiles).
2. Arrêtant la machine (ne pas transformer ce qui est déjà prêt).
3. Sautant les étapes (envoyer l'image directement là où elle est utile).

C'est une étape majeure pour rendre l'intelligence artificielle visuelle plus efficace, moins coûteuse en énergie et plus facile à comprendre.

Résumé technique

1. Problématique

Les Grands Modèles de Langage Multimodaux (MLLM) comme LLaVA ou Qwen-VL projettent les caractéristiques visuelles d'un encodeur (ex: CLIP) dans l'espace d'embedding d'un modèle de langage (LLM). Cependant, la structure interne et le traitement de ces tokens visuels restent mal compris.
Les auteurs s'interrogent sur plusieurs points cruciaux :

• Comment l'information sémantique globale est-elle distribuée parmi les tokens locaux (patchs) ?
• Tous les patchs visuels portent-ils une signification sémantique ?
• Les embeddings visuels contiennent-ils déjà des concepts "pré-linguistiques" lisibles directement par le LLM, ou nécessitent-ils un traitement lourd par le LLM pour devenir compréhensibles ?
• Existe-t-il des redondances dans les calculs visuels internes (attention, réseaux feed-forward) du LLM ?

2. Méthodologie

Pour répondre à ces questions, les auteurs introduisent un cadre d'analyse en deux volets, centré sur un nouvel outil de sondage appelé EmbedLens.

• EmbedLens : Un outil de sondage sémantique qui mesure la similarité entre un embedding cible (un token visuel projeté) et tous les tokens du vocabulaire d'entrée du modèle. Contrairement aux méthodes précédentes (comme LogitLens) qui utilisent la matrice de décodage, EmbedLens opère directement dans l'espace d'embedding pour identifier si les sémantiques sont intrinsèques aux représentations visuelles.
• Analyse par Clustering : Les auteurs appliquent un clustering basé sur la similarité cosinus aux embeddings visuels post-projection pour identifier des structures macroscopiques stables à travers différentes images.
• Benchmarks de Compression et de Découplage :
  • Un benchmark de compression de patchs pour tester la capacité d'un seul token à encoder plusieurs attributs (objet, couleur, OCR).
  • Des expériences de "saut de couches" (layer skipping) et de "découplage" (désactivation sélective des sous-couches visuelles vMHA et vFFN) pour évaluer la nécessité du traitement interne du LLM.

3. Contributions Principales

L'article identifie une parcimonie sémantique prononcée et une redondance structurelle dans les MLLM, se traduisant par trois contributions majeures :

1. Partitionnement des Tokens Visuels : Les auteurs découvrent que les tokens visuels entrants ne sont pas homogènes mais se divisent en trois catégories fonctionnelles distinctes et stables :

   • Sink Tokens (Tokens Puits) : Environ 10-15% des tokens. Ils sont agnostiques à l'image (leurs embeddings sont quasi-identiques quelle que soit l'entrée) et servent un rôle structurel (stabilisation de la distribution d'attention) sans porter de sémantique visuelle.
   • Dead Tokens (Tokens Morts) : Environ 30% des tokens. Ils sont également indépendants de l'image mais, contrairement aux sinks, ils attirent très peu d'attention et n'ont aucun impact sur le calcul. Ils sont sémantiquement vides et redondants.
   • Alive Tokens (Tokens Vivants) : Environ 60% des tokens. Ce sont les seuls à porter une signification spécifique à l'image. Ils se regroupent près du centre sémantique du texte.

2. Redondance du Calcul Interne :

   • Les Alive Tokens encodent déjà des informations riches et fines (objets, couleurs, OCR) avant même d'entrer dans le LLM. Ils sont largement "pré-linguistiques".
   • Pour la majorité des tâches (VQA général, OCR), le traitement visuel interne du LLM (les couches d'attention visuelle et les FFN) est redondant. Le fait de contourner ces couches n'altère pas, et améliore parfois, les performances.
   • Le traitement interne peut même introduire des biais (ex: confusion entre la couleur de l'objet et celle du fond).

3. Alignement avec les Couches Intermédiaires :

   • Les Alive Tokens s'alignent naturellement avec les représentations des couches intermédiaires du LLM, et non avec l'espace d'embedding initial (couches profondes).
   • Les couches superficielles du LLM apportent peu de transformation utile aux tokens visuels et peuvent même dégrader les performances si les tokens y sont forcés. Cela suggère que l'injection directe des tokens visuels dans les couches intermédiaires est suffisante.

4. Résultats Clés

• Élagage (Pruning) : La suppression des tokens "Sink" et "Dead" (environ 40% du total) n'entraîne aucune perte de performance sur les benchmarks standards (GQA, MME, OCRBench, etc.). Dans certains cas, cela améliore même les résultats en éliminant le bruit.
• Densité Sémantique : Les Alive Tokens sont des unités d'information très denses. Un seul token peut encoder simultanément l'identité d'un objet, sa couleur et son nombre.
• Biais Contextuel : L'analyse révèle que les modèles ont tendance à associer la couleur d'un objet à la statistique de couleur dominante du patch (le fond) plutôt qu'à l'objet lui-même, un biais que le traitement interne du LLM ne corrige pas toujours.
• Architecture Efficace : Les expériences montrent que sauter les premières couches visuelles (ex: couches 1 à 6) préserve ou améliore les performances, confirmant que le traitement précoce est inutile. De plus, désactiver les modules d'attention visuelle (vMHA) dégrade les tâches de localisation spatiale (CV Centric), mais désactiver les FFN visuels (vFFN) affecte davantage les tâches de raisonnement général, suggérant des rôles différents.

5. Signification et Impact

Ce travail offre une vue mécaniste unifiée du traitement des tokens visuels dans les MLLM :

• Efficacité : Il ouvre la voie à des architectures plus légères et efficaces grâce à l'élagage sélectif des tokens (suppression des 40% inutiles) et la réduction des calculs visuels internes.
• Interprétabilité : Il clarifie le rôle des différentes couches du LLM, montrant que l'alignement visuel-langage est en grande partie accompli par le projecteur avant l'entrée dans le LLM.
• Conception Architecturale : Les auteurs suggèrent que les futures architectures devraient envisager l'injection directe des tokens visuels dans les couches intermédiaires du LLM (Mid-layer injection) plutôt que dans l'embedding initial, optimisant ainsi le flux d'information et réduisant la latence.

En résumé, l'article démontre que les MLLM actuels traitent beaucoup plus d'informations visuelles redondantes que nécessaire, et que la sémantique visuelle est déjà largement structurée et alignée avant même que le modèle de langage n'effectue son traitement profond.