💻 computer science

Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

Cet article propose CLSE, un cadre d'élagage de jetons sans entraînement qui quantifie l'évolution spectrale inter-couches dans le domaine fréquentiel afin d'identifier et de préserver les jetons visuels sémantiquement actifs, accélérant ainsi les modèles de langage de grande taille multimodaux tout en maintenant ou en améliorant les performances de raisonnement.

Auteurs originaux : Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

Publié 2026-06-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, mais que la boîte contient 1 000 pièces, et que 800 d'entre elles ne sont que des images de ciel bleu ou de table vide. Un ordinateur standard (un Modèle de Langage Grand Multimodal, ou MLLM) essaie d'examiner chacune de ces '1 000 pièces pour comprendre l'image. Cela prend beaucoup de temps et consomme beaucoup d'énergie, alors que la plupart de ces pièces n'aident pas réellement à résoudre le puzzle.

Cette publication présente une nouvelle méthode, « sans entraînement » (training-free), pour éliminer rapidement les pièces inutiles (tokens redondants) afin que l'ordinateur puisse se concentrer uniquement sur les plus importantes, sans avoir besoin d'être réappris à le faire.

Voici comment la nouvelle méthode des auteurs, appelée CLSE (Cross-Layer Spectral Evolution), fonctionne, en utilisant des analogies simples :

1. Le Problème : Le « Projecteur » est biaisé

Les méthodes actuelles tentent de décider quelles pièces de puzzle sont importantes en observant un « projecteur » (appelé scores d'attention) à l'intérieur du cerveau de l'ordinateur.

La faille : Les auteurs soutiennent que ce projecteur est un peu défaillant. Il a tendance à éclairer plus intensément les pièces qui apparaissent plus tard dans la liste, simplement à cause de leur emplacement, et non parce qu'elles sont réellement importantes. C'est comme un professeur qui corrige un examen et qui donne accidentellement des notes plus élevées aux réponses écrites au bas de la page, indépendamment de leur justesse.
Le résultat : L'ordinateur pourrait conserver des pièces de fond inutiles et jeter les pièces cruciales.

2. La Solution : Observer la « Danse » des pièces

Au lieu de prendre un instantané unique de l'importance, les auteurs suggèrent de regarder comment les pièces changent à mesure qu'elles traversent les couches de l'ordinateur (comme le passage d'un témoin lors d'une course de relais).

L'analogie : Imaginez que les tokens visuels (les pièces du puzzle) sont des danseurs.
- Les pièces de l'arrière-plan (comme le ciel) sont des danseurs ennuyeux. Ils restent immobiles et effectuent exactement le même mouvement du début à la fin de la chanson. Ils ne changent pas.
- Les pièces importantes (comme une moto faisant une acrobatie) sont des danseurs dynamiques. Ils commencent par une pose simple (détails de bas niveau) et, au fur et à mesure que la chanson progresse, ils se transforment en une routine complexe et significative (sens de haut niveau).
La méthode : Les auteurs utilisent un outil mathématique appelé Évolution Spectrale (pensez à un « détecteur de changement ») pour mesurer à quel point la routine d'un danseur change d'une couche à l'autre.
- Si un token change beaucoup (évolue), il est conservé car il fait quelque chose d'important.
- Si un token reste le même (statique), il est jeté car il n'est que du bruit de fond.

3. Pourquoi la « Fréquence » est importante

Le papier utilise un concept appelé « fréquence » (provenant de la musique ou des ondes radio) pour expliquer cela.

Basse Fréquence : Pensez à un bourdonnement doux et lent. Cela représente l'arrière-plan ennuyeux et immuable.
Haute Fréquence : Pensez à un battement de tambour sec et rapide. Cela représente les détails fins et les changements soudains qui constituent les parties intéressantes de l'image.
L'astuce : La nouvelle méthode filtre le « bourdonnement lissé » (l'arrière-plan ennuyeux) et ne prête attention qu'aux « battements de tambour » (les détails changeants et importants) à mesure qu'ils évoluent à travers les couches.

4. Les Résultats : Plus Rapides et plus Intelligents

Les auteurs ont testé cette méthode sur de nombreux modèles et tâches (comme répondre à des questions sur des images et des vidéos).

Le résultat : En éliminant les « danseurs ennuyeux » et en gardant les « danseurs dynamiques », l'ordinateur est devenu beaucoup plus rapide (utilisant moins d'énergie et de mémoire) sans perdre sa capacité à comprendre l'image. En fait, dans de nombreux cas, il a été plus performant que d'autres méthodes qui tentaient de deviner l'importance en utilisant le « projecteur » (attention) défaillant.
Vidéo : Cela a particulièrement bien fonctionné pour les vidéos, où il y a encore plus de répétitions « ennuyeuses » entre les images. La méthode a pu réduire le nombre de pièces que l'ordinateur doit traiter de plus de 90 % tout en comprenant parfaitement l'action.

Résumé

En bref, ce papier affirme : Ne vous contentez pas de regarder une pièce une seule fois pour décider si elle est importante. Observez comment elle change à mesure qu'elle traverse le système. Si elle reste la même, c'est probablement du bruit de fond. Si elle évolue et se transforme, c'est la clé pour comprendre l'image. Cela permet à l'IA d'être beaucoup plus rapide sans être confuse.

Résumé technique : Évolution spectrale guidée pour l'élagage de jetons dans les modèles de langage de grande taille multimodaux

1. Énoncé du problème

Les modèles de langage de grande taille multimodaux (MLLM) ont réalisé des progrès significatifs dans le raisonnement visuel et le dialogue, mais souffrent de coûts de calcul élevés en raison du traitement de centaines à des milliers de jetons visuels par échantillon. Cette inefficacité est particulièrement aiguë dans les scénarios d'images et de vidéos à haute résolution.

Les méthodes d'élagage de jetons existantes tentent d'atténuer cela en réduisant la redondance des jetons visuels. Cependant, les approches actuelles reposent généralement sur des signaux à couche unique, tels que les scores d'attention, les magnitudes de caractéristiques ou les métriques de similitude calculées au sein d'une couche Transformer spécifique. Les auteurs identifient deux limitations critiques dans ces méthodes :

Biais de position : Les scores d'attention présentent souvent un biais vers les jetons apparaissant plus tard dans la séquence aplatie en raison des effets d'encodage de position, plutôt que de refléter une véritable importance sémantique.
Représentation statique : Les signaux à couche unique négligent la transformation inter-couches des représentations visuelles. Dans les MLLM, les jetons visuels subissent une évolution structurée des détails spatiaux de bas niveau vers des abstractions sémantiques de haut niveau à mesure qu'ils traversent les couches du décodeur LLM. Les signaux instantanés ne parviennent pas à capturer cette transition dynamique, ce qui conduit à l'élagage potentiel de jetons sémantiquement actifs ou à la rétention de jetons d'arrière-plan redondants.

2. Méthodologie : Évolution spectrale inter-couches (CLSE)

Pour répondre à ces limitations, les auteurs proposent le Cross-Layer Spectral Evolution (CLSE), un cadre d'élagage de jetons sans entraînement. Au lieu de mesurer l'importance d'un jeton sur la base de la magnitude de sa caractéristique ou de l'intensité de son attention à un point donné, le CLSE quantifie la manière dont les représentations des jetons évoluent à travers les couches Transformer dans le domaine fréquentiel.

Mécanisme central

La méthode repose sur l'observation selon laquelle les jetons sémantiquement actifs subissent une redistribution spectrale significative (transition des détails structurels à haute fréquence vers les abstractions sémantiques à basse fréquence) à travers les couches, tandis que les jetons d'arrière-plan redondants restent relativement stationnaires dans le domaine fréquentiel.

Le pipeline CLSE comprend les étapes suivantes :

Projection fréquentielle : Les jetons visuels à une couche $\ell$ spécifique sont remodelés en cartes de caractéristiques spatiales 2D et transformés dans le domaine fréquentiel via la Transformée de Fourier Rapide (FFT).
Filtrage passe-haut : Un filtre passe-haut gaussien est appliqué au spectre pour supprimer les motifs globaux à basse fréquence et isoler l'énergie structurelle à haute fréquence. Cela isole l'information structurelle « résiduelle ».
Calcul de l'évolution spectrale : La méthode calcule la différence normalisée entre les distributions d'énergie à haute fréquence de couches adjacentes ( $\ell$ $ℓ$ et $\ell+1$ $ℓ + 1$ ).
- Soit $\mathbf{S}_\ell$ la distribution spatiale de l'énergie à haute fréquence à la couche $\ell$ .
- L'intensité d'évolution $\mathcal{I}^{(\ell)}$ est calculée comme suit :
  $\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$
- Ici, $\overline{\mathbf{S}}_{\ell}$ est l'énergie moyenne à travers les jetons, agissant comme un régularisateur pour supprimer les fluctuations mineures dans les régions inactives.
Sélection de jetons : Les jetons ayant des scores d'intensité d'évolution plus élevés sont considérés comme sémantiquement actifs et sont préservés. Les jetons avec des scores faibles (indiquant des représentations statiques et redondantes) sont élagués.

Intégration

Le CLSE est intégré dans les premières couches du décodeur LLM (spécifiquement entre les plongements d'entrée et la sortie de la première couche du décodeur). Il sert de module "plug-and-play" qui guide la sélection des jetons avant que les couches suivantes ne traitent la séquence réduite. Le cadre est orthogonal aux stratégies de fusion de jetons et peut être combiné avec elles (par exemple, CLSE-M).

3. Principales contributions

L'article présente trois contributions principales :

Cadre d'Évolution Spectrale Inter-couches (CLSE) : Un nouveau principe d'estimation de l'importance des jetons qui caractérise l'évolution des représentations visuelles des détails structurels vers les abstractions sémantiques à travers les couches du LLM, allant au-delà des statistiques à couche unique.
Stratégie d'élagage sans entraînement : Une implémentation pratique qui identifie et supprime les jetons redondants pendant l'inférence sans nécessiter de réentraînement du modèle ou de modification des poids. Elle exploite la dynamique spectrale pour préserver les jetons subissant des changements de représentation significatifs.
Validation empirique : Des expériences approfondies sur divers benchmarks d'images et de vidéos démontrent que le CLSE atteint un compromis supérieur entre efficacité et précision, particulièrement sous des ratios d'élagage agressifs.

4. Résultats expérimentaux

Les auteurs ont évalué le CLSE sur plusieurs MLLM (LLaVA-1.5, LLaVA-Next, Qwen2-VL) et sur divers benchmarks (GQA, MMB, POPE, SQA, VQAText, etc.).

Compréhension d'images

Performance : Sur LLaVA-1.5-7B, le CLSE a atteint une précision moyenne de 99,4 % par rapport au modèle à jetons complet en ne conservant que 192 jetons (réduction de 66,7 %), surpassant les méthodes de pointe comme FastV (92,1 %) et PDrop (96,9 %).
Réduction agressive : Même à 88,9 % de réduction (64 jetons), le CLSE a maintenu une performance de 94,8 %, surpassant nettement ses concurrents qui subissent une dégradation plus importante.
Généralisation : La méthode a démontré des améliorations constantes sur différentes architectures de modèles (LLaVA-Next-7B, Qwen2-VL-7B/72B), maintenant une précision élevée là où les méthodes basées sur l'attention échouent.

Compréhension vidéo

Compression extrême : Sur Video-LLaVA, en compressant les jetons de 2048 à 194 (>90 % de réduction), le CLSE a atteint une précision moyenne de 35,7 % (en utilisant l'évaluation par GPT-4o-mini), contre 26,1 % pour FastV.
Variante de fusion de jetons (CLSE-M) : En rappelant les jetons élagués et en les regroupant sur la base des scores spectraux, CLSE-M égale la performance du modèle original (38,7 % de précision) tout en réduisant les FLOPs d'environ 90 %.

Efficacité

Coût de calcul : Le CLSE réduit considérablement les FLOPs et la mémoire du cache KV. Sur LLaVA-1.5-7B, il a obtenu une accélération de 1,50× du temps de prefilling avec les FLOPs les plus bas (43,9 %) parmi les méthodes comparées.
Scalabilité : Contra\text{à} l'élagage basé sur l'attention qui nécessite un calcul d'attention "Eager" (complexité quadratique $O(N^2)$ ) pour extraire les poids, le CLSE repose sur la FFT, maintenant une complexité quasi-linéaire $O(N \log N)$ . Cela garantit que la surcharge du mécanisme d'élagage lui-même reste faible, même pour de longues séquences.

5. Signification et affirmations

L'article affirme que l'Évolution Spectrale Inter-couches fournit un signal plus fiable pour l'importance des jetons que les métriques instantanées d'attention ou de magnitude.

Atténuation du biais : En analysant le changement de représentation à travers les couches plutôt que l'état à une seule couche, le CLSE atténue le biais de position inhérent aux scores d'attention.
Fidélité sémantique : La méthode s'aligne sur la compréhension théorique que le décodage des MLLM implique une transition des détails spatiaux vers les abstractions sémantiques. Les jetons qui participent activement à cette transition (montrant une évolution spectrale) sont préservés, tandis que les jetons d'arrière-plan statiques sont supprimés.
Robustesse : L'approche est robuste à travers différents niveaux de compression et échelles de modèles, offrant une voie stable pour accélérer les MLLM sans réentraînement.

Les auteurs concluent que la modélisation de la dynamique de représentation dans le domaine fréquentiel offre une direction prometteuse pour le raisonnement multimodal efficace, encourageant l'exploration ultérieure des représentations spectrales dans les MLLM.