💻 computer science

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

Cet article propose le Trend-aware Pruning, un cadre d'apprentissage sans entraînement pour les modèles de langage de grande taille multimodaux qui améliore l'efficacité en modélisant l'évolution dynamique de l'importance des jetons à travers les couches afin d'empêcher la perte prématurée d'indices visuels critiques, atteignant plus de 77,8 % de réduction de jetons tout en maintenant des performances compétitives.

Auteurs originaux : Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Publié 2026-07-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment comprendre le monde en lui montrant des images et en lui posant des questions. Ce domaine est appelé les Modèles de Langage de Grande Taille Multimodaux (MLLM). Considérez ces modèles comme de brillants détectives capables de lire du texte et de regarder des images en même temps. Pour « voir » une image, le robot la décompose en des milliers de minuscules pièces de puzzle appelées « tokens ». Chaque token est un petit fragment de l'image, comme un morceau de ciel bleu ou une roue de voiture. Le problème, c'est que lorsque vous montrez au robot une photo haute résolution, il est submergé par trop de morceaux. Il essaie de prêter attention à chacun d'entre eux, ce qui rend le robot lent, coûteux à faire fonctionner et parfois même confus par tout ce bruit.

Pour corriger cela, les scientifiques ont essayé une astuce simple : jeter simplement les morceaux qui semblent peu importants dès le début. C'est comme un videur à l'entrée d'un club qui regarde une foule et éjecte immédiatement quiconque ne porte pas une chemise d'une couleur spécifique. Mais voici le piège : parfois, la personne la plus intéressante dans la pièce porte une chemise banale au début, pour ensuite se mettre à danser et devenir l'âme de la fête quelques minutes plus tard. Si le videur l'éjecte trop tôt, la fête est gâchée. Cet article pose une grande question : est-il prudent de prendre une décision finale sur ce qu'il faut garder en se basant uniquement sur un regard d'un instant, ou devons-nous observer comment les choses changent au fil du temps ?

Les chercheurs derrière cet article, Jie Ma et son équipe, affirment que l'ancienne méthode du « videur » est trop rigide. Ils proposent une nouvelle façon de penser appelée l'Élagage Sensible aux Tendances (Trend-aware Pruning). Au lieu de simplement regarder un instantané des tokens qui sont importants en ce moment, leur méthode agit comme un observateur patient qui observe les tokens au fil du temps pour voir leurs « tendances ». Ils ont réalisé que certains tokens sont comme des fleurs à floraison tardive ; ils peuvent paraître calmes et peu importants dans les premières couches du cerveau du robot, mais à mesure que le robot traite l'image plus profondément, ces tokens deviennent soudainement cruciaux pour comprendre la scène.

L'équipe a construit un système qui suit le « momentum » de ces tokens. Imaginez une rivière où certains rochers restent simplement là, tandis que d'autres dérivent lentement vers le centre du courant. Les anciennes méthodes ignoraient les rochers qui dérivent parce qu'ils ne sont pas encore au centre. La nouvelle méthode, cependant, remarque la dérive. Elle garde un œil sur les tokens qui montrent une « tendance à la hausse » — ce qui signifie que leur importance augmente même s'ils ne sont pas encore la priorité absolue. Si un token commence à paraître plus intéressant à mesure que le robot creuse plus profondément, le système le « sauve », le réintégrant dans la conversation avant qu'il ne soit trop tard. Ils surveillent également les tokens qui « fluctuent » (montent et descendent) ou qui ont une « tendance à la baisse » (s'effacent), en traitant chaque groupe différemment plutôt que de simplement tous les jeter.

Lorsqu'ils ont testé cette idée sur des cerveaux de robots populaires comme LLaVA et Qwen, les résultats ont été impressionnants. La nouvelle méthode n'a pas seulement fait gagner du temps ; elle a aussi aidé le robot à mieux performer. Dans leurs expériences, ils ont été capables de réduire le nombre de tokens visuels de plus de 77,8 %, ne laissant que environ 23 tokens à traiter pour la couche finale. Malgré l'élimination d'une telle quantité de données, le robot a conservé 98,89 % de sa performance d'origine en réduisant les tokens de moitié, et a même maintenu une solide performance de 96,03 % en réduisant les tokens de près de 78 %. C'est un événement majeur car d'autres méthodes qui choisissent simplement les « meilleurs » tokens au départ perdent souvent des détails importants lorsqu'elles deviennent aussi agressives.

Les auteurs suggèrent que cette approche fonctionne parce qu'elle respecte le fait que la compréhension d'une image est un voyage, et non un instant unique. En permettant au robot de changer d'avis et de « réactiver » des tokens qui ont été initialement négligés, ils empêchent la perte d'indices critiques. Ils ont constaté que cette approche dynamique est particulièrement efficace pour des tâches complexes comme la lecture de texte dans les images (OCR) ou la détection de petits détails, là où les méthodes statiques échouent souvent. Bien qu'ils admettent que leur système repose sur une fenêtre d'observation fixe et pourrait être amélioré pour gérer des séquences encore plus longues, leur travail montre que surveiller la tendance de l'attention est un moyen puissant de rendre ces robots intelligents plus rapides et plus aiguisés sans avoir besoin de les réentraîner à partir de zéro.

Résumé technique : Capturer les tendances des jetons pour l'élagage de jetons sans entraînement dans les modèles de langage de grande taille multimodaux

Problématique

Les modèles de langage de grande taille multimodaux (MLLM) sont confrontés à un goulot d'étranglement computationnel important dû à la complexité quadratique du mécanisme d'attention lors du traitement d'images haute résolution et d'entrées multi-images. Cela entraîne un nombre excessif de jetons visuels, créant une redondance sévère qui entrave l'efficacité de l'inférence.

Les méthodes existantes d'élagage de jetons sans entraînement tentent d'atténuer ce problème en s'appuyant sur des heuristiques statiques et instantanées (par exemple, la sélection Top- $k$ basée sur l'attention) pour filtrer les jetons dans les premières couches. Le papier identifie une faille critique dans cette approche : elle traite l'importance d'un jeton comme une décision fixe et ponctuelle. Cependant, les MLLM présentent une nature hiérarchique où l'importance des jetons évolue dynamiquement à travers les couches. Les jetons visuels qui semblent redondants ou faiblement activés dans les couches peu profondes (représentant des caractéristiques de bas niveau) peuvent devenir critiques pour le raisonnement de haut niveau dans les couches plus profondes. L'élagage statique rejette de manière irréversible ces jetons à « éclosion tardive » sur la base d'estimations de couches superficielles, entraînant une perte de indices sémantiques essentiels et une dégradation des performances, particulièrement pour les tâches de raisonnement complexes.

Méthodologie : Élagage sensible aux tendances (Trend-aware Pruning)

Pour remédier au désalignement entre l'élagage statique et l'évolution sémantique dynamique, les auteurs proposent l'Élagage sensible aux tendances, un cadre sans entraînement qui reformule l'élagage de jetons comme un problème de modélisation de trajectoire temporelle plutôt que comme une décision par instantané local. Le cadre se compose de quatre éléments clés :

Collecteur de jetons par couche (Layer-wise Token Collector) :
Au lieu d'évaluer les jetons de manière isolée, ce module agrège les états d'attention historiques à travers une fenêtre d'observation glissante ( $W$ ). Il maintient un cache de mémoire à court terme des scores d'attention, permettant au système de suivre l'« impulsion » de l'importance du jeton plutôt que sa simple valeur actuelle.
Modélisation du flux de jetons (Token Flow Modeling) :
La méthode calcule un Flux de jetons ( $F_l$ ) en calculant la différence par étape des scores d'attention au sein de la fenêtre d'observation. Cela découple la direction du changement de représentation de la valeur d'importance d'une seule couche, capturant efficacement l'évolution dynamique de chaque jeton.
Identification adaptative du flux (Adaptive Flow Identification) :
Sur la base du flux de jetons, les jetons sont classés en trois modèles évolutifs :
- Tendance à la hausse (Upward-trending) : Jetons dont les scores d'attention augmentent, indiquant une accumulation d'importance sémantique.
- Tendance à la baisse (Downward-trending) : Jetons dont les scores diminuent, suggérant une irrelevance ou des changements de représentation.
- Fluctuant (Fluctuating) : Jetons présentant des modèles oscillatoires, représentant souvent des indices contextuels qui varient selon les couches.
Le système emploie une stratégie de seuillage adaptatif sensible à la distribution pour sélectionner les jetons en fonction de ces tendances, plutôt que d'utiliser des seuils empiriques fixes.
Activation du flux et rétention dynamique (Flow Activation and Dynamic Retention) :
Il s'agit du mécanisme central qui permet un élagage réversible. Il combine un élagage Top- $k$ statique grossier (pour l'efficacité) avec une activation sensible aux tendances plus fine. Crucialement, il réactive sélectivement les jetons qui ont été initialement filtrés par le Top- $k$ statique mais qui présentent des tendances sémantiques positives (Ascendantes ou Fluctuantes). Cela garantit que les jetons essentiels au raisonnement des couches profondes sont préservés, même s'ils étaient sous-évalués dans les couches antérieures.

Contributions clés

Reformulation de l'élagage : Le papier déplace le paradigme du filtrage de jetons statique et ponctuel vers un processus dynamique et inter-couches qui modélise explicitement l'évolution sémantique des jetons visuels.
Cadre d'élagage sensible aux tendances : Une méthode novatrice qui guide conjointement l'élimination des jetons et la réactivation sélective. Elle introduit un mécanisme pour récupérer dynamiquement les jetons dont l'importance sémantique émerge dans les couches plus profondes, atténuant la dégradation causée par la perte irréversible de indices visuels.
Efficacité sans entraînement : L'approche est prête à l'emploi (plug-and-play), ne nécessitant aucun entraînement ou ajustement supplémentaire, ce qui la rend applicable à diverses architectures de MLLM.

Résultats expérimentaux

Les auteurs ont évalué l'Élagage sensible aux tendances sur plusieurs MLLM courants (série LLaVA et Qwen2.5-VL) à travers divers benchmarks (MME, GQA, POPE, SQA, MMBench, etc.).

Compromis Efficacité-Performance : La méthode atteint une rétention de performance supérieure tout en réduisant considérablement les coûts de calcul. À un ratio d'élagage de 50 %, elle conserve 98,89 % de la performance moyenne tout en réduisant les FLOPs à 55,10 %, surpassant les méthodes de pointe comme FastV, PDrop et SparseVLM.
Élagage agressif : Sous la configuration la plus agressive (élagage à 77,8 %), la méthode réduit le nombre de jetons visuels dans la couche finale à environ 23 (le plus bas parmi toutes les méthodes comparées) tout en maintenant une performance compétitive (96,03 % de rétention moyenne).
Généralisation : L'approche démontre une supériorité constante à travers différentes tailles de modèles (0.5B, 7B, 13B) et architectures, y compris Qwen2.5-VL, où elle surpasse nettement le Top- $k$ statique sur les tâches nécessitant des détails fins (ex: OCRBench, InfoVQA).
Études d'ablation : Les expériences confirment que la modélisation des trois tendances (Ascendante, Fluctuante et Descendante) est cruciale. Plus précisément, l'incorporation des jetons à tendance ascendante améliore considérablement les performances sur les tâches riches en détails, tandis que les jetons fluctuants et descendants apportent un affinement supplémentaire.

Signification et affirmations

Le papier affirme que l'Élagage sensible aux tendances offre une solution robuste et réversible pour une inférence multimodale à haute efficacité. En reconnaissant que l'importance d'un jeton n'est pas fixe mais évolue dynamiquement, la méthode empêche la perte prématurée de indices visuels critiques que les méthodes statiques rejettent inévitablement.

Les auteurs soulignent que leur approche met en évidence l'importance de modéliser la dynamique des jetons à travers les couches. Ils soutiennent que l'importance d'une seule couche est insuffisante pour déterminer la valeur sémantique finale d'un jeton visuel. En élevant l'élagage d'une décision locale à un problème de trajectoire temporelle, la méthode parvient à une décision d'élagage plus précise et stable, permettant une réduction agressive des jetons sans sacrifier la complétude de la représentation requise pour les tâches de raisonnement complexes.

Ce travail est présenté comme une étape vers des stratégies d'élagage réversibles et cohérentes avec la représentation, offrant une nouvelle perspective sur la gestion des goulots d'étranglement computationnels dans les MLLM sans nécessole de réentraînement.