🤖 machine learning

Token Reduction Should Go Beyond Efficiency in Generative Models -- From Vision, Language to Multimodality

Cet article soutient que la réduction de jetons dans les modèles génératifs basés sur les Transformers devrait évoluer d'une simple stratégie d'efficacité vers un principe de conception fondamental qui améliore l'alignement multimodal, atténue les hallucinations, assure la cohérence des contextes longs et améliore la stabilité de l'entraînement à travers les systèmes visuels, linguistiques et multimodaux.

Auteurs originaux : Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenglun Kong, Yize Li, Fanhu Zeng, Lei Xin, Shvat Messica, Xue Lin, Pu Zhao, Manolis Kellis, Hao Tang, Marinka Zitnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de lire un roman massif de 1 000 pages pour répondre à une seule question : « De quelle couleur était le chat ? »

Dans le monde de l'IA moderne (plus précisément des « Modèles Génératifs »), l'ordinateur ne se contente pas de lire le livre ; il décompose chaque mot, chaque phrase et chaque paragraphe en de minuscules morceaux de taille égale appelés tokens. Pour répondre à votre question, l'IA tente traditionnellement de prêter attention à chacun de ces morceaux simultanément.

Le problème ? À mesure que le livre s'allonge, l'effort requis pour connecter chaque mot à tous les autres explose. C'est comme essayer d'avoir une conversation où les 10 000 personnes dans un stade crieraient leurs pensées en même temps à tout le monde. C'est lent, coûteux et l'ordinateur se fatigue (ou « manque de mémoire »).

L'ancienne méthode : Couper dans le gras
Pendant longtemps, les chercheurs ont traité la « Réduction de Tokens » comme un régime pour ordinateurs. L'objectif était simple : Efficacité. Ils regardaient le livre de 1 000 pages, trouvaient les parties ennuyeuses (comme les descriptions de la météo ou des décors) et les jetaient. Cela rendait l'ordinateur plus rapide et moins coûteux à exploiter.

La nouvelle idée : Il ne s'agit pas seulement de vitesse
Cet article soutient que nous devons changer de mentalité. La réduction de tokens ne devrait pas être seulement un moyen d'économiser de l'argent ou de gagner en vitesse. Elle devrait être un principe de conception fondamental qui rend l'IA plus intelligente et plus fiable.

Voici comment l'article explique ce changement en utilisant des analogies simples :

1. Corriger le problème de la « vision en tunnel » (Représentation visuelle)

Imaginez que vous regardez la photo d'un chat assis sur un canapé.

Le Problème : Les modèles d'IA actuels se laissent parfois distraire. Ils peuvent fixer trop intensément le mur vide derrière le chat ou le coin inférieur de l'image, manquant ainsi le chat lui-même. C'est ce qu'on appelle la « Redondance Visuelle ».
La Solution : La réduction de tokens agit comme un projecteur intelligent. Au lieu d'éclairer toute la pièce, elle concentre automatiquement l'attention de l'IA uniquement sur le chat. En éliminant le « bruit » (le mur vide), l'IA comprend mieux l'image, et pas seulement plus vite.

2. Arrêter l'« excès de réflexion » (Raisonnement)

Imaginez un étudiant passant un examen de mathématiques.

Le Problème : Parfois, l'IA devient anxieuse et « réfléchit trop ». Elle écrit un essai de 50 pages pour résoudre un simple problème d'addition, s'étalant sans fin jusqu'à ce qu'elle s'embrouille et commette une erreur. C'est ce qu'on appelle l'« Overthinking » (Excès de réflexion).
La Solution : La réduction de tokens agit comme un éditeur strict. Elle coupe les divagations et force l'IA à s'en tenir aux étapes essentielles. En supprimant les mots superflus et confus, l'IA devient plus logique et moins susceptible d'halluciner (inventer des choses).

3. Garder le fil de l'histoire (Contexte long)

Imaginez que vous essayez de vous souvenir d'une histoire racontée sur une durée de 10 heures.

Le Problème : Si vous essayez de vous souvenir de chaque mot prononcé, vous finissez par oublier le début. L'IA se « perd au milieu » des longues conversations ou des vidéos.
La Solution : La réduction de tokens agit comme un synthétiseur. Au lieu d'essayer de garder chaque mot en tête, elle apprend à compresser l'histoire en ses « moments clés » les plus importants. Cela permet à l'IA de se souvenir des points principaux d'un film de 10 heures sans être submergée.

4. S'entraîner sans le bruit (Stabilité)

Imaginez un professeur essayant d'enseigner à une classe, mais les élèves n'arrêtent pas de crier des faits aléatoires et non pertinents.

Le Problème : Lors de l'entraînement d'une IA, les données « bruyantes » (tokens non pertinents) peuvent confondre le modèle, faisant en sorte qu'il mette plus de temps à apprendre ou qu'il apprenne de mauvaises choses.
La Solution : La réduction de tokens agit comme un filtre. Elle aide l'IA à ignorer les cris pour se concentrer uniquement sur les leçons claires et importantes. Cela rend le processus d'apprentissage plus fluide et plus stable.

Le Futur : Plus intelligent, pas seulement plus rapide

L'article trace une feuille de route pour un futur où la réduction de tokens sera utilisée pour bien plus que la simple économie de batterie :

Pour les robots et les voitures autonomes : Au lieu de simplement traiter un flux vidéo, l'IA apprendra à identifier uniquement les voitures et les piétons en mouvement (les tokens importants) et ignorera les arbres et le ciel statiques. C'est crucial pour prendre des décisions en une fraction de seconde.
Pour l'IA médicale : Imaginez que l'historique médical d'un patient soit une bibliothèque massive de dossiers. La réduction de tokens peut aider l'IA à organiser ces dossiers en un résumé compact et clair, mettant en évidence uniquement les symptômes et les traitements qui comptent pour le diagnostic actuel, plutôt que de se perdre dans des milliers de pages de données non pertinentes.
Pour les agents d'IA : Si vous avez une équipe de robots d'IA travaillant ensemble, ils ne devraient pas perdre de temps à s'envoyer des messages longs et ennuyeux. La réduction de tokens aide ces équipes à communiquer uniquement l'information essentielle, rendant leur travail d'équipe plus efficace.

En résumé
L'article affirme que la Réduction de Tokens n'est plus seulement un « outil d'accélération ». Elle devient un outil de contrôle de la qualité. En apprenant aux modèles d'IA à ignorer le bruit pour se concentrer sur ce qui compte vraiment, nous ne les rendons pas seulement plus rapides ; nous les rendons plus précis, plus logiques et plus aptes à comprendre le monde qui les entoure.

Résumé Technique : La réduction de jetons doit aller au-delà de l'efficacité dans les modèles génératifs

1. Énoncé du problème

Dans les modèles génératifs basés sur les Transformers, les entrées sont segmentées en jetons discrets (par exemple, des sous-mots, des patchs d'images). Le mécanisme d'auto-attention dans ces architectures entraîne une complexité computationnelle quadratique ( $O(N^2)$ ) par rapport à la longueur de la séquence $N$ . À mesure que les modèles génératifs passent à l'échelle pour gérer des contextes ultra-longs, des données multimodales et des flux de travail agentiques, le nombre de jetons résultant crée des goulots d'étranglement dans l'utilisation de la mémoire, la latence d'inférence et la stabilité de l'entraînement.

Actuellement, la réduction de jetons (élagage, fusion ou compression de jetons) est principalement perçue comme une stratégie d'optimisation de l'efficacité post-hoc. L'article soutient que cette mentalité de « l'efficacité uniquement » est fondamentalement limitée. Les méthodes de réduction naïves éliminent souvent des jetons informatifs, dégradent l'alignement sémantique, induisent une « sur-réflexion » (overthinking) dans le raisonnement et ne parviennent pas à répondre aux défis architecturaux fondamentaux dans les domaines de la vision, du langage et du multimodal. Le problème central est la nécessité de recadrer la réduction de jetons, non plus comme une simple technique d'accélération, mais comme un principe de conception fondamental qui améliore la robustesse, l'intégrité sémantique et la performance des tâches du modèle.

2. Méthodologie et Cadre

L'article ne propose pas un nouvel algorithme unique, mais plutôt un cadre conceptuel complet et une enquête sur les méthodes existantes réévaluées sous un nouvel angle.

Catégorisation des méthodes

Les auteurs classent les techniques de réduction de jetons en quatre types fonctionnels :

Élagage de jetons (Token Pruning) : Supprimer entièrement les jetons non importants (ex. : DynamicViT, Power-BERT).
Fusion de jetons (Token Merging) : Fusionner l'information de plusieurs jetons en moins de jetons, plus denses (ex. : ToMe, SPViT).
Stratégies hybrides : Combiner l'élagage et la fusion au sein d'un cadre unifié.
Distillation de jetons (Token Distillation) : Intégrer une information riche provenant de séquences longues ou de multiples modalités dans des jetons condensés (ex. : AutoCompressors).

Défis et mécanismes centraux

L'article identifie cinq défis fondamentaux dans les systèmes génératifs modernes et démontre comment une réduction de jetons principielle répond à ces défis :

Obtenir des représentations visuelles informatives : Les MLLM souffrent souvent d'entrées visuelles bruitées et de dérives d'attention où les jetons textuels portent une attention disproportionnée à des régions d'images non pertinentes. La réduction de jetons agit comme une optimisation de l'apprentissage de représentation, sélectionnant des jetons à haute valeur (par exemple, via le clustering ou des critères de divergence KL) pour préserver la diversité visuelle et les caractéristiques pertinentes à la tâche.
Meilleur alignement des jetons multimodaux : La tokenisation par patch de taille fixe fragmente les entités visuelles cohérentes. Les stratégies de réduction qui regroupent les caractéristiques visuelles selon leur importance sémantique (ex. : SeTok) produisent des ensembles de jetons compacts qui s'alignent mieux avec les représentations linguistiques, améliorant ainsi la compréhension conceptuelle.
Réduire la sur-réflexion dans le raisonnement : Les LLM et MLLM génèrent fréquemment des chaînes de raisonnement verbeuses, redondantes ou auto-contradictoires. Les techniques de réduction de jetons (ex. : CoT-Influx, Token-Skip) élèguent les étapes inutiles dans les trajectoires de raisonnement, forçant les modèles à se concentrer sur les étapes saillantes et réduisant l'accumulation d'erreurs.
Améliorer la stabilité de l'entraînement : Au-delà de l'inférence, la réduction de jetons peut être intégrée à l'entraînement préalable (pre-training). En filtrant les jetons bruyants ou à faible information pendant l'entraînement (ex. : Rho-1, UPFT), les modèles convergent plus rapidement et apprennent des représentations plus robustes, évitant l'influence de données intermédiaires erronées ou complexes.
Améliorer la compréhension du contexte long et de la vidéo : Pour les séquences longues, les techniques de réduction distillent les entrées étendues en vecteurs résumés compacts ou en jetons représentatifs. Cela préserve les événements et thèmes centraux tout en atténuant le phénomène de « perte au milieu » (lost-in-the-middle) et en réduisant la charge cognitive dans les systèmes agents.

3. Contributions Clés

L'article apporte trois contributions principales :

Taxonomie et Transition : Il catégorise les méthodes de réduction de jetons existantes par objectif fonctionnel, identifiant un changement de paradigme passant des optimisations centrées sur l'efficacité vers des améliorations axées sur les tâches à travers les domaines de la vision, du langage et du multimodal.
Atténuation des Défis : Il lie explicitement les stratégies de réduction de jetons à l'atténuation de défis modernes critiques, notamment l'insuffisance de représentation visuelle, le désalignement sémantique, la redondance du raisonnement et l'instabilité de l'entraînement.
Feuille de Route Future : Il trace un agenda de recherche pour la prochaine génération de réduction de jetons, allant au-delà du simple élagage pour inclure :
- Conception Algorithmique : De meilleures métriques d'importance, une compression constructive et un élagage guidé par le cross-modal.
- Compression centrée sur le Raisonnement : Passer de la compression de prompt à la compression des chaînes de raisonnement intermédiaires pour améliorer la clarté logique.
- Guidage par l'Apprentissage par Renforcement (RL) : Utiliser le RL pour allouer dynamiquement les budgets de jetons en fonction de la difficulté de la tâche et pour superviser la sélection hiérarchique des jetons.
- Co-conception Algorithme-Matériel : Intégrer les motifs de parcimonie (sparsity) des jetons avec du matériel spécialisé (ex. : Processing-in-Memory) pour surmonter les goulots d'étranglement de la mémoire.
- Applications Spécifiques au Domaine : Adapter la réduction pour la prédiction dense (conduite autonome), la compréhension de vidéos longues, les systèmes agentiques et l'IA scientifique (tokenisation biomédicale).

4. Résultats et Preuves

En tant qu'article de position, les auteurs ne présentent pas de nouveaux résultats expérimentaux mais synthétisent les preuves de nombreux travaux antérieurs (ex. : FastV, ToMeSD, Rho-1, S2-MAD) pour soutenir leurs arguments. Les « résultats » cités sont les capacités démontrées des méthodes existantes lorsqu'elles sont examinées à travers le prisme du cadre proposé :

Efficacité : Des méthodes comme Power-BERT et DynamicViT réduisent avec succès les coûts quadratiques en $O(M^2)$ .
Performance : Des techniques comme VisPruner et SeTok montrent qu'une rétention sélective de jetons améliore les performances des tâches en aval et l'alignement par rapport à un élagage naïf.
Stabilité : Des approches comme Rho-1 démontrent que le filtrage des jetons pendant l'entraînement conduit à une convergence plus rapide et à une meilleure robustesse du modèle.
Raisonnement : CoT-Influx et Token-Skip montrent que la compression des chaînes de raisonnement peut améliorer la précision du raisonnement mathématique et réduire la consommation de jetons sans sacrifier la qualité de la solution.

5. Signification et Revendications

L'article affirme que la réduction de jetons doit évoluer d'une « mesure d'efficacité post-hoc » vers un principe de conception central dans la modélisation générative. Sa signification réside dans :

Recadrage du Paradigme : Il met au défi la communauté de voir la sélection de jetons non pas seulement comme un moyen d'économiser du calcul, mais comme un mécanisme pour améliorer la cohérence sémantique, l'interprétabilité et l'alignement.
Résolution de Défauts Systémiques : Il pose que la sélection réfléchie des jetons est essentielle pour résoudre des modes de défaillance spécifiques des grands modèles, tels que les hallucinations causées par la sur-réflexion et la dérive sémantique dans les contextes longs.
Permettre la Scalabilité : En traitant les jetons comme une ressource finie à optimiser dynamiquement, l'article soutient que la réduction de jetons est cruciale pour le passage à l'échelle durable de l'IA générative vers les systèmes agentiques, la découverte scientifique et les applications en temps réel.

Les auteurs concluent que les travaux futurs devraient se concentrer sur la compression constructive (fusion plutôt que simple suppression) et la sélection guidée par le renforcement, visant à construire des systèmes qui optimisent de manière autonome leur bande passante d'information pour équilibrer scalabilité, efficacité et interprétabilité.