💬 NLP

Compressing Sequences in the Latent Embedding Space: $K$ -Token Merging for Large Language Models

Ce papier présente K-Token Merging, un cadre de compression dans l'espace latent qui fusionne des blocs de K embeddings de tokens en un seul, permettant de réduire la longueur des entrées jusqu'à 75 % pour les grands modèles de langage avec une dégradation minimale des performances.

Auteurs originaux : Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚀 Le Problème : Le "Trafic Routier" des IA

Imaginez que les Grands Modèles de Langage (LLM), comme ceux qui animent les chatbots, sont des camions de livraison ultra-rapides. Leur travail est de lire de longs textes (des prompts) pour répondre à des questions.

Le problème, c'est que plus le texte est long, plus le camion doit faire des détours. En langage technique, on dit que la "mémoire" et la "puissance de calcul" nécessaires augmentent de façon quadratique.

Analogie : Si vous doublez la longueur du texte, le travail du camion ne double pas, il est multiplié par quatre ! C'est comme si chaque nouveau mot ajouté obligeait le camion à vérifier chaque mot précédent. Pour les très longs documents, cela devient un embouteillage monstre : c'est lent et ça coûte cher en électricité.

💡 La Solution Habituelle (et ses défauts)

Jusqu'à présent, pour résoudre ce problème, les chercheurs essayaient de résumer le texte avant de le donner au camion.

Méthode "Hard" (Dure) : On coupe les phrases inutiles. Problème : Si on coupe un mot important (comme un "non" ou un chiffre), le camion se trompe de destination. C'est comme enlever des pièces d'un puzzle pour qu'il rentre dans une boîte plus petite : l'image finale est souvent abîmée.
Méthode "Soft" (Douce) : On essaie de réécrire le texte avec des mots magiques plus courts. Problème : Cela fonctionne bien, mais on ne touche pas au cœur du problème : la façon dont le camion "pense" les mots.

🌟 La Nouvelle Idée : Le "K-Token Merging" (Fusion de K Mots)

Les auteurs de ce papier (de Rutgers, AWS, Mistral, etc.) ont eu une idée géniale. Au lieu de couper des mots ou de les réécrire, ils ont décidé de compresser l'espace où les mots "vivent".

Voici comment ça marche, avec une analogie simple :

1. Le Concept : Le "Passe-Partout"

Imaginez que vous avez un livre de 100 pages. Au lieu de le lire page par page, vous avez un scanner magique (l'encodeur) qui prend 4 pages à la fois et les transforme en une seule image résumée très dense.

Le camion (le modèle d'IA) ne voit plus 4 pages, mais 1 seule image.
Le travail est divisé par 4 !
Le secret : Cette image résumée contient tout l'essentiel des 4 pages. Le camion n'a pas besoin de voir les pages originales pour comprendre l'histoire.

2. Comment ça se passe en pratique ?

Avant (Le pré-remplissage) : Le scanner prend un bloc de mots (par exemple, 4 mots consécutifs) et les fusionne en un seul "super-mot" (une embedding compressée). C'est comme faire un résumé instantané.
Pendant (La génération) : Quand le camion doit répondre, il sort des mots normaux, comme d'habitude. Il ne parle pas en "images résumées", il parle en français courant.
L'entraînement : On apprend au camion à comprendre ces "super-mots" grâce à une petite astuce (appelée LoRA), un peu comme lui donner un manuel de traduction rapide.

📊 Les Résultats : Gagner du temps sans perdre en qualité

Les chercheurs ont testé cette méthode sur trois types de tâches très différents, comme si on testait un nouveau moteur sur une voiture de course, un camion de déménagement et une voiture de ville :

Le Raisonnement (Arbres de texte) : Comme un jeu de logique où il faut trouver les liens entre des éléments.
- Résultat : On a réduit la longueur du texte de 75 % (le camion lit 4 fois moins) et la précision est restée quasi parfaite (98,38 %).
Les Avis Clients (Sentiment) : Comprendre si un avis sur Amazon est positif ou négatif.
- Résultat : Encore une fois, on a compressé de 75 % avec très peu de perte de qualité.
Le Code Informatique : Modifier un programme Python.
- Résultat : Même là, où chaque virgule compte, la méthode a fonctionné à merveille.

L'analogie finale :
Imaginez que vous devez envoyer un colis très lourd par la poste.

L'ancienne méthode : Vous enlevez des objets du colis pour qu'il soit plus léger. Risque : vous envoyez un colis vide ou incomplet.
La nouvelle méthode (K-Token Merging) : Vous mettez les objets dans un conteneur ultra-concentré (comme de l'eau transformée en glace sèche). Le poids du colis est divisé par 4, mais quand le destinataire le reçoit, il peut "dégeler" le contenu et retrouver tous les objets intacts.

🏆 Pourquoi c'est important ?

Cette méthode se place sur la "frontière de Pareto", ce qui est un terme fancy pour dire : "C'est le meilleur compromis possible".

On ne peut pas compresser plus sans perdre de qualité.
On ne peut pas garder plus de qualité sans compresser moins.

En résumé, cette recherche montre qu'on peut rendre les IA beaucoup plus rapides et moins chères pour lire de longs documents, simplement en apprenant à mieux "emballer" les mots avant de les envoyer, sans avoir besoin de les sacrifier. C'est une avancée majeure pour l'avenir des IA qui doivent traiter des livres entiers, des longs rapports ou des milliers de lignes de code.

1. Problématique

Les grands modèles de langage (LLM) subissent des coûts computationnels et mémoire prohibitifs lors du traitement de longs contextes. Avec l'attention self-attention (softmax), ces coûts augmentent de manière quadratique par rapport à la longueur de l'entrée.

Les méthodes de compression de tokens existantes tentent de réduire la longueur d'entrée, mais elles présentent des limites :

Compression "Hard" (Dure) : Supprime ou résume des tokens. Efficace pour les tâches à information clairsemée, mais perd des informations critiques dans les tâches denses (raisonnement mathématique, code, révision de documents).
Compression "Soft" (Douce) : Apprend de nouveaux tokens ou adapte les paramètres pour créer des représentations compactes. Cependant, ces méthodes opèrent principalement au niveau du token et négligent une source majeure de redondance : l'espace d'embedding latent lui-même.

L'article souligne l'inefficacité actuelle des embeddings : pour identifier un token parmi un vocabulaire de 150 000 mots, il faudrait théoriquement ~18 bits, alors qu'un token consomme en réalité ~28 000 bits (896 x 32). Il existe donc un énorme gisement de redondance dans la représentation vectorielle des tokens.

2. Méthodologie : K-Token Merging

Les auteurs proposent K-Token Merging, un cadre de compression opérant directement dans l'espace latent (embedding), plutôt que dans l'espace des tokens.

Architecture et Flux de Données

Le modèle se compose de deux phases principales (illustrées dans la Figure 2 de l'article) :

Phase de Pré-remplissage (Prefill) :
- Un encodeur léger (un MLP de 3 couches, ~50 Mo) prend un bloc contigu de $K$ tokens d'entrée ( $T_{iK+1}, ..., T_{iK+K}$ ).
- Il fusionne ces $K$ embeddings en un seul embedding compressé ( $C_i$ ).
- L'initialisation de cet embedding est cruciale : elle est faite par la moyenne (mean pooling) des $K$ embeddings originaux, ajustée par un petit MLP dont les poids sont initialisés près de zéro. Cela assure une convergence rapide et stable.
- La séquence d'entrée pour le LLM devient donc beaucoup plus courte (de $N$ tokens à $N/K$ tokens compressés).
Phase de Génération :
- Le LLM (adapté via LoRA) traite la séquence compressée.
- Point clé : Le modèle génère toujours des tokens originaux (non compressés) dans le vocabulaire standard.
- Les nouveaux tokens générés sont ajoutés à la séquence mixte (prefixe compressé + suffixe généré) pour la génération auto-régressive suivante.

Fonction de Perte (Objective Function)

L'entraînement utilise un adaptateur LoRA conjointement avec l'encodeur. La perte est calculée uniquement sur les positions des tokens générés (non compressés). Cela force le modèle à apprendre à interpréter les embeddings compressés tout en maintenant la qualité de génération sur le vocabulaire original.

3. Contributions Clés

Nouveau Paradigme : Introduction d'une compression dans l'espace latent plutôt que dans l'espace des tokens, ciblant l'inefficacité des embeddings eux-mêmes.
Différence avec l'expansion de vocabulaire : Contrairement à l'ajout de $K$ -grammes au vocabulaire (qui crée une explosion de tokens "queue" et des problèmes de généralisation), K-Token Merging utilise un encodeur paramétrique. Cela évite l'explosion de la taille du vocabulaire et permet de généraliser à des combinaisons de tokens jamais vues.
Recette d'entraînement : Une stratégie d'initialisation par moyenne et un fine-tuning LoRA spécifique pour adapter les LLMs à ces entrées compressées.
Efficacité : Réduction de la longueur d'entrée jusqu'à 75 % avec une dégradation de performance minimale.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches distinctes en utilisant le modèle de base Qwen-2.5 0.5B :

Raisonnement Structurel (Textualized Tree) :
- Tâche : Déterminer les relations parent-enfant dans un arbre textuel.
- Résultat : Avec $K=4$ (réduction de 75 % de la longueur), le modèle atteint 98,38 % de précision (contre 99,97 % pour le modèle non compressé). Il obtient le meilleur score P-L F1 (moyenne harmonique entre performance et compression), surpassant les baselines de 28,2 %.
Classification de Sentiment (Amazon Reviews) :
- Tâche : Classer des avis clients (positif/négatif).
- Résultat : Le modèle $K=4$ atteint un score P-L F1 de 0,822, soit une amélioration de 25,5 % par rapport à la meilleure baseline. Il maintient une précision de 91,05 % avec une réduction de 75 % de la longueur.
Édition de Code (CommitPackFT) :
- Tâche : Générer du code mis à jour selon une instruction.
- Métrique : Perplexité (plus bas est mieux).
- Résultat : Le modèle $K=4$ obtient le meilleur score P-L F1 (0,830) avec une perplexité de 1,391, démontrant une excellente capacité à préserver les informations sémantiques et structurelles du code.

Analyse des performances :
Les méthodes de compression "Hard" (comme LLMLingua2) souffrent de pertes d'information sur les tâches denses. Les méthodes "Soft" existantes (comme LTSC) ne parviennent pas à exploiter la redondance latente aussi efficacement. K-Token Merging se situe sur la frontière de Pareto (meilleur compromis performance/compression) pour toutes les tâches testées.

5. Signification et Perspectives

Efficacité Computationnelle : Une réduction de 75 % de la longueur d'entrée se traduit par une réduction massive des coûts de calcul (FLOPs) lors de la phase de pré-remplissage, qui est quadratique ( $O(n^2)$ ). L'article estime une réduction de 94 % des coûts totaux dans les scénarios où la sortie est courte par rapport à l'entrée.
Généralisation : La méthode généralise naturellement à des combinaisons de tokens non vues, contrairement aux approches basées sur l'expansion de vocabulaire.
Limites et Futur :
- Actuellement, seule l'entrée est compressée (pas la génération).
- La compression est uniforme ( $K$ fixe) ; des stratégies adaptatives (ajuster $K$ selon la densité d'information) sont suggérées.
- Les tests ont été limités à des modèles de petite taille (0.5B) en raison des ressources de calcul.

En conclusion, K-Token Merging démontre que l'exploitation de la redondance dans l'espace d'embedding latent est une voie prometteuse et sous-exploitée pour améliorer l'efficacité des LLMs, en particulier pour le traitement de longs contextes, sans sacrifier la qualité de génération.