💬 NLP

LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers

Cet article présente LiteToken, une méthode qui identifie et supprime les jetons « résidus » peu fréquents des vocabulaires BPE afin de réduire les paramètres du modèle et d'améliorer la robustesse face aux entrées bruitées, souvent sans nécessiter de réglage fin supplémentaire des modèles préentraînés.

Auteurs originaux : Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yike Sun, Haotong Yang, Zhouchen Lin, Muhan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à lire et à écrire le langage humain. Pour ce faire, vous devez d'abord décomposer les phrases en petits morceaux appelés « tokens » (comme des mots ou des parties de mots) qu'un robot peut comprendre. La méthode la plus populaire pour faire cela est une méthode appelée BPE (Byte Pair Encoding).

Considérez le processus BPE comme une équipe de construction bâtissant un vocabulaire à partir de zéro. Ils commencent par des lettres individuelles. Ensuite, ils regardent une immense bibliothèque de livres et disent : « Hé, les lettres 't' et 'h' apparaissent ensemble tout le temps. Collons-les pour créer un nouveau bloc appelé 'th'. » Plus tard, ils voient 'th' et 'e' ensemble souvent, alors ils collent ces éléments pour former 'the'. Ils continuent ainsi, construisant des blocs de plus en plus grands.

Le Problème : L'Échafaudage laissé derrière

L'article identifie un effet secondaire désordonné de ce processus de construction. Parfois, l'équipe construit un bloc temporaire (comme « includ ») parce qu'il était très courant à ce moment précis de la phase de construction. Mais plus tard, ils construisent un bloc encore plus grand (« include » ou « including »).

Dans un monde parfait, l'équipe démonterait le bloc temporaire « includ » et le jetterait. Mais dans la méthode BPE actuelle, ils laissent ce bloc debout dans la liste du vocabulaire malgré tout.

Les auteurs appellent ces blocs restants des « Résidus de Fusion Intermédiaires » (Intermediate Merge Residues).

L'Analogie : Imaginez que vous construisez une maison. Vous utilisez un échafaudage temporaire pour atteindre le deuxième étage. Une fois le toit posé, vous retirez l'échafaudage. Mais dans ce scénario, l'équipe de construction a oublié de retirer l'échafaudage. Maintenant, votre maison est pleine de poteaux en bois inutiles qui prennent de la place, sont inesthétiques et confondent quiconque essaie de circuler dans les pièces.

Ces « tokens d'échafaudage » (comme « includ », « delet », « framewor ») sont rarement utilisés dans la vie réelle car les mots complets (« include », « delete », « framework ») sont préférés. Cependant, ils restent assis dans le dictionnaire du robot, occupant de la mémoire et de la puissance de calcul. Pire encore, parce que le robot les voit très rarement, il est confus lorsqu'il les rencontre réellement (lorsqu'une personne fait une faute de frappe ou qu'un pirate tente de tromper le système).

La Solution : LiteToken

Les auteurs ont créé un outil appelé LiteToken pour nettoyer ce désordre. C'est comme un service de « grand ménage » pour le dictionnaire du robot.

Voici comment cela fonctionne, étape par étape :

Le Travail de Détective : L'outil scanne le dictionnaire et recherche ces tokens d'« échafaudage ». Il pose deux questions :
- Ce token est-il rarement utilisé seul ? (Faible fréquence).
- Ce token n'apparaît-il que dans des situations très spécifiques et prévisibles ? (Faible « entropie » ou variété).
- Exemple : Si le token « includ » n'apparaît que juste avant « e » ou « ing », c'est probablement un morceau résiduel. Mais si un token comme « re » apparaît dans « rewrite », « recover » et « refund », c'est un bloc de construction utile, donc il reste.
La Suppression : Une fois identifiés, ces tokens inutiles sont marqués pour suppression.
Le Réassemblage : Si le robot rencontre un mot qui était autrefois divisé par ces tokens inutiles, l'outil décompose le mot en ses lettres de base, puis le reconstruit en utilisant uniquement les blocs bons et utiles. C'est comme démonter l'échafaudage et le remplacer par un mur propre et solide.

Les Résultats : Un Robot plus Léger, plus Fort

Les auteurs ont testé cela sur plusieurs modèles d'IA célèbres (comme Qwen, Llama et GPT). Voici ce qu'ils ont trouvé :

C'est du « Plug-and-Play » : Vous n'avez pas besoin de réentraîner le robot ou de lui apprendre quoi que ce soit de nouveau. Vous pouvez simplement remplacer l'ancien dictionnaire par le nouveau, nettoyé, et le robot fonctionne tout aussi bien.
Économise de l'Espace : En supprimant environ 5 % à 10 % des tokens inutiles, le robot a besoin de moins de mémoire et effectue les calculs plus rapidement. C'est comme retirer des briques lourdes et inutiles d'un sac à dos pour pouvoir courir plus vite.
Meilleure gestion des Erreurs : Lorsque les gens font des fautes de frappe ou tentent de tromper le robot avec des entrées étranges, l'ancien robot se perd souvent car il essaie de forcer les tokens d'« échafaudage » à avoir un sens. Le nouveau robot « Lite » gère beaucoup mieux ces erreurs car il ne dépend pas de ces blocs fragiles et à moitié construits.
Aucune Perte d'Intelligence : Malgré la suppression de ces tokens, la capacité du robot à répondre à des questions ou à écrire des histoires ne s'est pas dégradée. Il est resté tout aussi intelligent.

Résumé

En bref, l'article soutient que de nombreux modèles d'IA transportent beaucoup de « déchets numériques » — des parties de mots inutiles et inachevées qui ont été laissées lors de leur entraînement. LiteToken est un outil simple qui balaie ces déchets, rendant les modèles d'IA plus légers, plus rapides et plus robustes face aux erreurs, tout cela sans nécess avoir besoin de les réentraîner.

Résumé Technique : LiteToken : Élimination des résidus de fusion intermédiaires des tokenizer BPE

1. Problématique

Bien que les modèles de langage de grande taille (LLM) aient connu une croissance spectaculaire en termes de paramètres et de données d'entraînement, la conception de leurs tokenizer — spécifiquement le codage par paire de octets (BPE) largement utilisé — a reçu un examen comparativement moins approfondi. Cet article identifie une inefficacité spécifique dans les vocabulaires BPE standards, nommée « résidus de fusion intermédiaire » (également appelés « jetons d'échafaudage » ou scaffold tokens).

Lors de l'entraînement du BPE, l'algorithme fusionne de manière itérative les paires de jetons adjacents les plus fréquentes. De nombreux jetons créés au cours de ce processus sont très fréquents au moment de leur création, mais sont ultérieurement absorbés par des fusions plus poussées. Par conséquent, ces jetons apparaissent de manière peu fréquente dans le corpus final tokenisé, tout en restant présents dans le vocabulaire. Les auteurs identifient trois problèmes principaux causés par ces résidus :

Gaspillage de jetons : Ces jetons occupent une capacité dans les plongements de jetons (embeddings) et les couches de décodage sans être efficacement utilisés, entraînant un gaspillage de paramètres et de FLOPs (estimé à 1–3 % pour les modèles $\le$ 8B paramètres).
Dégradation des performances : Parce que ces jetons sont rares dans le corpus final, ils sont sous-entraînés. Les modèles rencontrent des taux d'erreur plus élevés lorsqu'ils traitent des entrées qui déclenchent ces jetons, particulièrement dans des scénarios atypiques ou hors distribution (out-of-distribution).
Vulnérabilité : La faible fréquence et l'association avec des motifs de texte bruités font de ces jetons un vecteur d'attaques adverses et réduisent la robustesse face aux fautes d'orthographe ou aux perturbations de type jailbreak.

2. Méthodologie : LiteToken

Les auteurs proposent LiteToken, un algorithme léger, prêt à l'emploi (plug-and-play), conçu pour identifier et supprimer les résidus de fusion intermédiaire d'un tokenizer BPE existant sans réentraîner le tokenizer ou le modèle. Le processus comprend trois étapes principales :

A. Algorithme d'identification

La méthode utilise une analyse statistique pilotée par un corpus pour distinguer les véritables résidus des unités linguistiques à faible fréquence (telles que les racines, préfixes ou suffixes). Elle emploie deux métriques :

Ratio Final/Intermédiaire (FI) : Cela mesure la fréquence d'un jeton dans le corpus final ( $F_1$ ) par rapport à ses occurrences totales pendant le processus de fusion ( $F_1 + F_2$ ). Un ratio faible indique que le jeton a été principalement fusionné dans des unités plus larges.
$R = \frac{F_1}{F_1 + F_2}$
Filtrage par entropie de voisinage : Pour éviter de supprimer des unités morphologiques valides (par exemple, « re » dans « rewrite » ou « import » en tant que mot autonome), l'algorithme calcule l'entropie des jetons voisins à gauche et à droite. Les résidus intermédiaires ont généralement des contextes de faible entropie et fixes (par exemple, « includ » est presque toujours suivi de « e », « ing », etc.), tandis que les racines valides ou les mots autonomes présentent une plus grande diversité de voisinage.
$S(t) = \min \{S_{left}(t), S_{right}(t)\}$
Les jetons sont classés comme résidus si leur ratio FI est inférieur à un seuil ( $r$ ) et si leur score d'entropie est inférieur à un seuil ( $s$ ).

B. Suppression et Re-fusion

Une fois les résidus identifiés, le tokenizer est modifié via un processus de Division (Split) et de Re-fusion (Re-Merge) :

Division (Split) : Lorsqu'un jeton appartenant à l'ensemble des résidus est rencontré, l'algorithme inverse récursivement les opérations de fusion qui l'ont créé, le divisant en ses jetons prédécesseurs jusqu'à ce qu'il ne reste que des jetons de base (non-résidus). Cela garantit qu'auc['on] ne génère de jetons inconnus.
Re-fusion (Re-Merge) : Pour éviter une fragmentation excessive des séquences, l'algorithme applique une étape de re-fusion utilisant les fusions apprises « non masquées ». Cela recombine les jetons divisés en unités plus compactes et linguistiquement alignées (par exemple, reformer « corruption » à partir de ses parties divisées) sans réintroduire les jetons résidus supprimés.

C. Masquage de la couche de sortie

Pour empêcher le modèle de générer des jetons résidus lors du décodage autorégressif, les colonnes correspondantes de la matrice de projection de sortie ( $O \in \mathbb{R}^{d_h \times N_{vocab}}$ ) sont masquées. Les auteurs notent que la re-fusion n'est pas appliquée pendant la génération afin de maintenir la compatibilité avec les caches KV.

D. Compatibilité avec Tiktoken

La méthode est adaptée pour tiktoken (utilisé par les familles Llama-3, GPT et Gemma), qui ne possède pas d'arbre de fusion strict. Pour ces tokenizers, l'algorithme considère tous les chemins de fusion autorisés produisant un jeton spécifique et effectue des statistiques de fréquence basées sur la table de fusion réelle utilisée lors de l'encodage.

3. Contributions clés

Caractérisation systématique : L'article fournit une analyse empirique révélant qu'environ 5 % à 10 % des jetons dans les tokenizers BPE largement utilisés (incluant les familles Qwen, DeepSeek, Llama-3 et GPT) sont des résidus de fusion intermédiaire.
Algorithme LiteToken : Une méthode novatrice, sans réentraînement, pour élaguer ces résidus, réduisant la taille du vocabulaire et les paramètres du modèle tout en améliorant l'efficacité des jetons.
Déploiement Plug-and-Play : L'approche permet aux modèles pré-entraînés d'utiliser immédiatement le tokenizer modifié sans ajustement fin (fine-tuning), préservant ainsi les performances globales.

4. Résultats expérimentaux

Les auteurs ont évalué LiteToken sur des modèles allant de 0,6B à 70B de paramètres (Qwen, Llama-3, DeepSeek, etc.) en utilisant les jeux de données C4-en, RedPajama et SQuAD.

Réduction des paramètres et du calcul : La suppression des résidus réduit la taille du vocabulaire de 5 à 10 %, entraînant une réduction proportionnelle des paramètres des couches d'embedding et de sortie (jusqu'à environ 2,6 % pour les modèles 0,6B).
Performance du modèle de langage : Le tokenizer modifié (« Lite ») a montré un impact négligeable sur la perplexité (PPL). Par exemple, sur C4-en, la différence de PPL entre les tokenizers originaux et Lite est inférieure à 0,5 pour Qwen-3-8B et Llama-3.1-70B.
Robustesse : Les gains les plus significatifs ont été observés en matière de robustesse. Lors de tests de perturbation (fautes d'orthographe et frontières de jetons adverses), les modèles LiteToken ont démontré une précision plus élevée dans la correction d'erreurs et la réponse aux questions par rapport aux modèles originaux. Par exemple, la chute de performance pour Qwen-3-8B sous perturbation est passée de 1,78 % à 0,82 %.
Performance générale : Sur les benchmarks standards comme SQuAD, la suppression des résidus maintient les scores F1 dans une marge négligeable (ex: 0,833 contre 0,829 pour Qwen-3-8B), confirmant que l'élagage ne nuit pas aux capacités générales de NLP.

5. Signification et Revendications

L'article soutient que la conception des tokenizers est une composante critique, bien que souvent négligée, de l'architecture des LLM. Les auteurs affirment que les résidus de fusion intermédiaire représentent une inefficacité tangible qui gaspille les ressources de calcul et crée des vulnérabilités face aux entrées bruitées.

En introduisant LiteToken, les auteurs démontrent que :

Une partie significative du vocabulaire des tokenizers BPE modernes est redondante.
La suppression de ces résidus améliore la robustesse du modèle contre les erreurs typographiques et les perturbations adverses sans le coût d'un réentraînement.
La nature « plug-and-play » de la méthode permet de bénéficier immédiatement de gains en termes de mémoire et d'efficacité d'inférence.

Les auteurs concluent que, bien que leur travail actuel se concentre sur l'anglais et les écritures latines, le phénomène des résidus de fusion est probablement présent dans d'autres langues, suggérant la nécessité de recherches plus approfondies sur l'optimisation des tokenizers à travers diverses structures linguistiques. Ils soulignent que leur travail est de portée modeste, se concentrant sur la couche de tokenisation, et laisse les interactions avec le réentraînement du modèle comme une direction pour de futures recherches.