💬 NLP

In-Place Tokenizer Expansion for Pre-trained LLMs

Cet article introduit une méthode d'expansion de tokenizer en place qui améliore les LLM pré-entraînés en poursuivant les fusions BPE sur un corpus multilingue et en initialisant les nouveaux embeddings via la moyenne de sous-tokens, réduisant ainsi considérablement le nombre de tokens et améliorant la vitesse de décodage pour des langues comme le hindi et le vietnamien sans sacrifier la qualité du modèle.

Auteurs originaux : Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le langage des machines : un petit guide d'introduction

Imaginez que vous enseigniez à un robot comment parler. Pour ce faire, vous ne pouvez pas simplement lui donner un dictionnaire contenant tous les mots de l'univers ; cela serait trop lourd à transporter. Au lieu de cela, vous lui donnez un ensemble de blocs de construction. Dans le monde de l'intelligence artificielle, ces blocs sont appelés tokens. Considérez les tokens comme les plus petits morceaux de texte qu'un ordinateur peut comprendre — parfois un mot entier comme « chat », mais souvent juste une syllabe comme « cha » ou même une seule lettre comme « c ».

Lorsqu'un robot apprend une langue, il décide comment diviser les phrases en ces blocs. S'il apprend d'abord l'anglais, il pourrait avoir un bloc spécial pour le mot « the ». Mais si vous lui demandez plus tard de parler hindi ou vietnamien, et qu'il n'était pas préparé pour ces langues, il pourrait devoir diviser ces mots en morceaux minuscules et inefficaces, comme « H-i-n-d-i » au lieu de « Hindi ». C'est comme essayer de construire une maison avec un marteau quand vous avez réellement besoin d'un tournevis ; cela fonctionne, mais c'est lent, maladroit et cela gaspille de l'énergie. Ce document traite du problème de la mise à jour de la « boîte à outils » d'un robot (son vocabulaire) après qu'il a déjà été entraîné, sans avoir à reconstruire tout le robot de zéro.

Le puzzle de la boîte à outils cassée

Rencontrez Jimmy et son équipe chez Liquid AI. Ils travaillaient sur un robot très intelligent appelé LFM2, qui vit sur des appareils comme les téléphones et les ordinateurs portables. Ce robot était excellent en anglais et en codage, mais lorsqu'il essayait de parler des langues comme l'hindi, le vietnamien ou le thaï, il trébuchait. Pourquoi ? Parce que son vocabulaire était comme une boîte à outils qui avait été préparée pour un voyage à Londres, et non à Bangkok. Quand le robot essayait d'écrire « Hindi », il n'avait pas un seul bloc pour le mot entier. Au lieu de cela, il devait utiliser quatre ou cinq petits blocs pour l'assembler. Cela rendait le robot lent, fatigué et affamé de batterie.

L'équipe a été confrontée à un choix difficile. Ils pouvaient jeter leur travail, construire un tout nouveau robot avec une meilleure boîte à outils et repartir de zéro. Ou, ils pouvaient essayer d'introduire discrètement un nouvel ensemble d'outils dans l'ancien robot sans le casser. La deuxième option revient à essayer d'ajouter un nouveau tiroir à un moteur de voiture déjà assemblé et en marche pendant qu'il roule sur l'autoroute. La plupart des gens pensaient que c'était impossible ou trop risqué.

La mise à jour « sur place »

L'équipe a découvert une manière ingénieuse de faire exactement cela. Ils l'ont appelée l'Expansion de Tokenizer. Au lieu de jeter l'ancienne boîte à outils, ils ont conservé les outils originaux et ont simplement ajouté de nouveaux outils à la fin de la boîte.

Voici comment ils ont procédé, étape par étape :

Le Copier-Coller Intelligent : Ils ont pris la liste existante de blocs de construction du robot et lui ont demandé de continuer à apprendre sur un mélange de nombreuses langues différentes. À mesure que le robot apprenait de nouveaux mots, il ne jetait pas les anciens blocs. Au lieu de cela, il créait de nouveaux blocs plus grands pour des mots comme « Hindi » ou « Thaï ». Crucialement, chaque nouveau bloc était construit en emboîtant les anciens blocs plus petits qu'il connaissait déjà. C'était comme réaliser que si vous avez un bloc « H » et un bloc « i », vous pouvez les assembler pour faire un bloc « Hi », puis assembler cela avec « nd » et « i » pour faire « Hindi ».
La Colle Magique (Initialisation de l'Embedding) : Maintenant, le robot avait de nouveaux blocs, mais il ne savait pas ce qu'ils représentaient. L'équipe devait enseigner au robot ce que ces nouveaux blocs signifiaient. Ils ont utilisé une astuce simple mais brillante : ils ont regardé les anciens blocs qui composaient le nouveau et ont donné au nouveau bloc la « moyenne » de la personnalité de ses parties. Si un nouveau bloc était composé de trois anciens blocs, le cerveau du robot lui donnait la personnalité moyenne de ces trois parties. Cela signifiait que le robot n'avait pas à deviner ; il partait avec une très bonne supposition.
L'Entraînement en Deux Étapes : Le robot n'était pas encore prêt à courir un marathon. S'ils le laissaient courir immédiatement, il trébucherait. Ils ont donc réalisé un entraînement en deux étapes :
- Étape 1 : Ils ont gelé le cerveau du robot (tout sauf les nouveaux blocs) et ont laissé uniquement les nouveaux blocs apprendre. C'était comme laisser les nouveaux tiroirs de la boîte à outils s'habituer à contenir des objets sans déplacer le reste de la voiture.
- Étape 2 : Une fois que les nouveaux blocs étaient à l'aise, ils ont dégelé l'ensemble du robot et l'ont laissé pratiquer la lecture et l'écriture dans de nombreuses langues. Cela a aidé le robot à comprendre comment les nouveaux blocs s'intègrent dans le tableau général.

Les Résultats : Plus Rapide, Plus Intelligent et Plus Léger

Les résultats ont été impressionnants. En utilisant cette nouvelle boîte à outils étendue, le robot pouvait parler l'hindi, le vietnamien et le thaï de manière beaucoup plus efficace.

Le texte en hindi était divisé en 2,4 fois moins de blocs.
Le vietnamien était 2,6 fois moins de blocs.
Le thaï a connu le plus grand bond, nécessitant 4,0 fois moins de blocs.

Parce que le robot devait traiter moins de blocs pour dire la même chose, il est devenu beaucoup plus rapide. L'équipe a estimé que sur un téléphone, parler ces langues pouvait être 2,2 à 3,7 fois plus rapide par caractère. C'était comme passer de la marche à vélo ; le robot parcourait la même distance en une fraction du temps.

Ce qu'ils ont appris (et ce qu'ils ont évité)

L'équipe a également appris ce qu'il ne faut pas faire, ce qui est tout aussi important.

Ne touchez pas aux anciens outils : Dans une expérience, ils ont essayé de laisser le robot réapprendre la signification de ses anciens blocs tout en ajoutant les nouveaux. Cela a rendu le robot confus et il a commencé à se répéter comme un disque rayé. Ils ont découvert que garder les anciens blocs exactement tels qu'ils étaient était le secret du succès.
Ne lisez pas seulement l'anglais : Lorsqu'ils ont essayé d'enseigner les nouveaux blocs au robot en utilisant principalement des textes anglais, le robot est devenu bon pour répondre à des questions à choix multiples, mais incapable de réellement écrire des phrases. Il pouvait choisir la bonne réponse, mais ne pouvait pas raconter une histoire. Ils ont appris qu'ils devaient lui donner un régime équilibré de nombreuses langues pour le maintenir en bonne santé.

L'essentiel

Ce document montre que vous n'avez pas toujours besoin de construire un nouveau robot pour qu'il parle une nouvelle langue. Si vous êtes celui qui a construit le robot, vous pouvez mettre à jour son vocabulaire en plein milieu de sa vie. En ajoutant soigneusement de nouveaux outils et en leur donnant la bonne « moyenne » de sens, vous pouvez rendre le robot plus rapide et plus efficace pour tout le monde, sans perdre les compétences qu'il possédait déjà. C'est une recette pratique pour rendre l'IA plus inclusive et plus rapide, directement sur l'appareil qui se trouve dans votre poche.

Résumé technique : Expansion de tokenizer sur place pour les LLM pré-entraînés

Énoncé du problème
Les tokenizers pour les modèles de langage de grande taille (LLM) sont généralement fixés au début du pré-entraînement, la répartition du vocabulaire reflétant la distribution du corpus initial. À mesure que les priorités de déploiement s'étendent pour inclure des langues sous-représentées, ces dernières souffrent d'une « fertilité de tokens » élevée — elles sont décomposées en nettement plus de tokens par mot par rapport aux langues pour lesquelles le tokenizer a été optimisé. Cette fragmentation augmente la latence de décodage, le calcul et la consommation d'énergie, particulièrement pour les modèles embarqués où les matrices d'embedding et de la tête LM constituent une part importante de la bande passante par token lors du décodage. Si les modèles dans le cloud peuvent se permettre des vocabulaires étendus, les modèles en périphérie (edge) doivent être livrés avec des vocabulaires compacts, acceptant une fragmentation en dehors d'un ensemble de langues fixe. Les remèdes standards, tels que le pré-entraînement à partir de zéro avec un nouveau tokenizer ou l'utilisation de méthodes de transfert zero-shot vers des own-tokenizers tiers arbitraires, sont soit coûteux en calcul, soit résolvent un problème plus complexe que nécessaire.

Méthodologie
Les auteurs proposent l'Expansion de Tokenizer, une recette de mise à niveau sur place du tokenizer d'un modèle pré-entraîné lorsque le producteur du modèle contrôle la conception. L'approche se compose de trois composantes principales :

Construction du tokenizer (Continued-BPE) :
Au lieu d'entraîner un nouveau tokenizer de manière indépendante ou de prendre l'union des vocabulaires, les auteurs poursuivent l'entraînement des fusions Byte-Pair Encoding (BPE) du tokenizer source sur un corpus multilingue pondéré vers les langues sous-tokenisées.
- Propriétés : Les fusions existantes sont maintenues fixes ; les nouvelles fusions sont ajoutées. Cela garantit une correspondance déterministe où la plupart des tokens sources sont conservés comme des tokens uniques, et chaque nouveau token possède une décomposition exacte en un ou plusieurs tokens sources.
- Échelle : Appliquée à un modèle de mélange d'experts (MoE) de 8 milliards de paramètres, étendant le vocabulaire de 65K à 128K entrées actives.
Initialisation de l'embedding :
La matrice d'embedding est réinitialisée pour correspondre à la nouvelle taille de vocabulaire ( $|V_{new}|$ ).
- Tokens reportés : Les lignes pour les tokens qui correspondent 1 pour 1 avec la source sont copiées sans changement.
- Nouveaux tokens : Les lignes pour les nouveaux tokens sont initialisées comme la moyenne des lignes d'embedding de leurs sous-tokens sources constituants. Cela garantit que les nouvelles lignes ont une norme comparable aux lignes existantes sans nécessiter une initialisation aléatoire.
Adaptation en deux étapes :
Pour récupérer la qualité du checkpoint source, le modèle subit un pipeline d'entraînement spécifique :
- Étape 1 (Entraînement de l'embedding uniquement) : Le corps du modèle est gelé. Seules les nouvelles lignes d'embedding (et leurs homologues liés de la tête LM) sont entraînées pendant 600 milliards de tokens sur un mélange multilingue axé sur les langues sous-tokenisées. Crucialement, les lignes copiées de la source sont gelées pour éviter qu'elles ne s'éloignent du corps gelé.
- Étape 2 (Pré-entraînement continu complet) : Tous les paramètres sont dégelés. Le modèle poursuit son pré-entraînement pendant 400 milliards de tokens sur un corpus multilingue équilibré. Cette étape est critique pour rééquilibrer le modèle et intégrer le nouveau vocabulaire sans régresser sur les performances des langues précédemment supportées.
- Milieu de formation/Post-entraînement : Le checkpoint adapté procède à l'entraînement standard (extension de contexte à 128K) et aux phases de post-entraînement.

Résultats clés
La méthode a été appliquée au checkpoint LFM2-8B-A1B pour produire LFM2.5-8B-A1B.

Efficacité des tokens : Le tokenizer étendu réduit considérablement le nombre de tokens pour les langues sous-tokenisées tout en maintenant la parité pour l'anglais et le code.
- Réductions : Hindi (~~2,4× moins de tokens), Vietnamien (~~2,6×), Thaï (~4,0×).
Récupération de la qualité :
- Échange Zero-shot : Le simple remplacement du tokenizer a causé une chute d'environ 5,8 points de benchmark agrégés.
- Étape 1 : A récupéré ~4,8 points, restaurant largement les performances en anglais et en code.
- Étape 2 : A comblé l'écart restant et a surpassé le modèle source de 3,6 points agrégés, égalant ou dépassant la source dans les catégories Connaissance, Mathématiques, Code et Multilingue.
- Benchmarks multilingues : Les langues précédemment supportées (ex: arabe, allemand, japonais) ont maintenu ou légèrement amélioré leurs performances, tandis que les langues sous-tokenisées ont vu des gains substantiels (ex: Vietnamien +11,6 points, Hindi +7,6 points sur Global-MMLU).
Latence sur appareil :
- Compromis : Un vocabulaire plus large augmente le coût de décodage par token (mesuré comme une baisse de ~7–10 % des tokens/sec sur les appareils de référence en raison des contraintes de bande passante mémoire).
- Accélération nette : En combinant la compression de tokens avec le coût par token, le tokenizer étendu produit une accélération de décodage par caractère de 2,2× à 3,7× pour le thaï, le bengali, le vietnamien et l'hindi sur les appareils de référence (M4 Max, Snapdragon 8 Elite).
- Régression : Pour les langues avec une compression proche de la parité (anglais, code, langues européennes majeures), le temps de décodage par caractère régresse jusqu'à ~9 %.

Résultats négatifs et ablations
L'article rapporte deux résultats négatifs critiques qui ont façonné la recette finale :

Entraînement de l'embedding complet lors de l'étape 1 : L'entraînement de toutes les lignes d'embedding (y compris les lignes copiées de la source) alors que le corps était gelé a provoqué une dégradation des capacités génératives (ex: effondrement de MATH500, HumanEval+) et des répétitions sévères, même si la précision des choix multiples restait intacte. Limiter l'entraînement aux seules nouvelles lignes était nécessaire.
Mélange de données de l'étape 2 : L'utilisation d'un mélange principalement anglais pour le pré-entraînement continu de l'étape 2 a provoqué un « effondrement génératif » (perte de raisonnement et de génération multilingue) malgré le maintien ou l'amélioration des scores de choix multiples. Un mélange multilingue équilibré était requis pour préserver la qualité générative.

Signification et affirmations
Les auteurs affirment qu'il s'agit du premier compte rendu d'une recette côté modèle pour l'expansion de tokenizer par continuation de BPE sur place à l'échelle de la production (spécifiquement pour un MoE de 8B en périphérie).

Efficacité : Elle démontre que l'expansion du vocabulaire peut être réalisée sans rejeter le calcul de pré-entraînement accumulé, à condition que le tokenizer soit construit comme une continuation des fusions de la source.
Déploiement : Elle offre une solution pratique pour que les modèles en périphérie supportent des langues supplémentaires efficacement, en échangeant un petit coût uniforme par token contre des gains d'efficacité massifs sur des scripts spécifiques.
Aperçu de l'évaluation : Ce travail souligne que les benchmarks de choix multiples standards (comme MMLU) peuvent échouer à détecter la dégradation des capacités génératives lors de l'adaptation du vocabulaire, nécessitant l'inclusion de benchmarks génératifs dans l'évaluation.

Les auteurs publient les poids du modèle (LFM2.5-8B-A1B) et le tokenizer étendu, notant que la recette est spécifiquement conçue pour les contextes où le producteur du modèle contrôle la mise à niveau du tokenizer, plutôt que pour s'adapter à des own-tokenizers tiers arbitraires.