💬 NLP

FLEXITOKENS: Flexible Tokenization for Evolving Language Models

L'article présente FLEXITOKENS, une méthode de tokenisation flexible pour les modèles de langage au niveau des octets qui utilise un prédicteur de frontières apprenable avec un objectif d'entraînement simplifié pour surmonter la rigidité des tokeniseurs fixes, réduisant ainsi la sur-fragmentation et permettant des améliorations de performance allant jusqu'à 10 % sur une variété de langues et de tâches.

Auteurs originaux : Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot à lire et à comprendre le monde. Pour ce faire, le robot doit décomposer les phrases en morceaux plus petits et gérables appelés « tokens ». Pensez aux tokens comme aux briques qu'un maçon utilise pour construire un mur.

Pendant longtemps, les robots ont utilisé un ensemble de briques très rigide. Ces briques étaient pré-découpées en formes spécifiques (comme « dé- », « faire », « able ») selon un manuel de règles fixe. Cela fonctionne très bien pour les langues et les sujets sur lesquels le robot a été initialement entraîné. Mais dès que le robot tente de lire quelque chose de nouveau — comme un journal médical, un manuel de codage ou une langue qu'il n'a jamais vue auparavant — ce manuel de règles rigide pose problème.

Le Problème : La Brique « Taille Unique »

L'article qualifie ce problème de sur-fragmentation.

Imaginez que vous essayiez de construire un mur à partir d'un long ruban continu de texte. Si votre manuel de règles dit : « À chaque fois que vous voyez un trait d'union, coupez le ruban », vous pourriez finir par découper un seul mot comme « hypertrophique » (un terme médical) en de minuscules débris inutiles : « hyper », « tro », « phique ».

Le Résultat : Le robot doit transporter beaucoup trop de minuscules briques pour construire le mur. Cela rend la construction lente, coûteuse (en termes de puissance informatique) et confuse. Le robot perd le sens du mot entier parce qu'il est trop occupé à examiner les minuscules morceaux brisés.
L'Ancienne Méthode : Les méthodes traditionnelles (comme BPE) sont comme une usine qui pré-découpe toutes les briques avant même que le robot ne commence à construire. Une fois les briques découpées, elles ne peuvent plus être modifiées, même si le robot construit un type de maison différent plus tard.

La Solution : FLEXITOKENS

Les auteurs de cet article, FLEXITOKENS, proposent une méthode plus intelligente. Au lieu d'utiliser des briques pré-découpées, ils donnent au robot un couteau intelligent et flexible qui apprend à trancher le ruban pendant qu'il construit.

Voici comment ils l'ont fait, en utilisant une analogie simple :

L'Ancienne Règle (Le Piège de la « Compression Fixe ») :
Les tentatives précédentes pour faire découper leurs propres briques aux robots utilisaient une règle stricte : « Vous devez couper le ruban de manière à obtenir exactement 3 briques pour chaque 10 pouces de texte. »
- Le Défaut : Si le texte est dans une langue où les mots sont naturellement longs (comme le turc), forcer une règle de 3 briques peut découper un seul mot en de minuscules morceaux sans signification. Si le texte est dans une langue où les mots sont courts (comme le chinois), cette même règle peut coller deux mots différents ensemble en un seul blob confus. La règle était trop rigide pour s'adapter à la « forme » spécifique du texte.
La Nouvelle Règle (FLEXITOKENS) :
FLEXITOKENS change la règle pour une plage flexible. Au lieu de dire : « Vous devez avoir exactement 3 briques », il dit : « Vous pouvez avoir entre 2 et 4 briques, selon ce qui a du sens pour cette phrase spécifique. »
- La Perte « Charnière » : L'article introduit une méthode d'entraînement spéciale (une « perte de type charnière ») qui agit comme une zone de sécurité. Si le robot découpe le texte en un nombre de pièces qui tombe dans la plage sûre, le robot obtient un « passe-droit » — aucune pénalité. Cela permet au robot d'être flexible. Il peut découper un long terme médical en une seule grande brique significative, ou découper une courte phrase en de nombreuses petites briques, selon ce qui l'aide le mieux à comprendre le sens.

Qu'est-il Arrivé Quand Ils L'Ont Essayé ?

Les chercheurs ont testé ce nouveau couteau flexible sur de nombreuses langues différentes (y compris l'anglais, l'espagnol, le russe, l'hindi et le télougou) et sur différents sujets (comme la médecine et le codage).

Moins de Désordre : Le robot a cessé de découper inutilement les mots. Par exemple, dans un texte médical, il a appris à garder « hypertrophique » comme une unité cohérente unique au lieu de le briser en morceaux de déchets.
Plus Rapide et Plus Intelligent : Parce que le robot n'avait pas à transporter autant de minuscules briques brisées, il traitait les informations plus rapidement et utilisait moins de mémoire informatique.
Meilleure Performance : Sur des tâches comme la traduction et la compréhension de phrases, le robot avec le couteau flexible a mieux performé que les robots utilisant les anciennes méthodes rigides. Il a même géré des langues qu'il n'avait jamais vues auparavant (comme l'ourdou) beaucoup mieux, sans les briser en de minuscules fragments confus.

La Conclusion

Pensez à FLEXITOKENS comme à la mise à niveau d'un robot passant d'un ensemble de jouets en plastique pré-découpés à une imprimante 3D intelligente capable d'imprimer des briques de la taille et de la forme parfaites pour ce qu'il construit à ce moment précis.

En laissant le robot décider comment décomposer les mots en fonction du contexte (plutôt que d'imposer une règle fixe), l'article montre que les modèles de langage peuvent devenir plus efficaces, mieux gérer les nouvelles langues et comprendre des sujets complexes comme la médecine sans se perdre dans un texte « trop haché ».

Résumé Technique : FLEXITOKENS

Énoncé du Problème

L'adaptation des modèles de langage (LM) à de nouvelles distributions de données, telles que des domaines, des langues ou des scripts non vus, via un simple fine-tuning est souvent entravée par la rigidité des tokeniseurs de sous-mots (par exemple, BPE). Ces tokeniseurs restent statiques pendant l'adaptation, conduisant à une tokenisation inefficace caractérisée par une sur-fragmentation dans des contextes hors distribution. Cette sur-segmentation augmente les longueurs de séquence, entraînant une surcharge computationnelle, une utilisation accrue de la mémoire et des coûts d'inférence plus élevés, tout en dégradant les performances en aval.

Bien que des approches « sans tokeniseur » qui modélisent directement les octets ou utilisent des modules de tokenisation apprenables au sein du LM aient émergé pour résoudre ce problème, elles introduisent une nouvelle forme de rigidité. Les méthodes de tokenisation basées sur le gradient existantes reposent généralement sur une fonction de perte auxiliaire (par exemple, une perte binomiale) qui impose un taux de compression fixe prédéterminé lors de la pré-entraînement. Ce taux fixe empêche le tokeniseur de s'adapter aux exigences structurelles spécifiques de nouveaux domaines (par exemple, des langues à morphologie riche ou une terminologie médicale spécialisée) ou de scripts non vus, conduisant souvent à une segmentation sous-optimale.

Méthodologie

Les auteurs proposent FLEXITOKENS (FXT), un cadre de tokenisation flexible et basé sur le gradient conçu pour permettre aux stratégies de tokenisation d'évoluer dynamiquement pendant l'adaptation.

Architecture du Modèle

Le modèle est un Transformer au niveau des octets qui intègre un module de tokenisation apprenable directement dans l'architecture, suivant la conception de Nawrot et al. (2023). L'architecture se compose de trois étapes principales :

Tokenisation/Sous-échantillonnage : Un module Transformer léger (1–2 couches) traite la séquence d'octets d'entrée. Un prédicteur de frontière estime la probabilité d'une frontière de segment à chaque position. Des frontières discrètes sont obtenues via une re-paramétrisation sigmoïde Gumbel dure de la distribution de Bernoulli pour maintenir la différentiabilité.
Modélisation du Langage : Le modèle regroupe les états cachés au niveau des octets entre les frontières prédites pour créer des représentations au niveau des tokens, qui sont ensuite traitées par des blocs Transformer standards.
Sur-échantillonnage : Un module final reconstruit les probabilités de sortie au niveau des octets à partir des représentations au niveau des tokens en utilisant des connexions résiduelles et un Transformer léger.

L'Objectif FLEXITOKENS

L'innovation centrale réside dans la fonction de perte pour le prédicteur de frontières. Contrairement aux méthodes antérieures qui imposent un taux de compression cible strict $\alpha$ via une perte binomiale, FLEXITOKENS introduit une perte de type charnière qui définit une plage de taux de compression acceptables plutôt qu'un point unique.

La fonction de perte $L_{BP}$ est définie comme suit :
$L_{BP} = \max\left(\frac{k}{N} - \alpha, 0\right) + \max\left(\beta - \frac{k}{N}, 0\right)$
Où :

$k$ est le nombre de frontières prédites.
$N$ est le nombre total d'octets.
$\alpha$ est la borne supérieure du taux de compression.
$\beta = \alpha - \lambda\sigma$ est la borne inférieure, où $\sigma$ est l'écart-type des taux de tokenisation sur les échantillons et $\lambda$ est un hyperparamètre.

Mécanisme Clé : Si le taux de compression ( $k/N$ ) tombe dans la plage $[\beta, \alpha]$ , la perte est nulle. Cela élimine la pénalité pour les taux de compression variables au sein de la bande acceptable, permettant au modèle d'ajuster dynamiquement la segmentation en fonction de la structure de la séquence d'entrée sans être forcé dans une moyenne globale rigide.

Adaptation Multilingue

Pour gérer l'entraînement multilingue où différents scripts nécessitent des complexités d'octets différentes (par exemple, latin vs devanagari), les auteurs proposent d'utiliser un prédicteur de frontières partagé avec des hyperparamètres spécifiques à la langue ( $\alpha_L$ ). Ces paramètres sont dérivés d'un petit corpus parallèle entre une langue ancre (anglais) et la langue cible, assurant une tokenisation équitable à travers les scripts sans nécessiter de prédicteurs séparés pour chaque langue.

Contributions Clés

Objectif d'Entraînement Flexible : L'introduction d'une fonction de perte basée sur une plage qui assouplit la contrainte des taux de compression fixes, permettant aux tokeniseurs de s'adapter à des distributions de données variables pendant le fine-tuning.
Adaptation Dynamique : Démonstration que les frontières de tokenisation apprises peuvent se déplacer pour capturer des modèles spécifiques au domaine (par exemple, traiter les termes médicaux comme des unités entières) ou gérer des scripts non vus sans sur-fragmentation.
Cadre Multilingue Unifié : Une méthode pour atteindre une tokenisation équitable à travers des scripts divers en utilisant un seul prédicteur partagé avec des bornes spécifiques à la langue dérivées, évitant la complexité des prédicteurs spécifiques aux scripts.

Résultats

Les auteurs ont évalué FLEXITOKENS sur plusieurs benchmarks multilingues (couvrant les scripts latin, cyrillique, devanagari et télougou) et des tâches diverses incluant la traduction, la reconnaissance d'entités nommées (NER) et l'analyse de sentiments.

Gains de Performance : FLEXITOKENS a systématiquement surpassé les bases de référence (BPE, regroupement d'octets statique et tokeniseurs basés sur une perte binomiale). Sur des tâches génératives comme la traduction automatique, des améliorations allant jusqu'à 21 points par rapport à BPE ont été observées. Sur XNLI (Inférence en Langage Naturel), des gains de plus de 3 points ont été enregistrés par rapport à la base de référence binomiale.
Efficacité de Compression : La méthode a atteint des taux de compression moyens significativement plus élevés (moins de tokens par séquence) par rapport aux bases de référence, conduisant à une réduction du temps d'exécution de l'inférence.
Réduction de la Fragmentation : L'analyse qualitative a montré que FLEXITOKENS a réduit la sur-fragmentation des tokens, en particulier pour les langues à morphologie riche (hindi, télougou) et les scripts non vus (ourdou), où BPE produisait jusqu'à 6 fois plus de tokens.
Évolutivité : Des expériences avec des tailles de modèles variables (Petit : 126M, Moyen : 388M) et des configurations de couches ont confirmé que la méthode s'adapte efficacement, les modèles plus profonds atteignant une compression et des performances encore plus élevées.

Importance et Revendications

L'article revendique que FLEXITOKENS adresse une limitation critique dans l'adaptation actuelle des modèles de langage : l'incapacité des tokeniseurs statiques ou rigidement contraints d'évoluer avec les données. En permettant au tokeniseur d'ajuster flexiblement sa stratégie de segmentation dans une plage définie, la méthode permet :

Inférence Efficace : Des taux de compression plus élevés réduisent les coûts computationnels.
Robustesse aux Déplacements de Distribution : Le modèle s'adapte à de nouveaux domaines et à de nouvelles langues sans nécessiter de réentraînement du tokeniseur ni de remplacements heuristiques.
Alignement Sémantique : Le tokeniseur apprend à récupérer des tokens sémantiquement significatifs pertinents pour des tâches spécifiques (par exemple, terminologie médicale) plutôt que de s'appuyer sur des unités de sous-mots pré-entraînées.

Les auteurs concluent que des stratégies de tokenisation adaptables sont essentielles pour construire des modèles de langage plus efficaces et généralisables, en particulier dans des contextes multilingues et spécifiques à un domaine. Ils reconnaissent les limitations concernant le budget computationnel pour des échelles plus grandes et les défis potentiels avec des langues présentant des morphèmes discontinus (par exemple, les langues sémitiques), mais affirment que la méthode est générale et susceptible de se traduire par une plus grande diversité linguistique.