💬 NLP

Emergent retokenization symmetry in large language models: phenomenology and applications

Cet article démontre que les grands modèles de langage développent partiellement une symétrie émergente envers des segmentations de jetons sémantiquement équivalentes au cours de l'entraînement, révélant que la « re-tokenisation » — le remplacement des tokenisations canoniques par des segmentations alternatives valides — sert de sonde pure pour la compréhension compositionnelle et d'une nouvelle stratégie d'échantillonnage à l'inférence capable de récupérer des solutions manquées par les méthodes conventionnelles.

Auteurs originaux : Kanishk Jain, Matthew Day, Tankut Can

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kanishk Jain, Matthew Day, Tankut Can

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous lisez un livre, mais au lieu de lire des mots entiers, le livre est imprimé dans un code étrange où chaque mot est découpé en morceaux de tailles différentes. Parfois, « probable » est un seul bloc. D'autres fois, il est divisé en deux : « prob » et « able ».

Dans le monde des grands modèles de langage (LLM), c'est exactement comme cela qu'ils lisent. Ils ne voient pas des lettres ; ils voient des « tokens » (des fragments de texte). Habituellement, l'ordinateur possède un carnet de règles strict (un tokenizer) qui dit : « Découpe toujours "probable" en "prob" et "able" ». C'est la manière canonique.

Cet article pose une question fascinante : Et si nous brisions les règles ? Et si nous donnions au modèle la même phrase, mais découpée différemment (par exemple : « pro » + « b » + « able ») ? Le modèle serait-il confus, ou comprendrait-il quand même le sens ?

Les auteurs appellent ce processus la Retokenisation. Voici ce qu'ils ont découvert, expliqué simplement :

1. Le « langage secret » du modèle

Les chercheurs ont découvert que même si le modèle est entraîné pour toujours lire les mots de la manière « standard », il comprend secrètement les manières « non standard » aussi.

L'analogie : Imaginez un chef qui est formé pour couper les oignons en cubes parfaits et uniformes. Si vous lui donnez une pile d'oignons découpés en formes irrégulières et bizarres, il sera peut-être quand même capable de cuisiner la soupe. Il comprend que « oignon » est « oignon », peu importe la forme.
La découverte : Le modèle n'est pas totalement aveugle aux formes bizarres. Il peut toujours faire ses calculs, écrire du code ou répondre à la question. Cependant, il n'est pas parfaitement aveugle non plus. Les formes bizarres font que le « cerveau » interne du modèle (ses états cachés) travaille légèrement différemment. C'est comme si le chef était légèrement plus stressé lorsque les oignons sont découpés de façon étrange, même si la soupe a toujours bon goût.

2. Une nouvelle façon de « lancer les dés »

Quand nous demandons à une IA de résoudre un problème, nous lui demandons généralement d'essayer plusieurs fois et de voir quelle réponse est la meilleure. C'est ce qu'on appelle l'Échantillonnage par Température (Temperature Sampling). C'est comme lancer un dé pour voir ce que l'IA dira ensuite.

Les auteurs ont trouvé une nouvelle façon d'obtenir des réponses différentes : l'Échantillonnage par Retokenisation.

L'analogie : Imaginez que vous essayez de résoudre un labyrinthe.
- Échantillonnage standard : Vous suivez le même chemin, mais à chaque fois que vous arrivez à une intersection, vous lancez une pièce pour décider si vous allez à gauche ou à droite.
- Échantillonnage par Retokenisation : Vous suivez le même chemin, mais vous modifiez légèrement la carte. Peut-être que vous redessinez les murs ou changez les étiquettes sur les virages. Même si la destination est la même, la nouvelle carte force votre cerveau à prendre un itinéraire différent pour y arriver.
Le résultat : Parfois, cette « nouvelle carte » aide l'IA à trouver une solution qu'elle avait manquée avec la carte standard. C'est comme trouver une porte cachée dans le labyrinthe que l'on ne voit que si l'on regarde le plan sous un autre angle.

3. Là où cela fonctionne (et là où cela ne fonctionne pas)

Les chercheurs ont testé cela sur trois types de tâches :

Mathématiques (GSM8K) : Le modèle s'en est bien sorti. Le découpage bizarre n'a pas beaucoup aidé, mais il n'a pas non plus cassé le modèle.
Choix multiples (MMLU) : Le modèle était très sensible ici. Changer les fragments le rendait légèrement plus susceptible de donner une mauvaise réponse.
Codage (HumanEval) : C'est là que cela devient passionnant. Le codage possède de nombreuses façons de résoudre le même problème. Les chercheurs ont découvert qu'en changeant la façon dont le code était découpé, l'IA trouvait parfois des manières totalement différentes et correctes d'écrire le programme qu'elle n'aurait pas trouvées autrement.

4. Le coût de la créativité

Il y a un inconvénient.

L'analogie : Imaginez que vous essayez de lire un livre plus vite.
- Manière standard : Vous lisez les mots normalement.
- Manière par Retokenisation : Vous devez vous arrêter et re-découper chaque mot avant de le lire.
La découverte : Parce que le modèle doit traiter ces mots « bizarrement découpés », cela demande plus de puissance informatique (et de temps) pour obtenir la réponse. C'est moins efficace que la méthode standard. L'article conclut que, bien que cette méthode soit un outil génial pour trouver de nouvelles solutions (particulièrement en codage), elle n'est pas une solution miracle pour remplacer la façon standard d'utiliser l'IA car elle est plus lente et plus coûteuse.

Résumé

L'article montre que les modèles d'IA sont plus intelligents que nous ne le pensions. Ils ne se contentent pas de mémoriser une seule façon de lire les mots ; ils possèdent une compréhension flexible qui leur permet de gérer différents « découpages » du même texte.

En découpant intentionnellement le texte en fragments bizarres, les chercheurs peuvent forcer l'IA à penser de manières légèrement différentes, révélant parfois des réponses correctes (particulièrement en codage) qu'elle aurait autrement manquées. C'est un nouvel outil pour explorer comment l'IA réfléchit, prouvant que la façon dont nous nourrissons l'information à un ordinateur compte tout autant que l'information elle-même.

Résumé technique : Symétrie de re-tokenisation émergente dans les grands modèles de langage

Énoncé du problème

La tokenisation dans les grands modèles de langage (LLM) introduit une redondance représentationnelle : une seule chaîne d'octets peut être décomposée en plusieurs séquences de tokens valides (segmentations) qui décodent vers le même texte de surface. Les tokeniseurs standards (par exemple, BPE, WordPiece) sélectionnent une segmentation « canonique » unique, généralement via des algorithmes gloutons ou de programmation dynamique. Bien que l'entraînement sur ces formes canoniques soit la norme, il reste incertain si les modèles apprennent à traiter les segmentations non canoniques et sémantiquement équivalentes comme des entrées invariantes.

Des travaux antérieurs ont souligné que la tokenisation est une source de fragilité, où les modèles échouent aux tâches de niveau caractère ou aux opérations sensibles à l'orthographe. Inversement, des études récentes suggèrent que les modèles peuvent posséder une compréhension compositionnelle émergente, récupérant des représentations de mots entiers à partir de séquences de sous-mots. Cependant, un fossé existe dans la compréhension du compromis entre invariance de segmentation (traiter différentes segmentations de la même chaîne de la même manière) et sensibilité de segmentation (où différentes segmentations induisent des états internes et des sorties différents). La plupart des études antérieures sur les perturbations d'entrée (par exemple, paraphrase, fautes de frappe) modifient la chaîne de caractères de surface, confondant les changements sémantiques avec la robustesse au changement de formulation. Il est nécessaire d'avoir une sonde contrôlée qui isole l'effet de la tokenisation seule sans changer les octets, la syntaxe ou la sémantique sous-jacents.

Méthodologie

Les auteurs introduisent la re-tokenisation comme une intervention contrôlée au moment de l'inférence. Étant donné un vocabulaire fixe et une chaîne d'octets $s$ , ils définissent :

$E_0(s)$ : l'encodage de token canonique.
$E_\mu(s)$ : toute autre segmentation valide de $s$ sous le même vocabulaire.

Le dispositif expérimental central repose sur l'Échantillonnage par Re-tokenisation :

Re-tokenisation stochastique : Pour un prompt donné, les auteurs génèrent $k$ segmentations non canoniques valides en re-segmentant aléatoirement les tokens (en utilisant un algorithme qui échantillonne uniformément parmi les décompositions valides) avec une probabilité $p_{retok}$ .
Décodage glouton : Le modèle est exécuté sur chaque prompt segmenté en utilisant un décodage glouton (température = 0). Cela garantit que la diversité de sortie provient uniquement de la représentation d'entrée, et non de l'aléa de l'échantillonnage de sortie.
Métrique : Ils définissent pass@retok(k) comme la probabilité qu'au moins un des $k$ prompts re-tokenisés produise une solution correcte. C'est l'analogue direct de la métrique standard pass@k, mais où la diversité provient de la segmentation de l'entrée plutôt que de la stochasticité de la sortie.

L'étude utilise cette méthodologie à travers :

Modèles : La famille OLMo-2 (7 milliards de paramètres) à travers diverses étapes d'entraînement (pré-entraînement, SFT, DPO, Instruct) ainsi que d'autres familles de modèles (Qwen3, Llama-3.1, Gemma, Pythia).
Benchmarks : HumanEval (génération de code), GSM8K (raisonnement mathématique), GSM8K Python (mathématiques médiées par le code) et MMLU (récupération de connaissances).
Comparaisons : Les auteurs comparent la re-tokenisation à :
- Échantillonnage de température canonique : Diversité standard du côté de la sortie.
- Échantillonnage de fautes de frappe (Typo Sampling) : Perturbations d'entrée qui modifient la chaîne de caractères de surface (un axe de recherche moins contrôlé mais plus fort).
- Analyse des états cachés : Mesure du déplacement et de la variance des représentations latentes à travers les couches.

Contributions clés

La re-tokenisation comme sonde contrôlée : Le papier formalise la re-tokenisation comme une intervention préservant la sémantique. Elle ne change que la décomposition des tokens d'une chaîne d'octets fixe, permettant d'isoler proprement les effets de segmentation des changements sémantiques ou syntaxiques.
Symétrie émergente et sensibilité résiduelle : Par l'analyse des états cachés, les auteurs démontrent que, bien que les représentations internes des segmentations non canoniques se regroupent (indiquant une symétrie émergente), elles ne s'effondrent pas vers l'état canonique. Une « sensibilité résiduelle » persiste, particulièrement accentuée dans les dernières couches du modèle. Cette sensibilité est apprise progressivement durant le pré-entraînement et le post-entraînement.
Protocole d'échantillonnage par re-tokenisation : Les auteurs introduisent pass@retok(k) pour quantifier comment la diversité de la représentation d'entrée affecte le succès des tâches. Ils montrent que cette métrique présente une courbe ascendante avec des rendements décroissants, similaire au pass@k standard, indiquant que différentes segmentations exposent des trajectoires utiles distinctes.
Gains dépendants des tâches et tendances de robustesse :
- Récupération de solutions manquées : Sur HumanEval et GSM8K, l'échantillonnage par re-tokenisation récupère des solutions correctes que le décodage canonique manque.
- Diversité structurelle : Sur HumanEval, l'analyse basée sur l'AST révèle que les générations re-tokenisées correctes couvrent une large gamme de structures de programmes, et ne se limitent pas à un seul modèle canonique.
- Mise à l'échelle des modèles (Scaling) : Les modèles les plus puissants restent généralement les plus performants sous re-tokenisation, et la robustesse à la segmentation suit la capacité globale du modèle.
Analyse de l'efficacité de calcul : Les auteurs comparent la re-tokenisation à l'échantillonnage par température et par fautes de frappe sous un budget de jetons de prompt équivalent. Ils constatent que, bien que la re-tokenisation fournisse une diversité unique, elle est moins efficace en termes de calcul que l'échantillonnage par température car les segmentations non canoniques augmentent souvent la longueur du prompt.

Résultats

Espace de représentation : Pendant le pré-entraînement, le déplacement (biais) et la variance des représentations latentes sous re-tokenisation diminuent mais ne disparaissent pas. La dernière couche présente la plus grande sensibilité aux changements de segmentation.
Performance comportementale :
- HumanEval : L'échantillonnage par re-tokenisation montre l'écart le plus important par rapport au pass@k canonique, récupérant des programmes structurellement divers. Certaines tâches ne sont résolues que par l'échantillonnage par re-tokenisation.
- GSM8K & GSM8K Python : La re-tokenisation améliore les performances, bien que l'écart par rapport à l'échantillonnage canonique soit plus faible que dans la génération de code.
- MMLU : En raison de l'espace de réponse discret et restreint, l'échantillonnage répété (tant canonique que re-tokenisé) sature rapidement, rendant le pass@retok moins distinct dans ce domaine.
Dynamique d'entraînement : Tant le pass@k que le pass@retok(k) s'améliorent pendant le pré-entraînement et montrent des augmentations brusques pendant le post-entraînement (SFT, DPO, Instruct). Cela suggère que l'invariance de segmentation est une propriété apprise qui croît avec la capacité du modèle.
Comparaison avec les fautes de frappe : L'échantillonnage par fautes de frappe surpasse généralement la re-tokenisation en termes de gains de précision brute, mais il est moins contrôlé car il modifie le texte visible. La re-tokenisation reste la sonde la plus « propre » pour les effets spécifiques à la segmentation.
Diversité : Les générations re-tokenisées ne sont pas effondrées dans un seul modèle ; elles explorent une gamme de structures de programmes comparable aux générations échantillonnées par température, malgré l'utilisation d'un décodage glouton.

Signification et affirmations

Le papier positionne la re-tokenisation comme une sonde simple mais puissante des grands modèles de langage, offrant deux perspectives principales :

Perspective scientifique : Elle révèle que les modèles tokenisés possèdent une symétrie de segmentation partielle émergente. Ils ne sont pas strictement liés aux tokenisations canoniques et peuvent traiter des entrées équivalentes de diverses manières, tout en conservant une sensibilité résiduelle qui affecte le calcul. Cela remet en question la vision de la tokenisation comme une simple étape de compression, suggérant qu'elle est une partie fondamentale de l'interface de calcul du modèle.
Application pratique : La re-tokenisation offre une nouvelle stratégie d'échantillonnage (échantillonnage par re-tokenisation) qui génère de la diversité à partir des calculs internes du modèle via des entrées sémantiquement équivalentes. Bien qu'elle ne soit pas actuellement un remplacement direct de l'échantillonnage par température en raison de coûts de calcul plus élevés (prompts plus longs), elle sert de axe de recherche complémentaire. Elle peut récupérer des solutions manquées par les méthodes conventionnelles, particulièrement dans les domaines ouverts comme la génération de code où existent plusieurs familles algorithmiques valides.

Les auteurs affirment modestement que ce travail apporte un éclairage sur la compréhension compositionnelle et la sensibilité au prompt, démontrant que la multiplicité des segmentations valides est un « degré de liberté mécanistiquement significatif » qui ne peut être ignoré dans les LLM déployés. Ils ne prétendent pas que la re-tokenisation est universellement supérieure aux autres méthodes d'échantillonnage, mais qu'elle constitue une source de diversité unique et préservant la sémantique.