💬 NLP

Are you going to finish that? A Practical Study of the Partial Token Problem

Cet article étudie le « problème du jeton partiel », démontrant que les invites réalistes se terminant au milieu d'un jeton — particulièrement dans les langues sans espace, les langues à composition et le code — provoquent de sévies distorsions de probabilité dans les grands modèles de langage qui ne s'améliorent pas avec l'échelle, tout en validant l'efficacité des solutions d'inférence exacte au moment de l'exécution.

Auteurs originaux : Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Xu, Alisa Liu, Jonathan Hayase, Yejin Choi, Noah A. Smith

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à un jeu de « Complétez la phrase » avec un robot très intelligent, mais légèrement rigide. Vous tapez une phrase, et le robot est censé deviner le mot suivant très précisément.

D'habitude, cela fonctionne parfaitement. Mais ce document découvre un bug spécifique où le robot s'embrouille, non pas parce qu'il ne connaît pas les mots, mais à cause de la manière dont il les compte.

Voici la décomposition du problème, les preuves et la solution, en utilisant des analogies simples.

1. Le problème central : Le bug de la « demi-brique »

Imaginez le cerveau du robot comme une bibliothèque où chaque livre est fait de briques (tokens).

Le point de vue de l'utilisateur : Vous voyez des mots (comme « pomme » ou « est »).
Le point de vue du robot : Il voit des briques. Parfois, une brique couvre un mot entier. Parfois, une brique couvre deux mots. Parfois, une brique est coupée en deux.

Le Problème du Token Partiel se produit lorsque vous arrêtez de taper pile au milieu de l'une de ces briques.

L'analogie : Imaginez que le robot s'attend à ce que le mot « traitement » soit une seule brique solide.
L'erreur : Vous tapez « traite » et vous vous arrêtez.
La confusion : Le robot voit « traite » et pense : « Attends, je connais la brique "traite". Mais je connais aussi la brique "traitement". Si j'ajoute simplement "ment" après, je brise mes propres règles car "traitement" est censé être une brique incassable ! »

Parce que le robot a été entraîné pour ne voir que la brique entière, il est terrifié à l'idée de compléter le mot comme vous l'attendez. Il pense : « Si tu t'es arrêté à "traite", c'est que tu ne veux probablement pas de "ment" ensuite ; tu veux probablement quelque chose de totalement différent. »

2. Où cela se produit-il ? (Les trois pièges)

Le document a découvert que ce n'est pas seulement un bug rare en anglais. Cela arrive souvent dans trois situations spécifiques où les « mots » et les « briques » ne s'alignent pas :

Les langues sans espaces (comme le chinois) : En anglais, les espaces indiquent au robot où un mot se termine. En chinois, il n'y a pas d'espaces. Le robot doit deviner où un mot finit et où le suivant commence.
- Exemple : La phrase « est un » pourrait être une seule brique. Si vous tapez « est » et vous vous arrêtez, vous avez coupé cette brique en deux. Le robot panique.
Les langues qui collent les mots ensemble (comme l'allemand) : L'allemand combine souvent deux mots en un seul mot géant (comme « Eigelb » pour jaune d'œuf).
- Exemple : Si le robot voit « Ei » (œuf) et que vous vous arrêtez là, mais que le robot pense que « Eigelb » est une seule brique, il est confus quant à ce qui vient après.
Le code informatique : Le code utilise des symboles comme () ou :. Souvent, un bloc entier de symboles constitue une seule brique.
- Exemple : Si vous tapez def main() et que vous vous arrêtez, mais que le robot pense que (): est une seule brique, il reste bloqué en essayant de deviner le symbole suivant.

3. À quel point est-ce grave ? (Le « crash silencieux »)

Les chercheurs ont testé cela avec de nombreux robots (modèles d'IA). Les résultats sont choquants :

La chute de probabilité : Lorsqu'un robot est forcé de deviner après une « demi-brique », sa confiance dans le fait de vous donner la bonne réponse chute de 1 000 à 10 000 fois. C'est comme un étudiant qui connaît la réponse mais qui est si effrayé par les règles de notation du professeur qu'il refuse de l'écrire.
La chute de précision : Le robot arrête de donner la bonne réponse 60 % à 95 % du temps. Il peut sauter une lettre, ajouter un espace bizarre ou donner un mot complètement faux.
Plus grand n'est pas meilleur : Vous pourriez penser : « Si nous rendons le robot plus intelligent (modèle plus gros), il corrigera cela. » Non. Le document a trouvé que les robots plus gros, plus intelligents, deviennent en fait pires à ce jeu. Ils sont tellement entraînés sur leurs règles de « briques » spécifiques qu'ils sont encore plus obstinés à ne pas les briser.

4. Les solutions : Comment corriger le bug

Le document a testé deux méthodes pour corriger cela durant la phase de « réflexion » (inférence) :

Méthode A : « Token Healing » (La Retraite) :
- Comment ça marche : Si vous tapez « traite » et que le robot est confus, cette méthode dit au robot : « D'accord, oublie la dernière partie. Fais comme si tu n'avais vu que "trai". »
- Le résultat : Cela aide parfois, mais c'est aléatoire. C'est comme essayer de réparer un vase cassé en coupant le haut ; cela peut fonctionner, mais ce n'est pas parfait.
Méthode B : « ByteSampler » (La Carte) :
- Comment ça marche : Au lieu de deviner, cette méthode dessine une carte de chaque façon possible dont le robot aurait pu lire votre phrase. Elle trouve le chemin qui correspond exactement à votre texte, puis continue à partir de là.
- Le résultat : Cela fonctionne parfaitement. Dans les tests, cette méthode a permis au robot de donner la bonne réponse 100 % du temps, même lorsque l'invite était coupée au milieu d'une brique. C'est comme avoir un GPS qui recalcule l'itinéraire instantanément lorsque vous faites un détour, garantissant que vous atteignez toujours la destination.

L'essentiel

Le document conclut que, bien que les modèles d'IA soient incroyables pour comprendre le langage, ils sont aussi esclaves de la manière spécifique dont on leur a appris à compter les mots (la tokenisation). Si un utilisateur arrête de taper d'une manière qui ne correspond pas aux règles de comptage internes du robot, la confiance du robot s'effondre.

La bonne nouvelle ? Nous n'avons pas besoin de reconstruire les robots. Nous avons juste besoin d'utiliser un « GPS » plus intelligent (comme ByteSampler) pendant qu'ils réfléchissent pour s'assurer qu'ils ne soient pas déstabilisés par leurs propres règles de comptage.

Résumé technique : « Allez-vous finir cela ? Une étude pratique du problème du jeton partiel »

Définition du problème
Le Problème du Jeton Partiel (PTP - Partial Token Problem) découle d'un décalage fondamental entre la manière dont les utilisateurs interagissent avec les modèles de langage (LM) et la manière dont les LM traitent le texte. Les utilisateurs fournissent des invites sous forme de chaînes de caractères, tandis que les LM opèrent sur des séquences de jetons (tokens) générés par un tokenizer. Le PTP survient lorsqu'une invite de l'utilisateur se termine au milieu d'un jeton valide (un « jeton partiel »). Comme les LM sont entraînés exclusivement sur des séquences de jetons valides, ils attribuent des probabilités étonnamment basses aux continuations qui complètent ces jetons partiels. Bien que le problème soit bien documenté dans la littérature (ex. : Lundberg, 2023 ; Ribeiro, 2023), les travaux antérieurs se sont largement appuyés sur des préfixes de caractères arbitraires pour illustrer le phénomène. Par conséquent, la prévalence et la gravité du PTP dans des invites réalistes respectant des frontières naturelles de mots ou de syntaxe sont restées sous-explorées.

Méthodologie
Les auteurs étudient systématiquement le PTP dans des scénarios réalistes en identifiant les domaines où les frontières de jetons ne s'alignent souvent pas avec les frontières sémantiques ou syntaxiques :

Systèmes logographiques (Chinois) : Les mots ne sont pas délimités par des espaces, ce qui amène les tokenizers à fusionner des caractères à travers les frontières de mots.
Langues à forte composition (Allemand) : Les mots composés sont souvent segmentés par les tokenizers d'une manière qui ignore les frontières morphologiques.
Code : Les identifiants et la ponctuation consécutive sont fréquemment fusionnés en jetons uniques.

Pour quantifier le problème, les auteurs ont construit une tâche de « répétition après moi ». Ils ont segmenté des phrases naturelles en préfixes et continuations de telle sorte que :

Le préfixe se termine à une frontière de mot complète (naturellement sémantique).
Le préfixe se termine à une frontière de jeton partiel par rapport au tokenizer (en violant la condition encode(prompt) + encode(continuation) == encode(prompt + continuation)).
La continuation est sans ambiguïté (le modèle doit répéter exactement le texte fourni).

L'étude a évalué une suite diversifiée de modèles de pointe (incluant QWEN3, HUNYUAN, LLAMA, OLMO, GEMMA et MISTRAL) à travers ces domaines. La performance a été mesurée à l'aide de deux métriques :

$\Delta$ Logprob : La différence de log-probabilité attribuée au jeton suivant correct entre l'invite alignée sur le mot (jeton partiel) et l'invite alignée sur le jeton (repli/back-off).
$\Delta$ Acc : La différence de précision lors du décodage glouton (greedy decoding) de la continuation correcte.

Résultats clés

Prévalence élevée de désalignement : Les tokenizers prêts à l'emploi présentent des taux de désalignement significatifs. En chinois, 14 % à 25 % des frontières de mots ne s'alignent pas avec les frontières de jetons. Dans le code, les frontières de ponctuation se situent à l'intérieur des jetons à des taux dépassant 50 % pour la plupart des modèles.
Distorsion sévère des probabilités : Face à un PTP, les modèles attribuent des probabilités drastiquement plus basses à la continuation correcte. En chinois, la probabilité chute jusqu'à quatre ordres de grandeur par rapport aux invites alignées sur les jetons.
Effondrement de la précision : Les modèles prédisent la continuation correcte 60 % à 95 % moins souvent lorsque l'invite se termine par un jeton partiel. Par exemple, la précision de QWEN3-32B en chinois est passée de 93,92 % (alignée sur le jeton) à 15,36 % (alignée sur le mot).
Le passage à l'échelle n'aide pas : La dégradation ne diminue pas avec la taille du modèle ; dans de nombreux cas, les modèles plus larges subissent des chutes de performance égales ou supérieures. Les auteurs émettent l'hypothèse que les modèles plus larges sont mieux adaptés à leurs tokenizers spécifiques, ce qui les rend plus convaincus qu'une séquence de jetons (ex. : process + in) ne peut pas être suivie d'un caractère (ex. : g) qui formerait un seul jeton (processing).
Mitigations au moment de l'inférence :
- Guérison de jeton (Token Healing) : Une approche heuristique qui supprime le(s) dernier(s) jeton(s) de l'invite et contraint la génération à correspondre au texte supprimé. Cela a montré des résultats mitigés, améliorant la précision dans certains cas mais échouant dans d'autres (ex. : allemand).
- ByteSampler : Une solution exacte (Hayase et al., 2025) qui construit un arbre de toutes les séquences de jetons valides couvrant le préfixe de l'invite et échantillonne un chemin. Cette méthode a atteint 100 % de précision dans les trois domaines (chinois, allemand, code) avec un faible surcoût de calcul (0,12–1,17 passages supplémentaires vers l'avant).

Signification et contributions
L'article démontre que le Problème du Jeton Partiel n'est pas simplement un artefact d'une troncature de texte arbitraire, mais un mode de défaillance sérieux dans des cas d'utilisation réalistes et sémantiquement naturels. Les auteurs affirment que :

Impact réel : Le problème est omniprésent dans les langues non anglaises et le code, affectant même les invites qui se terminent par des mots complets.
Limites de la mise à l'échelle : Augmenter la taille du modèle ne résout pas le problème, car les modèles deviennent plus rigidement liés à leurs schémas de tokenisation d'entraînement.
Recommandations pratiques : L'étude valide l'efficacité des solutions exactes au moment de l'inférence comme ByteSampler, qui peuvent atténuer totalement le problème sans nécessifier de réentraînement du modèle.

Ce travail souligne que les LM modélisent non seulement le langage, mais aussi le tokenizer spécifique avec lequel ils ont été entraînés, et que cette interaction crée des biais prévisibles lorsque les frontières des invites ne s'alignent pas avec les frontières des jetons. Les auteurs fournissent des recommandations pratiques pour que les fournisseurs d'inférence adoptent des solutions exactes afin de garantir la fiabilité dans des contextes linguistiques et de codage diversifiés.