💬 NLP

Effective Context in Transformers: An Analysis of Fragmentation and Tokenization

Ce papier établit un cadre théorique de l'information à contexte fini démontrant que, si la fragmentation (en utilisant des unités plus petites) peut intrinsèquement dégrader les performances de prédiction en augmentant la perte logarithmique optimale, la tokenisation gourmande (en utilisant des unités plus grandes) peut efficacement étendre la fenêtre de contexte utilisable du modèle, expliquant ainsi les différences de performance entre les modèles Transformer au niveau des octets/caractères et ceux basés sur des sous-mots.

Auteurs originaux : Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amirmehdi Jafari Fesharaki, Mohammadamin Rami, Aslan Tchamkerten

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire le mot suivant dans une histoire. Vous disposez d'une « fenêtre de mémoire » qui ne peut contenir qu'un certain nombre d'éléments. L'article pose une question simple mais profonde : Est-ce que cela importe comment nous décomposons l'histoire en ces éléments ?

Les auteurs, Amirmehdi J. Fesharaki, Mohammadamin Rami et Aslan Tchamkerten, explorent deux façons de décomposer le texte : le découper en petits morceaux (comme des lettres individuelles ou des octets) versus le regrouper en plus grands blocs (comme des mots ou des sous-mots). Ils utilisent les mathématiques pour prouver que la manière dont vous découpez les données modifie la capacité d'un ordinateur à prédire le futur, même si les données elles-mêmes sont exactement les mêmes.

Voici la répartition de leurs découvertes à l'aide d'analogies simples :

1. Le problème du « trop de détails » (Fragmentation)

L'analogie : Imaginez que vous essayez de deviner le prochain coup dans une partie d'échecs.

Scénario A (Sous-mots) : Vous regardez l'échiquier et voyez clairement les pièces : « Cavalier », « Pion », « Roi ». Vous pouvez facilement voir le motif.
Scénario B (Fragmentation) : Maintenant, imaginez que quelqu'un peigne l'échiquier et brise chaque pièce d'échecs en de minuscules pixels colorés. Pour voir la même quantité d'histoire, vous devez examiner une zone beaucoup plus large de pixels.

L'affirmation de l'article :
Les auteurs ont découvert que si vous décomposez un symbole source (comme une lettre) en morceaux plus petits et sans perte (comme des bits ou des octets), vous rendez en réalité la prédiction plus difficile, même si vous offrez au modèle une fenêtre plus large pour regarder.

Pourquoi ? C'est un problème d'alignement.
- Si vous regardez un mot, vous savez exactement où il commence et où il finit.
- Si vous regardez les bits qui composent ce mot, votre « fenêtre » pourrait couper juste au milieu d'une lettre. Vous pourriez voir la fin d'une lettre et le début d'une autre, mais vous ne savez pas quelle lettre vous regardez.
- La métaphore : Imaginez essayer de lire une phrase où les espaces entre les mots sont décalés de manière aléatoire. Même si vous avez une règle assez longue pour mesurer toute la phrase, vous ne pouvez pas dire où finit un mot et où commence le suivant. Cette confusion crée une « ambiguïté de phase ». Le modèle gaspille de l'énergie à deviner où se trouvent les limites, ce qui entraîne un taux d'erreur plus élevé qui ne peut pas être corrigé simplement en entraînant plus longtemps ou en ajoutant plus de puissance de calcul.

2. La puissance du « regroupement intelligent » (Tokenisation)

L'analogie : Maintenant, imaginez que vous lisez un livre, mais au lieu de lire lettre par lettre, vous lisez par « blocs » de sens.

Le dispositif : Vous avez une fenêtre de mémoire limitée qui ne peut contenir que 10 éléments.
Scénario A (Texte brut) : Si vos éléments sont des lettres, votre fenêtre ne contient que 10 lettres. C'est à peine un ou deux mots. Vous ne pouvez pas voir beaucoup de contexte.
Scénario B (Tokenisation) : Si vos éléments sont des « tokens » (groupes de lettres formant des mots courants ou des parties de mots), votre fenêtre de 10 éléments pourrait contenir 50 lettres ou même une phrase entière.

L'affirmation de l'article :
Les auteurs prouvent que regrouper des symboles en plus grands tokens peut faire en sorte qu'une fenêtre courte se comporte comme une beaucoup plus longue.

La condition : Cela ne fonctionne que si les « blocs » sont fiables. Si votre tokeniseur est assez intelligent pour que 10 tokens couvrent toujours (ou presque toujours) une longue portion de l'histoire originale, alors le modèle peut apprendre les motifs de l'histoire entière en utilisant une petite fenêtre.
La métrique : Ils introduisent un moyen de mesurer cela appelé « Contexte source effectif ». Il ne s'agit pas du nombre de tokens que vous avez, mais du nombre de caractères originaux que ces tokens représentent réellement. Si vos 10 tokens couvrent 100 caractères, votre modèle a une « mémoire de 100 caractères », même s'il ne voit que 10 éléments.

3. Le facteur « marge de manœuvre »

L'article note également que les tokeniseurs du monde réel ne sont pas parfaits. Parfois, un token peut être très court (une seule lettre), et parfois il peut être long (un mot entier).

La découverte : Tant que les « mauvais » cas (où les tokens sont trop courts) sont rares, le modèle fonctionne presque aussi bien que si les tokens étaient parfaits. Les mathématiques montrent exactement quelle « marge de manœuvre » (erreur) vous pouvez tolérer avant que le bénéfice ne disparaisse.

Résumé des deux côtés

L'article établit un bilan pour la façon dont nous représentons les données à l'IA :

Aller plus petit (Fragmentation) : Décomposer les données en minuscules bits (comme des octets) crée un « décalage de phase ». Le modèle se perd sur l'endroit où les unités originales commencent et finissent, entraînant une perte permanente d'efficacité qui ne peut pas être corrigée simplement en rendant le modèle plus grand.
Aller plus grand (Tokenisation) : Regrouper les données en blocs intelligents (comme BPE ou WordPiece) agit comme un outil de compression. Il permet au modèle de voir une histoire beaucoup plus longue dans la même fenêtre de taille fixe, à condition que les blocs soient suffisamment cohérents.

La conclusion :
La taille de la « fenêtre de contexte » n'est pas seulement un nombre d'éléments ; c'est un nombre d'unités source originales. Si vous découpez vos données trop finement, vous perdez la capacité de voir le tableau d'ensemble. Si vous les regroupez avec sagesse, vous pouvez voir plus loin avec moins d'effort. L'article fournit les règles mathématiques pour savoir exactement quand le regroupement aide et quand le découpage nuit.

Résumé Technique : Contexte Effectif dans les Transformers

1. Énoncé du Problème

La modélisation du langage moderne repose sur l'architecture Transformer, pourtant un choix fondamental précède l'entraînement : la représentation de la séquence d'entrée. Un même texte peut être encodé sous forme d'octets, de caractères ou de jetons de sous-mots. Bien que ces encodages soient souvent sans perte, une fenêtre de contexte fixe dans un Transformer couvre des quantités différentes de l'historique source original selon la représentation.

Cela soulève une question théorique centrale : Comment le choix de la représentation modifie-t-il ce qu'un prédicteur à contexte fini peut accomplir ?

La littérature actuelle observe un écart de performance : les modèles sans jetons (par exemple, ByT5, CANINE) opérant sur des octets ou des caractères éprouvent souvent des difficultés avec la prédiction à contexte fini par rapport aux modèles tokenisés en sous-mots, même lorsque leurs fenêtres de contexte sont agrandies pour couvrir la même histoire source nominale. À l'inverse, les modèles tokenisés (utilisant BPE, WordPiece) atteignent souvent de hautes performances avec des fenêtres de jetons plus courtes. Cet article vise à fournir un cadre théorique de l'information pour expliquer ces phénomènes, dépassant les observations empiriques pour caractériser les limites intrinsèques de la prédiction à contexte fini sous différents recodages sans perte.

2. Méthodologie

Les auteurs analysent ce problème en utilisant des sources markoviennes stationnaires d'ordre fini. Ce cadre permet une définition explicite de l'« historique pertinent » : une fois que la fenêtre de contexte atteint l'ordre markovien $k$ , la perte optimale à contexte fini atteint le taux d'entropie. En isolant la couche de représentation, les auteurs peuvent déterminer comment le recodage affecte l'information disponible dans une fenêtre fixe.

L'étude procède dans deux directions complémentaires :

Fragmentation (Raffinement) : Analyser l'effet de la division des symboles source en unités plus petites (par exemple, des caractères en bits).
Tokenisation (Agrégation) : Analyser l'effet du regroupement des symboles source en unités plus grandes (par exemple, des caractères en sous-mots).

L'analyse utilise des outils théoriques de l'information, spécifiquement l'entropie conditionnelle et l'information mutuelle, pour quantifier la « perte excédentaire » introduite par les choix de représentation. Les résultats théoriques sont validés par des expériences sur des sources markoviennes synthétiques et des jeux de données réels (WikiText-103) en utilisant des architectures de Transformers et des modèles N-grammes.

3. Contributions Clés

A. L'Effet de Fragmentation

L'article introduit le concept de fragmentation : un recodage sans perte où chaque symbole source est remplacé par un bloc de $M$ symboles plus petits.

Le Phénomène : Les auteurs prouvent que la fragmentation peut strictement augmenter la perte logarithmique optimale à contexte fini, même lorsque la fenêtre de contexte est agrandie pour couvrir le même nombre nominal de symboles source ($Mw$ fragments contre $w$ symboles source).
Le Mécanisme : La perte excédentaire provient de deux sources :
1. Ambiguïté de Phase : Le prédicteur ne peut pas distinguer la « phase » du fragment actuel au sein de son symbole source (par exemple, s'agit-il du premier ou du deuxième bit d'un caractère ?). Différentes phases induisent différentes distributions conditionnelles pour le fragment suivant, mais le prédicteur ne voit que le contexte brut du fragment.
2. Déficit de Contexte : La fenêtre fragmentée peut couper à travers les limites des symboles source, ne parvenant pas à s'aligner avec l'historique source requis pour une prédiction optimale.
Résultat Théorique : Le théorème 3.1 quantifie l'écart entre la perte optimale d'un prédicteur fragmenté et celle d'un prédicteur au niveau source. L'écart est montré comme étant intrinsèque à la représentation, et non simplement une question d'optimisation ou de capacité. Cela fournit une explication théorique à l'écart de performance observé dans les modèles au niveau octet/caractère (ByT5, CANINE) par rapport aux modèles de sous-mots.

B. Le Gain de Tokenisation

L'article analyse la tokenisation gourmande (par exemple, BPE, WordPiece) comme un mécanisme pour étendre le contexte effectif.

Le Mécanisme : La tokenisation regroupe les symboles source en unités plus grandes. Une fenêtre fixe de $w$ jetons peut couvrir nettement plus de $w$ symboles source.
Portée Source : Les auteurs définissent la portée source $S$ d'une fenêtre de jetons comme le nombre de symboles source originaux qu'elle contient.
Garantie Théorique : Le théorème 4.1 et le corollaire 4.2 démontrent que si chaque fenêtre de $w$ jetons couvre au moins $w_s$ symboles source, un prédicteur au niveau jeton peut reproduire le comportement d'un prédicteur au niveau source avec un contexte $w_s$ sans perte asymptotique.
Analyse de Portée Typique : Reconnaissant que les tokeniseurs réels ont des longueurs de jetons variables, les auteurs introduisent une analyse probabiliste (Théorème 4.3). Ils montrent que si un tokeniseur est $(\epsilon, w, w_s)$ -typique (ce qui signifie qu'une fenêtre de $w$ jetons couvre au moins $w_s$ symboles source avec une probabilité $1-\epsilon$ ), la perte au niveau jeton est bornée par la perte au niveau source à la portée $w_s$ plus un terme de marge proportionnel à $\epsilon$ et au taux de compression du tokeniseur.
Diagnostic : Ce cadre produit un diagnostic simple pour les tokeniseurs réels : mesurer la « marge » (la probabilité qu'une fenêtre de jetons échoue à couvrir un historique source cible) permet de comparer les tokeniseurs en fonction du contexte source effectif qu'ils fournissent, plutôt que simplement de la longueur moyenne des jetons.

4. Résultats

Expériences de Fragmentation : Sur des sources markoviennes synthétiques, les modèles prédisant des séquences fragmentées (bits/caractères) ont convergé vers une perte strictement plus élevée que les modèles au niveau source, même lorsque la fenêtre de contexte était mise à l'échelle pour couvrir le même historique source. L'écart de perte observé correspondait à la décomposition théorique de l'ambiguïté de phase et du déficit de contexte.
Expériences de Tokenisation : Sur une source markovienne binaire d'ordre 12, un Transformer nécessitait une fenêtre de 12 symboles source pour atteindre le taux d'entropie. Après tokenisation, la même architecture atteignait le taux d'entropie avec une fenêtre de jetons beaucoup plus petite (par exemple, $w < 12$ ), à condition que les jetons couvrent l'historique source nécessaire.
Analyse du Monde Réel : L'analyse des tokeniseurs sur WikiText-103 a montré que pour une fenêtre de jetons fixe (par exemple, $w=128$ ), la portée source effective est typiquement 3 à 5 fois la longueur de la fenêtre de jetons avant que le terme de « marge » ne devienne significatif. Cela confirme que la tokenisation étend effectivement le contexte disponible pour le modèle.

5. Importance et Revendications

L'article revendique l'établissement d'un cadre théorique de l'information à contexte fini pour raisonner sur les choix de représentation dans les Transformers.

Explication Théorique : Il fournit un compte rendu rigoureux de la raison pour laquelle les modèles au niveau octet/caractère font face à un problème de prédiction plus difficile que les modèles de sous-mots, attribuant la difficulté aux propriétés intrinsèques de la représentation (ambiguïté de phase) plutôt qu'à de simples limitations architecturales.
Critère de Conception : Il déplace la métrique de qualité du tokeniseur de la longueur moyenne des jetons vers la queue inférieure de la distribution de la portée source. Un tokeniseur est efficace non seulement parce qu'il compresse les données, mais parce qu'il garantit de manière fiable qu'une fenêtre de jetons fixe contient une quantité suffisante d'historique source.
Limites : Les auteurs déclarent explicitement que leurs résultats isolent un effet de perte réalisable. Ils ne prouvent pas qu'une architecture Transformer spécifique peut toujours apprendre ces prédicteurs optimaux, ni ne traitent pleinement des dynamiques d'optimisation (bien que les résultats empiriques suggèrent que la tokenisation puisse améliorer la vitesse de convergence). Le travail caractérise la performance la meilleure possible étant donné une représentation, plutôt que la performance d'un modèle spécifique entraîné.

En résumé, l'article soutient que pour les prédicteurs à contexte fini, le « contexte effectif » est déterminé par la représentation. La fragmentation peut dégrader les performances en obscurcissant la phase et l'historique, tandis que la tokenisation peut améliorer les performances en étendant l'historique source couvert par une fenêtre fixe, à condition que la distribution de portée du tokeniseur soit favorable.