Résumé Technique : ReconSpan : Une Tokenisation Latente Adaptative Guidée par la Reconstruction

Énoncé du Problème

Les modèles de langage conventionnels s'appuient sur des tokeniseurs de sous-mots fixes (par exemple, BPE, WordPiece) qui déterminent les frontières de jetons en fonction de la fréquence statistique au niveau du corpus avant l'exécution du modèle. Cette granularité fixe ne parvient pas à s'adapter au contenu spécifique ou à la difficulté de l'entrée, ce qui peut potentiellement conduire à une représentation inefficace des informations fines ou à une longueur de séquence inutile. Bien que les entrées de type octet (byte) ou caractère préservent les détails fins, elles entraînent des séquences substantiellement plus longues, augmentant ainsi les coûts de calcul. La tokenisation latente adaptative vise à regrouper les unités voisines en segments (spans) dépendants de l'entrée, représentant chaque segment par un jeton latent continu unique. Cependant, les méthodes existantes pour déterminer ces frontières de segments reposent souvent sur des positions fixes, l'entropie prédictive ou des routeurs appris faisant partie de l'objectif de modélisation du langage, manquant d'un mécanisme direct pour garantir que les représentations latentes résultantes sont suffisantes pour reconstruire le texte original.

Méthodologie

Le papier introduit ReconSpan, une méthode de tokenisation latente adaptative qui divise le texte en blocs basés sur la fidélité de reconstruction. Le principe central est qu'un bloc doit être aussi long qu'un décodeur inverse peut réussir à reconstruire à partir d'un code de préfixe contextuel unique.

Architecture

ReconSpan utilise deux composants appris :

1. Encodeur de Préfixe ($E$) : Un modèle causal (par exemple, un Transformer) qui mappe n'importe quelle séquence de jetons $x_{1:t}$ vers un code continu unique $c_t$.
2. Décodeur Inverse ($D$) : Un modèle qui prend un code $c_t$ et tente de reconstruire les jetons précédents en ordre inverse ($x_t, x_{t-1}, \dots$).

L'utilisation d'un décodeur inverse est critique : le point où le décodeur échoue pour la première fois à prédire le jeton correct sert de mesure directe de la distance vers laquelle ce code unique peut « atteindre ».

Algorithme de Découpage (Chunking)

Le processus de tokenisation se produit au moment de l'inférence en utilisant un algorithme gourmand (greedy) avec force du professeur (teacher-forced) :

1. L'encodeur génère les codes de préfixe pour toute la séquence d'entrée en un seul passage.
2. En partant de la position finale, le décodeur inverse tente de reconstruire les jetons dans l'ordre inverse.
3. Le processus continue jusqu'à ce qu'une règle d'arrêt soit déclenchée. Le papier définit deux familles de règles d'arrêt :
   • Failure($m$) : S'arrête lorsque le $m$-ième jeton est reconstruit de manière incorrecte.
   • Logit-gap($\tau$) : S'arrête lorsque l'écart cumulé entre le logit prédit du jeton correct et le logit maximum dépasse un seuil $\tau$.
4. Le suffixe reconstruit avec succès devient un bloc (chunk). Le code de préfixe correspondant à la limite de fin du bloc est conservé comme le jeton latent pour ce bloc.
5. Le processus se répète à partir de la première position non reconstruite jusqu'à ce que l'ensemble du texte soit couvert.

Entraînement

Le modèle est entraîné uniquement sur un objectif de reconstruction d'auto-encodeur. L'encodeur et le décodeur sont entraînés conjointement (via un processus en deux étapes impliquant une phase de pré-entraînement de l'encodeur gelé). L'allocation des segments n'est pas explicitement ciblée par un objectif de longueur ; elle émerge plutôt de la capacité du décodeur à reconstruire. Cela permet un contrôle post-entraînement de la granularité en ajustant simplement le seuil de la règle d'arrêt sans réentraîner le modèle.

Contributions Clés

1. La Fidélité de Reconstruction comme Critère d'Allocation : Le papier propose d'utiliser la portée de reconstruction inverse comme le signal principal pour déterminer les frontières de jetons adaptatives, se distinguant des positions fixes, de l'entropie ou de la similitude sémantique.
2. Contrôle de la Granularité Post-Entraînement : L'auteur démontre qu'un seul auto-encodeur entraîné peut supporter plusieurs longueurs moyennes de blocs (allant de 6,5 à 12,2 jetons) en relaxant les critères d'arrêt, offrant un compromis flexible entre la longueur de la séquence et la qualité de la reconstruction.
3. Caractérisation de l'Information Latente : À travers des expériences de lecture directe (readout), le papier sépare l'information conservée par l'auto-encodeur de l'information accessible aux lecteurs en aval.

Résultats

Propriétés de la Tokenisation

• Qualité de Reconstruction : Les frontières de ReconSpan surpassent les frontières aléatoires de longueur équivalente dans les tâches de reconstruction natives. Par exemple, sur WikiText, ReconSpan avec une longueur moyenne de bloc de 6,5 a atteint une perplexité de 15,95, contre 20,03 pour les frontières aléatoires.
• Allocation de Segments Adaptative : La méthode produit des longueurs de blocs variables, des blocs plus courts étant assignés aux segments difficiles et des blocs plus longs aux segments plus faciles. Cependant, une proportion significative de blocs sous des règles strictes (Failure(1)) sont des jetons uniques (28,1 % des blocs, couvrant seulement 4,3 % du texte), ce que l'auteur note comme un artefact mécanique du processus de décodage inverse.
• Géométrie Sémantique : Les codes latents bruts ne présentent pas de fort regroupement sémantique (faible performance sur les benchmarks MTEB par rapport à SONAR), indiquant que les codes sont optimisés pour la reconstruction plutôt que pour la similitude sémantique.

Lecture en Aval (Downstream Readout)

• Sujet vs Détail : Les modèles de langage en aval (lecteurs) entraînés à prédire le texte directement à partir des jetons latents peuvent récupérer de manière fiable l'information thématique (par exemple, la précision de classification AG News comparable au texte brut) mais peinent à extraire les détails lexicaux exacts (par exemple, la prédiction de mots LAMBADA reste bien en dessous de la ligne de base de reconstruction aller-retour).
• Adaptation à la Tâche : Le fine-tuning supervisé du lecteur sur des tâches spécifiques réduit l'écart entre la lecture directe et la reconstruction native, particulièrement pour les tâches de recherche comme HotpotQA, bien que l'extraction de détails exacts reste une limitation.
• Robustesse : Les lecteurs entraînés sur une granularité (ex: Failure(1)) restent fonctionnels lorsqu'ils sont évalués sur des granularités plus grossières (ex: Failure(2)) sans réentraînement.

Signification et Revendications

Le papier affirme que ReconSpan établit la fidélité de reconstruction comme un critère viable et contrôlable pour la tokenisation latente adaptative. Sa principale signification réside dans :

• La démonstration qu'un seul auto-encodeur peut générer des jetons latents de longueur variable qui préservent plus de texte que des frontières aléatoires à longueurs de séquences égales.
• La mise en évidence d'un écart entre l'information retenue par l'auto-encodeur (qui est suffisante pour une reconstruction de haute qualité) et l'information accessible aux lecteurs en aval (qui est forte pour la sémantique mais faible pour les détails exacts).
• La fourniture d'un mécanisme pour l'allocation dépendante de l'entrée et le contrôle post-entraînement de la granularité des jetons sans réentraîner le modèle de base.

L'auteur reste modeste quant aux limitations actuelles, reconnaissant que la « lecture de détails exacts » est la limitation centrale du système actuel et que les frontières ne s'alignent pas nécessairement sur les structures linguistiques (syntaxe ou discours) sans investigation supplémentaire. Le travail est présenté comme une étape vers la compréhension de la manière d'allouer dynamiquement la capacité de représentation en fonction de la difficulté du contenu de l'entrée.