💬 NLP

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation

Le papier propose X-Token, un cadre de distillation de connaissances par cross-tokenizer guidé par projection qui utilise des matrices de projection parcimonieuses pour surmonter l'incompatibilité des vocabulaires et les limites de l'appariement des tokens dans la distillation basée sur les logits, permettant ainsi aux modèles étudiants d'apprendre efficacement les « connaissances obscures » à partir de modèles enseignants dotés de vocabulaires non correspondants et d'atteindre des performances de pointe.

Auteurs originaux : Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Mingyu Yang, Ali Taghibakhshi, Saurav Muralidharan, Ashwath Aithal, Pavlo Molchanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune élève (le Modèle Étudiant) comment résoudre des problèmes de mathématiques et rédiger des histoires. Vous avez un professeur brillant (le Modèle Enseignant) qui sait tout, mais il y a un piège : ils parlent des langues différentes.

L'élève parle « Llama », où le nombre 201 est un seul mot. Le professeur parle « Qwen », où 201 est décomposé en trois mots distincts : 2, 0 et 1.

Par le passé, essayer d'enseigner à l'élève avec ce professeur était comme essayer d'apparier des chaussettes provenant de deux tiroirs différents où les tailles ne correspondent pas. Si vous tentiez de forcer l'appariement, l'élève se perdait, ou pire, les conseils précieux du professeur étaient totalement ignorés.

Ce papier introduit une nouvelle méthode appelée X-Token pour corriger ce décalage. Voici comment elle fonctionne, décomposée en concepts simples :

1. Le Problème : Le Décalage du « Tiroir à Chaussettes »

Les méthodes précédentes tentaient de résoudre cela en divisant le vocabulaire en deux groupes :

Le Groupe « Commun » : Les mots qui sont exactement identiques dans les deux langues (par exemple, « the », « cat »).
Le Groupe « Non Commun » : Les mots qui ne correspondent pas (par exemple, « 201 » contre « 2-0-1 »).

L'ancienne méthode (appelée GOLD) traitait ces deux groupes différemment. Elle donnait des conseils parfaits pour les mots « Communs » mais des conseils désordonnés et aléatoires pour les mots « Non Communs ».

L'Échec : Si l'élève avait besoin d'apprendre un nombre mathématique critique comme 201, et que ce nombre tombait dans le groupe « Non Commun », l'ancienne méthode nuisait en réalité à l'apprentissage de l'élève. C'est comme si un professeur disait à un élève : « Ne vous inquiétez pas du nombre 201 ; devinez simplement au hasard. » Le papier montre que cela a fait chuter les notes de mathématiques de l'élève, passant d'un respectable 12,89 à un terrible 2,56.

2. La Solution : Le « Traducteur Universel » (Matrice de Projection)

X-Token introduit un outil spécial appelé Matrice de Projection ( $W$ ). Imaginez cela comme un Traducteur Universel ou une Pierre de Rosette qui se situe entre l'élève et le professeur.

Au lieu de forcer l'élève à n'apprendre que les mots qui se ressemblent exactement, ce traducteur dit :

« D'accord, quand le professeur dit '2', '0' et '1', c'est la même chose que le '201' de l'élève. »
Il crée un pont pour que l'élève puisse comprendre la logique complète du professeur, même s'ils décomposent les mots différemment.

3. Deux Styles d'Enseignement Différents (Fonctions de Perte)

Le papier réalise que parfois, le « Traducteur Universel » doit fonctionner de deux manières différentes, selon la situation. Ils ont créé deux modes :

Mode A : La « Fusion Complète » (P-KL)

Quand l'utiliser : Lorsque le professeur décompose des mots critiques (comme les nombres mathématiques) en tout petits morceaux que l'élève ne reconnaît pas du tout.
Comment ça marche : Il abandonne complètement l'idée de mots « Communs » versus « Non Communs ». Il utilise le traducteur pour mapper l'ensemble du cerveau du professeur vers le cerveau de l'élève.
Le Résultat : Il a sauvé les notes de mathématiques ! En utilisant ce mode avec le professeur Qwen, le score de mathématiques de l'élève a bondi de 2,56 (avec l'ancienne méthode) jusqu'à 15,54. Il a même battu un professeur qui parlait la même langue que l'élève.

Mode B : L'« Appariement Détendu » (H-KL)

Quand l'utiliser : Lorsque le professeur et l'élève sont majoritairement d'accord, mais qu'il existe quelques petites différences (comme le professeur disant « Hund » + « reds » pour le « Hundreds » de l'élève).
Comment ça marche : Il maintient la séparation « Commun » versus « Non Commun » mais assouplit les règles. Au lieu d'exiger une correspondance exacte, il dit : « Si le traducteur dit que ces deux-là sont la correspondance la plus proche, considérons-les comme un appariement. »
Le Résultat : Cela a apporté un petit mais constant boost (environ +0,5 point) lorsque le professeur était le modèle Phi-4-mini, qui ne décomposait pas les nombres de manière aussi agressive.

4. Le « Panel d'Experts » (Distillation Multi-Enseignants)

Le papier montre également que vous pouvez utiliser plusieurs enseignants à la fois.

Imaginez que vous avez un professeur Génie des Mathématiques et un professeur Raconteur d'Histoires.
X-Token permet à l'élève d'écouter les deux simultanément.
Le Résultat : Lorsqu'ils ont combiné un professeur axé sur les mathématiques (Phi-4-mini) avec un professeur de Connaissances Générales (Llama-3), l'élève a appris mieux qu'avec un seul professeur. C'est comme un élève ayant un tuteur privé pour les mathématiques et un autre pour l'histoire, puis combinant ces leçons pour devenir un super-élève.

Résumé des Résultats

L'Ancienne Façon : Si les vocabulaires ne correspondaient pas parfaitement, l'élève se perdait et performait mal.
La Façon X-Token : En utilisant un traducteur intelligent et en choisissant le bon style d'enseignement (Fusion Complète vs Appariement Détendu), l'élève a appris efficacement auprès d'enseignants parlant des « langues » différentes.
La Preuve : Sur un test de mathématiques standard (GSM8k), X-Token a amélioré le score de l'élève de 6 fois par rapport à la meilleure méthode précédente lors de l'utilisation d'un enseignant spécifique.

En bref, X-Token est un système intelligent qui cesse d'essayer de forcer deux langues différentes à se ressembler et construit à la place un pont afin que l'élève puisse apprendre des idées du professeur, indépendamment de la façon dont le professeur choisit de les exprimer.

Résumé Technique : X-Token : Distillation de Connaissance Cross-Tokeniser Guidée par Projection

Énoncé du Problème

La Distillation de Connaissance (KD) nécessite généralement un tokenizer partagé entre les modèles enseignant et étudiant, enfermant efficacement les praticiens dans des familles de modèles spécifiques. Cette restriction empêche de tirer parti d'enseignants plus puissants ou spécialisés ayant des vocabulaires incompatibles (par exemple, distiller depuis un modèle Qwen ou Phi vers un étudiant Llama) et entrave la distillation multi-enseignants à travers des familles de tokenizers diverses.

Les méthodes existantes de KD cross-tokeniser se divisent en deux catégories : basées sur les représentations (alignement des états cachés) et basées sur la distribution des logits (opérant sur les probabilités de sortie). Cette dernière est préférée pour l'entraînement continu car elle ne nécessite aucun changement architectural. Cependant, la méthode actuelle de pointe basée sur les logits, GOLD, souffre de deux limitations structurelles critiques lors de la gestion de tokenizers incompatibles :

Échec des Tokens Incommuns : Lorsque les tokenizers fragmentent le texte différemment (par exemple, un enseignant divisant des numéraux à plusieurs chiffres tandis que l'étudiant les regroupe), des tokens critiques tombent dans un sous-ensemble « non apparié ». Ces tokens sont dégradés par un bruit agnostique à l'identité provenant d'un appariement basé sur le rang et supprimés par les gradients du terme KL commun, entraînant des baisses de performance sévères (par exemple, la précision sur GSM8k chutant de 12,89 à 2,56).
Appariement Trop Conservateur : L'égalité stricte de chaînes 1-to-1 exclut des alignements sémantiques valides où les formes de surface diffèrent (par exemple, un token étudiant « Hundreds » correspondant aux tokens enseignant « Hund » + « reds »), laissant des signaux de supervision utiles inexploités.

Méthodologie : X-Token

X-Token résout ces problèmes grâce à un cadre à trois composantes : Alignement de Séquences, une Matrice de Projection ( $W$ ), et des Formulations de Perte Complémentaires.

1. Alignement de Séquences

Pour gérer les longueurs de séquences différentes et les désalignements positionnels, X-Token emploie un alignement de séquences. Les tokens sont regroupés en segments qui se décodent en le même texte sous-jacent. Une fusion par la règle de la chaîne est appliquée au sein de chaque segment pour combiner les probabilités par token en une seule distribution au niveau du segment, créant ainsi des unités alignées pour la distillation.

2. Matrice de Projection ( $W$ )

Une matrice de projection creuse $W \in \mathbb{R}^{|\mathcal{V}_S| \times |\mathcal{V}_T|}$ mappe les probabilités des tokens étudiants dans l'espace du vocabulaire de l'enseignant. Elle est construite de manière déterministe en deux passes :

Passage d'Appariement Exact : Définit $W[s, t] = 1$ pour les tokens ayant des correspondances de chaînes canonisées.
Passage de Règle Multi-Token : Pour les tokens étudiants non appariés, le texte décodé est re-tokenisé par l'enseignant. Le token étudiant est mappé à la séquence résultante de tokens enseignants avec des poids décroissants (par exemple, $\beta=0,9, \gamma=0,1$ ).
La matrice est initialisée à partir des règles du tokenizer et peut être optionnellement affinée pendant l'entraînement.

3. Formulations de Perte Complémentaires

X-Token introduit deux modes de perte, sélectionnés en fonction d'un audit de couverture des tokens critiques (par exemple, les numéraux) dans le vocabulaire étudiant :

P-KL (Projection-KL) : Conçu pour les scénarios où les tokens critiques tombent dans l'ensemble « incommuns » (par exemple, enseignant Qwen). Il supprime entièrement la partition. La distribution étudiante est projetée via $W$ dans l'espace du vocabulaire enseignant, et une divergence KL directe est calculée entre la distribution enseignante et la distribution étudiante projetée. Cela élimine les gradients erronés basés sur le rang et les effets de suppression.
H-KL (Hybrid-KL) : Conçu pour les scénarios où la partition est structurellement solide (par exemple, enseignant Phi-4-mini). Il conserve la structure hybride mais assouplit la définition de l'ensemble « commun ». Au lieu d'une égalité de chaînes stricte, il inclut les paires $(s, t^*)$ où $t^*$ est le token enseignant le mieux classé pour le token étudiant $s$ sous $W$ . Cela capture des alignements quasi-équivalents tout en préservant la supervision plus précise du KL direct sur les paires alignées par identité.

4. Distillation Multi-Enseignants

X-Token s'étend naturellement à plusieurs enseignants en agrégeant les pertes par enseignant. Il emploie un pondération statique (qui a surpassé les schémas adaptatifs dans les expériences) pour combiner les signaux d'enseignants hétérogènes, tirant parti de leurs forces complémentaires (par exemple, raisonnement vs bon sens).

5. Mise à Échelle Dynamique

Pour stabiliser l'entraînement, la perte de distillation est redimensionnée dynamiquement à chaque étape afin de correspondre à l'ampleur de la perte d'entropie croisée, empêchant ainsi l'instabilité d'optimisation causée par des échelles de perte variables.

Contributions Clés

Alignement Cross-Token Déterministe : Introduction d'une matrice de projection creuse $W$ construite via des règles de chaînes et un décodage multi-token, permettant un alignement de vocabulaire direct sans composants auxiliaires entraînables.
Formulations de Perte Duales : La proposition de P-KL et H-KL, qui s'adaptent à différents régimes de mismatch de tokenizers. P-KL récupère le signal pour les tokens non appariés critiques, tandis que H-KL affine l'appariement pour les tokens bien alignés.
Capacité Multi-Enseignants : Démonstration que X-Token permet une distillation efficace à partir d'enseignants hétérogènes, avec des résultats montrant que les combinaisons d'enseignants complémentaires produisent des performances supérieures aux paires à enseignant unique ou homogènes.
Alignement de Séquences Robuste : Une méthode d'alignement de séquences évolutive basée sur la programmation dynamique qui garantit des unités cohérentes avec le texte pour la distillation.

Résultats Expérimentaux

Les expériences ont été menées en utilisant Llama-3.2-1B comme étudiant et Qwen3-4B, Phi-4-mini-Instruct, et Llama-3.2-3B comme enseignants.

Performance vs État de l'Art : X-Token surpasse l'état de l'art actuel (GOLD) de +3,82 points en moyenne lors de l'utilisation d'un enseignant Qwen3-4B (avec une amélioration de 6x sur GSM8k, passant de 2,56 à 15,54) et de +0,5 point avec un enseignant Phi-4-mini.
Supériorité Cross-Famille : Dans le régime Qwen, X-Token (P-KL) a surpassé la KD à même tokenizer depuis un enseignant Llama-3.2-3B plus faible, démontrant que la distillation cross-tokeniser peut dépasser les limites de la même famille lorsque la formulation de perte est correcte.
Gains Multi-Enseignants : Une configuration à deux enseignants (Phi-4-mini + Llama-3.2-3B) a amélioré la distillation à enseignant unique de +1,3 point, soulignant la valeur de la combinaison de forces d'enseignants diverses.
Résultats d'Ablation :
- Le choix de la perte est critique : P-KL échoue sur Phi-4-mini, et H-KL échoue sur Qwen3-4B.
- L'apprentissage conjoint de la matrice de projection $W$ produit des gains modestes mais constants par rapport à une initialisation figée basée sur des règles.
- La pondération statique des enseignants a surpassé les schémas adaptatifs (basés sur l'entropie ou la confiance).

Importance

L'article affirme que X-Token démontre que un alignement soigneux à la fois au niveau de la séquence et du vocabulaire, combiné à une conception de perte adaptative, est la clé pour débloquer le plein potentiel de la distillation de connaissance cross-tokeniser. En abordant les modes d'échec spécifiques des méthodes basées sur la partition, X-Token permet aux praticiens de tirer parti d'enseignants plus puissants, spécialisés ou diversifiés sans être contraints par la compatibilité des tokenizers, brisant efficacement le « verrouillage du tokenizer » qui limite actuellement la mise à l'échelle et la spécialisation des modèles.