💬 NLP

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

Cet article introduit la marginalisation par préfixe d'octets (Byte-Prefix Marginalization, BPM), une nouvelle méthode de distillation on-policy cross-tokenizer qui réexprime les distributions de l'enseignant sur un espace d'octets partagé afin de préserver la masse de probabilité et d'améliorer les performances du modèle étudiant sur les benchmarks de mathématiques et de programmation.

Auteurs originaux : Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où des cerveaux d'IA géants et brillants sont construits par différents architectes, chacun utilisant son propre langage unique pour penser. Un architecte pourrait parler en phrases longues et fluides, tandis qu'un autre découpe ses pensées en syllabes minuscules et rapides. C'est la réalité des "Large Language Models" (LLM) modernes. Ils sont incroyablement intelligents, mais ils parlent souvent des "langages de tokens" différents. Un token est simplement un morceau de texte — comme un mot, une partie d'un mot, ou même une seule lettre — que l'ordinateur utilise pour traiter l'information.

Maintenant, imaginez que vous vouliez construire un étudiant IA plus petit, plus rapide et moins coûteux qui puisse apprendre de ces géants enseignants. C'est ce qu'on appelle la "distillation". Habituellement, il suffirait de faire copier les réponses du professeur par l'étudiant. Mais voici le problème : si le professeur et l'étudiant parlent des langages de tokens différents, un simple copier-coller est impossible. C'est comme essayer d'enseigner à un étudiant qui ne parle qu'anglais en lui remettant un manuel entièrement écrit dans un code d'emojis et de symboles. L'étudiant voit les symboles, mais il ne sait pas quel symbole correspond à quel mot anglais. Si vous essayez de forcer une correspondance, vous pourriez accidentellement apprendre à l'étudiant qu'une image de chat signifie "pomme", ou pire, vous pourriez jeter la moitié de la sagesse du professeur parce qu'elle ne rentre pas dans son dictionnaire.

Ce document s'attaque précisément à ce casse-tête. Les chercheurs voulaient savoir : pouvons-nous enseigner à un étudiant IA comment apprendre d'un professeur qui parle un langage de "tokens" complètement différent, sans perdre la brillance du professeur ni lui enseigner accidentellement des absurdités ?

La Solution : Le Traducteur "Byte-Prefix"

Les auteurs, une équipe de KwaiKAT et de l'Université des Sciences et Technologies de Chine, ont introduit une nouvelle méthode ingénieuse appelée Byte-Prefix Marginalization (BPM). Pour comprendre comment cela fonctionne, délaissons un instant les mathématiques complexes et réfléchissons à la manière dont les ordinateurs perçoivent réellement le texte.

Même si différents modèles d'IA découpent le texte en "tokens" (morceaux) de tailles différentes, ils sont tous d'accord sur les octets (bytes) sous-jacents. Les octets sont les blocs de construction minuscules et invisibles du texte — les 0 et les 1 bruts qui constituent chaque lettre, espace et signe de ponctuation. Que l'IA voie le mot "incroyable" comme un seul énorme token, ou qu'elle le décompose en "in", "cro", "y" et "able", tous s'accordent sur le fait que les octets de "in" viennent d'abord, suivis des octets de "cro", et ainsi de suite.

Les auteurs ont réalisé qu'au lieu d'essayer de faire correspondre des tokens désordonnés et de tailles différentes, ils pouvaient d'abord traduire la sagesse du professeur dans ce "langage d'octets" partagé. Voici comment fonctionne le BPM, étape par étape :

La Carte des Octets (Byte Map) : Imaginez que la prédiction suivante du professeur est un nuage de probabilités. Le professeur dit : "Il y a 30 % de chances que le mot suivant soit 'incroyable'."
La Correspondance la Plus Longue (Longest Match) : Le tokenizer de l'étudiant examine les octets de "incroyable" et demande : "Quel est le plus long morceau de mon dictionnaire qui correspond au début de ces octets ?" Peut-être que l'étudiant possède un token pour "in" et un autre pour "croya".
Le Transfert : Le BPM prend les 30 % de probabilité du professeur pour "incroyable" et les transmet au token "in" de l'étudiant (ou "croya", selon la correspondance la plus longue). C'est comme dire : "Si le professeur pense que 'incroyable' est probable, alors l'étudiant doit absolument penser que 'in' est probable, car 'in' est la première partie de ce mot."
Le Filet de Sécurité : Et si le professeur dit quelque chose que le dictionnaire de l'étudiant ne peut même pas commencer ? Le BPM ne se contente pas de jeter cette probabilité. Il la place dans un compartiment spécial appelé "résiduel", garantissant que 100 % de la masse de probabilité du professeur est préservée. Rien n'est perdu.

Cette méthode crée une cible parfaite, "préservant la masse". Elle garantit que l'étudiant apprend exactement ce que le professeur avait prévu, même s'ils parlent des langues différentes, tant qu'ils sont d'accord sur les octets.

Le Piège de l'Espace Blanc et sa Solution

Cependant, les chercheurs ont découvert un problème étrange et complexe. Lorsque le professeur et l'étudiant écrivent du code, il arrive que le prochain "token" ne soit qu'un ensemble d'espaces ou de tabulations (indentation). Comme les différents tokenizers découpent les espaces différemment, le professeur peut dire : "J'ajoute trois espaces", tandis que le tokenizer de l'étudiant voit cela comme "J'ajoute un gros token d'espace".

Si l'étudiant essaie de copier la probabilité exacte de l'espace de l'enseignant, il s'embrouille. Il commence à apprendre le "style de découpage" spécifique de l'enseignant pour les espaces plutôt que la logique réelle du code. Les auteurs ont constaté que, dans certains cas, cette confusion a provoqué l'effondrement total du code de l'étudiant — sa capacité à écrire des programmes fonctionnels est passée de 49 % à un désastreux 9 %.

Pour corriger cela, ils ont ajouté un simple "masque d'espace blanc" (whitespace mask). C'est comme un arbitre qui dit : "Hé, si la prochaine étape n'est que des espaces, n'essaie pas de copier la probabilité exacte du token d'espace de l'enseignant. Ignore simplement cette partie de la leçon." Cette petite règle a sauvé la mise, empêchant l'effondrement et permettant à l'étudiant de se concentrer sur la logique réelle du code.

Les Résultats : Des Étudiants plus Intelligents, plus Rapides

L'équipe a testé cette méthode en prenant trois professeurs d'IA géants (Qwen3-32B, GLM-Z1-9B et MiniMax-M2.7) et en essayant de leur enseigner à un seul modèle étudiant plus petit (Qwen3.5-2B). Ces professeurs avaient des langages de tokens très différents, ce qui rendait la tâche difficile.

Ils ont comparé leur nouvelle méthode BPM aux autres méthodes existantes de gestion des différents tokenizers. Les résultats sont clairs :

Meilleurs Scores : Sur six tests rigoureux de mathématiques et de codage, les étudiants entraînés avec BPM ont systématiquement surpassé les autres méthodes. Ils ont amélioré le score moyen de 3,7 à 6,6 points par rapport aux tentatives précédentes les plus solides.
Réduction de l'Écart : La méthode a réussi à combler 33,5 % à 43,9 % de l'écart de performance entre le minuscule étudiant et le géant professeur. C'est une part immense de la puissance cérébrale du professeur transférée à l'étudiant.
Robustesse : La méthode a bien fonctionné même lorsque le professeur et l'étudiant étaient très différents (comme le professeur MiniMax), prouvant que l'approche par "préfixe d'octets" est un traducteur universel.

Pourquoi cela compte

Ce document suggère que nous n'avons pas besoin de forcer tous les modèles d'IA à utiliser le même dictionnaire pour apprendre les uns des autres. En utilisant le langage partagé des "octets" comme un pont, nous pouvons mélanger et assortir les meilleurs professeurs de différentes familles et les enseigner à des étudiants efficaces sans perdre de connaissances. C'est un peu comme réaliser que, bien que tout le monde parle des dialectes différents, tous sont d'accord sur l'alphabet. Si vous apprenez à l'étudiant à lire l'alphabet d'abord, vous pouvez lui enseigner n'importe quoi, peu importe qui est le professeur.

Les auteurs ont démontré que cette approche n'est pas seulement une idée théorique, mais un outil pratique qui fonctionne aujourd'hui, aidant à créer des modèles d'IA plus petits, plus rapides et plus intelligents capables de résoudre des problèmes complexes de mathématiques et de codage sans avoir besoin de la puissance de calcul massive de leurs géants professeurs.

Résumé Technique : Distillation On-Policy Cross-Tokenizer via la Marginalisation de Préfixe d'Octets

1. Énoncé du Problème

Les modèles de langage en accès ouvert issus de différentes familles présentent des forces complémentaires en matière de raisonnement, de codage et d'utilisation d'outils. Consolider ces capacités dans un seul modèle étudiant compact via la Distillation On-Policy (OPD) est souhaitable pour l'efficacité et la simplicité de déploiement. Cependant, l'OPD dense standard suppose un tokenizer partagé entre l'enseignant et l'étudiant. Lorsque les tokenizers diffèrent (tokenizers hétérogènes), les méthodes de distillation cross-tokenizer existantes ne parviennent pas à satisfaire trois exigences critiques pour une supervision de l'ensemble du vocabulaire :

Complétude du Vocabulaire (D1) : La distribution cible doit être bien définie pour chaque token du vocabulaire de l'étudiant.
Alignement au Niveau des Octets (D2) : La masse de probabilité de l'enseignant doit être mappée vers les tokens de l'étudiant en se basant sur la correspondance de leurs représentations d'octets sous-jacentes, et non simplement sur les IDs de tokens ou les rangs de probabilité.
Préservation de la Masse (D3) : La transformation doit préserver la masse de probabilité totale de l'enseignant (sommant à un), y compris toute masse résiduelle qui ne peut être mappée à un token spécifique de l'étudiant.

Les méthodes existantes violent ces propriétés : les approches par ensemble de candidats rejettent la masse non appariée (violant D1), les méthodes de correspondance de rangs assignent de la masse à des tokens ayant un contenu d'octets sans rapport (violant D2), et la distillation au niveau de la séquence évite entièrement la mise en correspondance de la distribution de l'ensemble du vocabulaire.

2. Méthodologie : Marginalisation de Préfixe d'Octets (BPM)

Les auteurs proposent la Marginalisation de Préfixe d'Octets (BPM), qui réexprime la distribution du prochain token de l'enseignant sur le vocabulaire de l'étudiant au sein d'un espace d'octets partagé. Puisque différents tokenizers décodent vers la même séquence d'octets, la BPM exploite cette représentation partagée pour construire une cible exacte.

Mécanisme Central

La BPM repose sur le principe qu'une séquence d'octets d'un token de l'enseignant peut être segmentée de manière gloutonne par le tokenizer de l'étudiant. La méthode procède comme suit :

Mapping : Pour chaque token de l'enseignant $w$ , l'algorithme identifie le plus long token de l'étudiant $u$ tel que la représentation d'octets de $u$ soit un préfixe de la représentation d'octets de $w$ .
Agrégation : La masse de probabilité de tous les tokens de l'enseignant mappant vers le même token de l'étudiant est agrégée.
Gestion du Résidu : La masse des tokens de l'enseignant qui ne contiennent pas un préfixe de token complet de l'étudiant est assignée à une catégorie résiduelle explicite ( $\emptyset$ ). Cela assure la préservation de la masse (D3) et la complétude du vocabulaire (D1).
Correction de l'Étendue (Spanning Correction) : Dans les cas où un seul token de l'étudiant couvre plusieurs tokens de l'enseignant (par exemple, un token de l'étudiant couvrant une séquence de tokens de l'enseignant), la BPM utilise une borne inférieure factorisée en chaîne dérivée du chemin de segmentation réalisé par l'enseignant pour assigner la masse, empêchant l'étudiant d'apprendre à éviter la clôture des segments de raisonnement.

Objectif d'Entraînement

L'étudiant est entraîné sur ses propres trajectoires générées en minimisant une divergence de Jensen-Shannon généralisée ( $D_\beta$ ) entre la distribution de l'étudiant et la cible transformée.

Gestion du Token d'Arrêt : Un mécanisme de "pont de stop" (stop bridge) est introduit pour gérer les signaux de terminaison, garantissant que l'étudiant apprend le comportement d'arrêt de l'enseignant même si le token de stop réalisé diffère du signal EOS déclaré.
Atténuation de l'Effondrement des Espaces Blancs : Les auteurs identifient un mode de défaillance où la supervision exacte par octets sur les lignes composées uniquement d'espaces blancs (fréquentes dans la génération de code) transfère le bruit de segmentation spécifique au tokenizer plutôt que le contenu sémantique, entraînant des erreurs d'indentation et un effondrement du code. Pour y remédier, la BPM emploie un masque précalculé qui exclut les positions cibles composées uniquement d'espaces blancs de la fonction de perte.

3. Contributions Clés

Supervision Exacte de l'Ensemble du Vocabulaire : La BPM est la première méthode à fournir une cible exacte, préservant la masse et alignée sur les octets, pour l'OPD cross-tokenizer sur l'ensemble du vocabulaire. Les auteurs prouvent que la cible récupère exactement la marginale de préfixe d'octets induite par l'enseignant lorsque le préfixe d'octets ne couvre pas plusieurs tokens de l'enseignant — une condition satisfaite dans plus de 99 % des positions d'entraînement.
Évaluation Systématique : L'article présente une évaluation rigoureuse sur trois paires enseignant-étudiant distinctes (Qwen3-32B, GLM-Z1-9B, et MiniMax-M2.7 comme enseignants ; Qwen3.5-2B comme étudiant), couvrant des degrés variés de distance entre les tokenizers.
Identification et Correction de l'Effondrement des Espaces Blancs : Ce travail met en lumière un mode de défaillance spécifique à la distillation exacte par octets pour la génération de code (où l'indentation est corrompue par le bruit du tokenizer) et fournit une solution de masquage simple et efficace.

4. Résultats Expérimentaux

Les expériences ont été menées sur six benchmarks : trois en mathématiques (AIME 2026, HMMT 2026, MATH-500) et trois en codage (HumanEval+, LiveCodeBench, TACO).

Gains de Performance : La BPM a systématiquement surpassé les bases de comparaison cross-tokenizer actuelles (SimCT, ULD, GOLD) ainsi que la référence SeqKD entraînée séparément.
- Sur les trois paires enseignant-étudiant, la BPM a amélioré l'moyenne @8 (avg@8) sur les six benchmarks de 3,7 à 6,6 points par rapport aux bases les plus fortes.
- La BPM a comblé 33,5 % à 43,9 % de l'écart de performance entre l'étudiant et l'enseignant, contre 19,9–26,6 % pour les bases les plus performantes.
Robustesse : Les améliorations ont été plus marquées sur les benchmarks de concours (AIME, HMMT) qui sont postérieurs aux dates de coupure d'entraînement des enseignants.
Proximité Distributionnelle : Alors que certaines bases de comparaison semblaient plus "proches" de l'enseignant en termes de prédictibilité (en raison d'un effondrement dans la répétition), la BPM a démontré une fidélité supérieure pour préserver la capacité de l'étudiant à générer du texte semblable à celui de l'enseignant sans dégénérer.
Génération de Code : Sans le masque d'espaces blancs, la version non masquée a subi une chute catastrophique des taux de réussite du code (par exemple, de 49 % à 9 % dans un cas), due aux erreurs d'indentation. La version avec masque a maintenu une haute performance et zéro erreur d'indentation au niveau des blocs.

5. Signification et Revendications

L'article affirme que la BPM établit un nouveau standard pour la distillation cross-tokenizer en résolvant le problème fondamental de désalignement par la marginalisation au niveau des octets.

Rigueur Théorique : La méthode fournit une solution mathématiquement exacte pour la vaste majorité des positions d'entraînement, préservant la masse de probabilité de l'enseignant sans rejeter d'information ni désaligner le contenu.
Impact Pratique : En permettant la consolidation de modèles divers et performants dans un seul étudiant efficace sans nécessiter de tokenizers partagés, la BPM facilite un déploiement de modèles plus flexible et capable.
Limites : Les auteurs notent modestement que la BPM rejette les signaux de gradient pour les positions n'atteignant pas un point de synchronisation (moins de 1 % des positions) et que le masque d'espaces blancs, bien qu'efficace, retient la supervision sur environ 3,5 % des lignes de code alignées. Ils reconnaissent également que la qualité des données limite l'étendue des gains de performance réalisables.

En résumé, l'article soutient que la fidélité dans la distillation doit être appliquée avec soin : l'alignement exact par octets est essentiel pour le contenu, mais doit être écarté pour les régions de blancs uniquement afin d'éviter le transfert d'artefacts spécifiques au tokenizer.