🤖 machine learning

Breaking the Tokenizer Barrier: On-Policy Distillation across Model Families

Cet article introduit un algorithme de correspondance de jetons précis qui permet à la distillation on-policy de fonctionner entre différentes familles de modèles dotées de tokeniseurs distincts, surmontant ainsi les limitations précédentes et démontrant une efficacité de calcul nettement améliorée par rapport aux méthodes cross-tokenizer existantes.

Auteurs originaux : Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Niu, Han Xiao, Dongyi Liu, Zelong Wang, Dihong Gong, Yasheng Wang, Jia Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Deux Experts Parlant des Langues Différentes

Imaginez que vous avez un Enseignant brillant (un grand modèle d'IA) qui est un expert pour résoudre des problèmes de mathématiques. Vous avez aussi un Étudiant (un plus petit modèle d'IA) qui veut apprendre de l'Enseignant.

Par le passé, pour que l'Étudiant apprenne efficacement de l'Enseignant, ils devaient parler exactement la même « langue ». En termes d'IA, cela signifie qu'ils devaient utiliser le même Tokenizer (découpeur de jetons).

Qu'est-ce qu'un Tokenizer ? Voyez cela comme un dictionnaire qui divise les phrases en petits morceaux (tokens).
- Le Dictionnaire de l'Enseignant : Pourrait diviser le mot « courant » en deux morceaux : cour + ant.
- Le Dictionnaire de l'Étudiant : Pourrait garder « courant » comme un seul morceau : courant.

Si l'Enseignant dit : « Tu as très bien réussi la partie cour », l'Étudiant (qui ne voit courant que comme un seul bloc) est confus. Il ne sait pas quelle partie de son morceau unique l'Enseignant est en train de féliciter. Ce décalage signifiait que la puissante « Distillation On-Policy » (une méthode d'enseignement de haute technologie où l'étudiant apprend pendant qu'il s'exerce) ne pouvait se produire qu'entre des modèles qui étaient déjà de la même famille et partageaient le même dictionnaire.

La Solution : Un Traducteur Intelligent

Ce document présente une nouvelle méthode appelée Cross-Tokenizer On-Policy Distillation. Les auteurs ont construit un « Traducteur Intelligent » qui permet à l'Enseignant et à l'Étudiant d'apprendre l'un de l'autre même s'ils utilisent des dictionnaires complètement différents.

Voici comment leur système fonctionne, étape par étape :

1. La Danse des « Dual-Pointers » (Trouver la correspondance)

Imaginez que l'Enseignant et l'Étudiant lisent tous deux la même histoire, mais que l'Enseignant la lit par courtes phrases, tandis que l'Étudiant la lit par longues phrases.

Les auteurs ont créé un algorithme (appelé Dual-Pointer Chunk Alignment) qui agit comme deux personnes marchant côte à côte.
Une personne pointe les morceaux de l'Enseignant, l'autre pointe ceux de l'Étudiant.
Ils avancent leurs doigts jusqu'à trouver un point où le sens du texte correspond parfaitement, même si le nombre de mots est différent.
Le Résultat : Ils identifient des « Morceaux Synchronisés ». Par exemple, ils réalisent que les trois petits mots de l'Enseignant (1, 2, 0) sont exactement les mêmes que le grand mot de l'Étudiant (120).

2. L'« Attribution de Crédit » (Partager les éloges)

Une fois qu'ils ont trouvé un morceau correspondant, ils doivent décider comment partager le retour de l'Enseignant.

Le Problème : L'Enseignant a donné un score pour trois petits mots. L'Étudiant n'a qu'un seul grand mot. Comment diviser ce score ?
La Solution : Le document utilise un « Prior Sémantique » (une façon sophistiquée de dire « ce que l'Étudiant pensait déjà »).
- Si l'Étudiant était déjà assez confiant concernant le mot 120, il reçoit une part plus petite des éloges de l'Enseignant.
- Si l'Étudiant était confus ou surpris par 120, il reçoit une part plus grande des éloges pour l'aider à apprendre plus vite.
Cela garantit que l'Étudiant apprend les bonnes leçons sans perdre sa propre façon unique de penser.

Pourquoi est-ce une Grande Chose (Les Résultats)

Les auteurs ont testé cela en enseignant à un modèle « Llama » (l'Étudiant) en utilisant un modèle « Qwen » (l'Enseignant). Ce sont deux familles d'IA très différentes avec des dictionnaires différents.

Cela fonctionne mieux : L'Étudiant a appris beaucoup plus vite et est devenu plus intelligent en mathématiques et en codage que s'il s'était contenté d'essayer de mémoriser les réponses de l'Enseignant (l'ancienne méthode).
Cela économise une Énergie Massive : C'est la partie la plus surprenante.
- L'Ancienne Méthode (SFT) : Pour atteindre le même niveau d'intelligence, l'Étudiant aurait eu besoin de lire 480 000 exemples supplémentaires.
- La Nouvelle Méthode (OPD) : L'Étudiant n'avait besoin que de 20 000 exemples pour atteindre le même niveau.
- L'Analogie : C'est la différence entre essayer d'apprendre une langue en lisant un dictionnaire 10 fois et avoir une conversation avec un locuteur natif qui corrige vos erreurs en temps réel. La conversation (OPD) est beaucoup plus efficace.

L'Essentiel à Retenir

Ce document brise un « mur » qui isolait les modèles d'IA. Auparavant, vous ne pouviez enseigner à un étudiant que s'il parlait exactement le même « langage de tokens » que l'enseignant. Désormais, grâce à ce nouveau « Traducteur Intelligent », nous pouvons coupler n'importe quelle IA puissante avec n'importe quelle petite IA, quel que soit leur découpage des mots, et transférer les connaissances efficacement.

Les auteurs ont découvert que cette méthode est non seulement possible, mais qu'elle est nettement moins coûteuse et plus rapide que les méthodes précédentes, ouvrant la porte à une plus grande variété de modèles d'IA capables d'apprendre les uns des autres.

Résumé Technique : Briser la barrière du tokenizer : La distillation on-policy entre familles de modèles

1. Énoncé du problème

La distillation on-policy (OPD) est apparue comme une technique hautement efficace pour le post-entraînement des grands modèles de langage (LLM), permettant le transfert de connaissances de modèles « enseignants » experts vers des modèles « étudiants » en exploitant des signaux de supervision denses au niveau du jeton (log-probabilités) sur les propres trajectoires générées par l'étudiant. Cependant, les méthodes d'OPD existantes sont strictement limitées à la distillation intra-famille, où l'enseignant et l'étudiant doivent partager un tokenizer identique.

Lorsqu'on tente une distillation cross-tokenizer (par exemple, entre différentes familles de modèles comme Qwen et Llama), une barrière fondamentale surgit : le désalignement des vocabulaires. Les différences de taille de vocabulaire, de préférences d'encodage et de gestion des caractères spéciaux signifient que les log-probabilités brutes de l'enseignant ne peuvent pas être directement mappées sur les jetons de l'étudiant. Les pratiques courantes dans les scénarios cross-tokenizer ont recours au fine-tuning supervisé (SFT) sur les réponses générées par l'enseignant. Cette approche ne parvient pas à capturer la connaissance riche et dense contenue dans la distribution de probabilité de l'enseignant, traitant la sortie de l'enseignant simplement comme du texte statique plutôt que comme un signal probabiliste. De plus, les méthodes d'alignement cross-tokenizer existantes sont principalement conçues pour la distillation offline (off-policy) et ne peuvent pas résoudre efficacement le problème de propagation du signal au niveau du jeton inhérent à l'OPD.

2. Méthodologie

Les auteurs proposent un cadre pour la Distillation On-Policy Cross-Tokenizer qui comble l'écart de vocabulaire sans nécessiter de tokenizers partagés ni de modification des architectures internes des modèles. La méthode se compose de deux composantes clés :

A. Alignement de blocs adaptatif (Dual-Pointer Chunk Alignment - DPCA)

Pour aligner les séquences générées par différents tokenizers, les auteurs introduisent un algorithme déterministe qui identifie des blocs synchronisés minimaux.

Mécanisme : L'algorithme utilise les propriétés déterministes et monotones de la fonction de détokenisation ( $D$ ). Il emploie une stratégie à double pointeur ( $p_S$ pour l'étudiant, $p_T$ pour l'enseignant) pour trouver les plus petits incréments de jetons tels que les préfixes de texte décodés correspondent : $D(y^S_{1:i}) = D(y^T_{1:j})$ .
Stratégie gloutonne : Les pointeurs avancent en fonction de la longueur des chaînes décodées. Si le fragment décodé de l'étudiant est plus court que celui de l'enseignant, le pointeur de l'étudiant avance, et vice versa.
Garantie théorique : L'algorithme garantit la complétude (identification de tous les points de synchronisation) et la minimalité (garantissant que les blocs ne peuvent pas être subdivisés davantage). Cela garantit que les signaux de supervision denses sont localisés sur les plus petits clusters de jetons possibles, évitant l'ambiguïté du signal sur de grands blocs agrégés.

B. Attribution de crédit au niveau du bloc via le principe sémantique

Une fois les séquences partitionnées en blocs synchronisés, les signaux de supervision de l'enseignant doivent être projetés sur les jetons de l'étudiant.

Appariement de probabilité jointe : La méthode suppose que la probabilité jointe de générer un bloc synchronisé (représentant le même texte sous-jacent) doit être équivalente sous les deux distributions. Cela implique que la somme des log-probabilités au sein d'un bloc doit être égale.
Optimisation avec priorité sémantique : Pour distribuer la log-vraisemblance cible de l'enseignant ( $L^{(c)}_T$ ) à travers les jetons de l'étudiant ( $s_c$ ) tout en préservant la structure sémantique interne de l'étudiant, les auteurs résolvent un problème d'optimisation sous contrainte. Ils recherchent une distribution cible qui maintient un alignement directionnel maximal avec la distribution a priori de l'étudiant ( $p$ ).
Solution en forme fermée : Les log-probabilités cibles résultantes ( $\log q_i$ ) sont une version linéairement mise à l'échelle des log-probabilités a priori de l'étudiant ( $\log p_i$ ), mises à l'échelle par le ratio des log-vraisemblances au niveau du bloc :
$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$
Cela garantit que les jetons que l'étudiant jugeait initialement « surprenants » (probabilité plus faible) reçoivent une part proportionnellement plus grande du signal d'avantage, préservant ainsi la structure sémantique relative au sein du bloc.

C. Objectif d'entraînement

Les avantages calculés par jeton sont intégrés dans un cadre d'OPD standard utilisant une fonction de perte par échantillonnage d'importance par renforcement (divergence KL inverse), permettant à l'étudiant de mettre à jour sa politique à partir de ses propres rollouts tout en adhérant aux directives de l'enseignant.

3. Contributions clés

Première OPD Cross-Tokenizer haute fidélité : Ce travail est le premier à permettre une distillation on-policy haute fidélité, par jeton, entre différentes familles de modèles dotées de tokenizers distincts.
Algorithme d'alignement adaptatif : La proposition de l'algorithme Dual-Pointer Chunk Alignment (DPCA), qui garantit mathématiquement l'identification de blocs synchronisés minimaux entre des schémas de tokenization hétérogènes.
Attribution de crédit par priorité sémantique : Un mécanisme novateur pour projeter les log-probabilités de l'enseignant sur les jetons de l'étudiant qui préserve la structure sémantique interne de l'étudiant, évitant la distorsion des probabilités relatives des jetons.
Efficacité de calcul : Démontrer que l'OPD cross-tokenizer est nettement plus efficace en termes de calcul que les bases traditionnelles de SFT ou de distillation off-policy.

4. Résultats expérimentaux

Les auteurs ont évalué leur méthode sur des benchmarks de raisonnement (AIME, MATH, GPQA-Diamond, LiveCodeBench) en utilisant deux appariements enseignant-étudiant distincts :

Configuration 1 : Qwen3-8B (Enseignant) $\to$ Llama-3.1-8B-SFT (Étudiant).
Configuration 2 : DeepSeek-R1 (Enseignant) $\to$ DeepSeek-R1-Distill-Qwen-7B (Étudiant).

Performance :

Dans la configuration Qwen $\to$ Llama, l'OPD a atteint un score moyen de 40,7, surpassant le SFT (35,1), l'ALM (35,7) et le CDM (35,9) par des marges significatives (jusqu'à +5,6 points).
Dans la configuration DeepSeek-R1, l'OPD a atteint 52,0, surpassant les bases de 2,4 à 2,7 points en moyenne.
Les gains ont été constants sur les benchmarks de mathématiques, de sciences et de code, avec des améliorations particulièrement notables sur AIME25 (+11,6 points) et GPQA-Diamond (+6,1 points).

Efficacité de calcul :

Pour atteindre la même précision AIME24 (44,4 %) en partant d'un modèle initialisé par SFT, les auteurs ont estimé que l'extension du SFT nécessiterait 482K échantillons d'entraînement supplémentaires et environ 1,17 $\times$ 10 $^{21}$ FLOPs.
En revanche, la méthode OPD a atteint la même performance avec seulement 20K échantillons supplémentaires et environ 4,8 $\times$ 10 $^{19}$ FLOPs.
Cela représente une réduction de l'utilisation des données d'entraînement à ~4,1 % et du coût de calcul total à ~4 % par rapport au schéma d'extrapolation SFT.

Comparaison avec l'OPD de même tokenizer :

Le papier note que le gain de performance de l'OPD cross-tokenizer (moyenne +5,6) est comparable à celui de l'OPD de même tokenizer (moyenne +5,5), indiquant que le mécanisme de projection ne dégrade pas significativement la qualité du signal de supervision.

5. Signification et affirmations

Le papier affirme que ce travail débloque une gamme plus large de paires enseignant-étudiant pour la distillation on-policy. En supprimant l'exigence de vocabulaires partagés, la méthode permet un transfert de connaissances plus flexible entre diverses familles de modèles. Les auteurs soutiennent qu'un vocabulaire partagé n'est pas un prérequis pour une OPD efficace, à condition que le feedback de l'enseignant puisse être projeté sur les jetons de l'étudiant d'une manière qui conserve les log-probabilités.

Ce travail ouvre de nouvelles voies pour adapter et améliorer les interactions entre les LLM, suggérant que le paradigme de la « supervision dense » peut s'étendre au-delà du post-entraînement d'une seule série de modèles. Les auteurs reconnaissent les limites concernant l'échelle des modèles testés (moins de 8 milliards de paramètres en raison de contraintes de calcul) et identifient la validation sur des modèles à plus grande échelle (par exemple, 70B) comme un travail futur.