🤖 machine learning

On the Position Bias of On-Policy Distillation

Cet article identifie un biais de position dans la distillation on-policy où les jetons ultérieurs fournissent une supervision dégradée en raison de la dérive distributionnelle, et propose la distillation on-policy pondérée par l'importance (IW-OPD) pour réduire dynamiquement le poids de ces jetons ultérieurs, ce qui permet une convergence plus rapide et des performances supérieures dans diverses configurations.

Auteurs originaux : Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

Publié 2026-06-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune apprenti (l'Étudiant) comment résoudre des problèmes mathématiques complexes en le faisant observer un maître (le Maître).

Dans la méthode standard décrite dans cet article, appelée Distillation On-Policy (OPD), l'apprenti est invité à résoudre un problème de son propre chef. À mesure qu'il rédige sa solution étape par étape, le maître observe et corrige chaque mot qu'il écrit. Le but est que l'apprenti apprenne de ces corrections.

Cependant, les auteurs de cet article ont découvert une faille cachée dans la manière dont cet enseignement se déroule. Ils l'appellent le « Biais de Position ».

Le Problème : L'analogie du « Train qui dérive »

Imaginez la solution de l'apprenti comme un voyage en train.

Le Début (Le Préfixe) : Lorsque le train quitte la gare, l'apprenti réfléchit encore clairement et suit la voie générale que le maître emprunterait. Les corrections du maître ici sont de l'or. Elles sont précises, utiles et maintiennent le train sur la bonne voie.
Le Milieu et la Fin (Le Suffixe) : À mesure que le train avance, l'apprenti commence à commettre de petites erreurs. Parce qu'il est un apprenti, ces petites erreurs s'accumulent. Soudain, le train est sur une voie complètement différente, loin de là où le maître irait jamais.

Voici le pièal : la méthode d'enseignement standard traite chaque mot écrit par l'apprenti comme étant d'égale importance. Elle accorde autant d'« attention » au premier mot qu'au 100ème mot.

L'article montre qu'au moment où l'apprenti atteint le 100ème mot, il s'est tellement égaré que les conseils du maître sont inutiles. En fait, le maître pourrait être confus, essayant de corriger un chemin qui n'a aucun sens dans le propre monde du maître. L'article a constaté que si vous n'utilisiez que les corrections des 30 premiers pour cent de la réponse de l'apprenti, l'étudiant apprendrait tout aussi bien que s'il avait utilisé l'ensemble de la réponse. Mais si vous n'utilisiez que les 30 derniers pour cent, l'étudiant n'apprendrait presque rien.

La Solution : Le « Tuteur Intelligent » (IW-OPD)

Pour correr cela, les auteurs ont créé une nouvelle méthode appelée Distillation On-Policy Pondérée par l'Importance (IW-OPD).

Considérez l'IW-OPD comme un Tuteur Intelligent qui réalise que le train dérive. Au lieu de crier des corrections avec le même volume sonore pendant tout le voyage, le Tuteur Intelligent ajuste sa voix :

Au début du voyage : Le tuteur parle fort et clairement, donnant des corrections de grande valeur car l'apprenti est encore sur la bonne voie.
Plus tard dans le voyage : À mesure que le chemin de l'apprenti commence à dévier du style du maître, le tuteur baisse le volume. Il cesse de gaspiller de l'énergie à essayer de corriger l'apprenti sur un chemin que le maître ne prendrait jamais.

Le Tuteur Intelligent calcule ce « volume » en fonction de la mesure de la dérive du chemin de l'apprenti par rapport au chemin du maître jusqu'à présent. Si la dérive est faible, les corrections sont fortes. Si la dérive est énorme, les corrections sont discrètes ou ignorées.

Pourquoi cela est important

L'article a testé cette méthode de « Tuteur Intelligent » avec différentes tailles d'étudiants et de maîtres (allant de petits modèles d'IA à des modèles massifs). Les résultats étaient clairs :

Apprentissage plus rapide : Les étudiants ont appris beaucoup plus vite. Ils ont atteint des niveaux de performance élevés en moins d'étapes d'entraînement car ils ne perdaient pas de temps à écouter de mauvais conseils sur les parties tardives de leurs réponses.
Meilleurs résultats : Même après la fin de l'entraînement, les étudiants utilisant cette méthode étaient meilleurs pour résoudre des problèmes (spécifiquement des défis de mathématiques et de codage) que ceux utilisant la méthode standard.
Fonctionne pour tout le monde : La méthode a fonctionné de manière optimale lorsque l'étudiant était beaucoup plus petit que le maître (un écart de compétence immense), ce qui est précisément le moment où le problème de « dérive » est le plus marqué.

En résumé

L'article soutient que dans l'entraînement de l'IA, tous les moments ne sont pas créés égaux. Essayer d'apprendre de chaque erreur commise par une IA est inefficace car, finit par arriver un moment où l'IA s'égare tellement que le conseil du professeur devient non pertinent. En concentrant le budget d'apprentissage sur les parties initiales et de haute qualité de la réponse, et en ignorant les parties tardives et déviantes, nous pouvons entraîner de manière plus intelligente, plus rapide et plus efficace.

Résumé Technique : Sur le Biais de Position de la Distillation On-Policy

Énoncé du Problème

La Distillation On-Policy (OPD) améliore l'efficacité de l'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM) en fournissant une supervision dense, au niveau du jeton (token), d'un modèle enseignant vers un modèle étudiant générant ses propres trajectoires (rollouts). Cependant, les objectifs standards de l'OPD moyennent uniformément les pertes par jeton (généralement via la divergence KL), supposant implicitement une valeur égale pour tous les jetons d'une séquence.

Les auteurs identent un Biais de Position critique dans cette approche : à mesure que les trajectoires de l'étudiant s'allongent, la distribution générée s'écarte de plus en plus de celle de l'enseignant. Par conséquent, la qualité de la supervision de l'enseignant se dégrade aux positions ultérieures. Les observations empiriques révèlent que :

Asymétrie de la Valeur de Supervision : L'entraînement en utilisant uniquement les 30 % premiers jetons (préfixe) produit des performances comparables ou supérieures à l'utilisation de tous les jetons, tandis que l'entraînement sur les 30 % derniers (suffixe) apporte des bénéfices d'apprentissage négligeables.
Divergence Persistante : Même après la convergence, la divergence KL entre l'enseignant et l'étudiant reste significative, suggérant que l'OPD n'optimise l'étudiant que dans une petite région locale de l'espace des politiques.
Inefficacité : Le fait de pondérer uniformément tous les jetons gaspille le budget limité de mise à jour des gradients sur les jetons tardifs où l'étudiant a déjà dérivé vers des régions hors distribution (OOD) par rapport à l'enseignant, rendant le signal de supervision bruité ou inutile.

Méthodologie : Distillation On-Policy Pondérée par l'Importance (IW-OPD)

Pour remédier à ce biais, les auteurs proposent la Distillation On-Policy Pondérée par l'Importance (IW-OPD), une méthode qui ajuste dynamiquement les poids des jetons en fonction de la divergence accumulée entre les distributions de l'étudiant et de l'enseignant.

Fondement Théorique

Les auteurs présentent l'OPD comme un problème d'optimisation contrainte (une projection locale) où la politique de l'étudiant est mise à jour à l'intérieur d'une région de confiance définie par un budget de divergence KL $\rho$ .

Dérivation de la Politique Optimale : La résolution de la minimisation contrainte de $D_{KL}(q \| \pi_T)$ sous la contrainte $D_{KL}(q \| \pi_\theta) \leq \rho$ produit une politique optimale en forme close $q^\star$ .
Repondération par Rapport de Vraisemblance : La solution $q^\star$ repondère la politique de l'étudiant $\pi_\theta$ par le rapport de vraisemblance $(\pi_T / \pi_\theta)^\alpha$ . Cela implique que les jetons où la probabilité de l'enseignant est nettement supérieure à celle de l'étudiant (haute compatibilité) devraient recevoir un poids plus élevé, tandis que les jetons où l'étudiant a dérivé (faible rapport) devraient être sous-pondérés.

Implémentation Pratique

L'utilisation directe du rapport de vraisemblance brut est numériquement instable en raison de l'accumulation exponentielle des probabilités sur de longues séquences. L'IW-OPD introduit une divergence de préfixe cumulative non signée et stable comme substitut au poids d'importance :

Divergence Accumulée : Au lieu du rapport brut, la méthode additionne les avantages absolus par jeton ( $|A^{OPD}_k|$ ) depuis le début de la séquence jusqu'au jeton actuel $t$ . Cela capture la "dérive" totale par rapport au chemin privilégié par l'enseignant.
Normalisation : La divergence accumulée est standardisée au sein de chaque échantillon sur une plage $[0, 1]$ , assurant une mise à l'échelle stable.
Interpolation : Pour éviter la suppression complète de la supervision pour les jetons ayant dérivé, le poids final est une interpolation entre le signal OPD standard (poids 1) et le poids d'importance dérivé de la divergence.
- Formule : $\tilde{r}^{IW-OPD}_t = 1 + \gamma \cdot (1 - \frac{\sum_{k<t} |A^{OPD}_k|}{\sum_{k<T} |A^{OPD}_k|})$ .
- Ici, $\gamma$ contrôle la contribution de la pondération par l'importance.

Cette approche surpondère naturellement les jetons précoces (où le préfixe est compatible avec l'enseignant) et souspondère les jetons tardifs (où la dérive accumulée est grande), réallouant ainsi efficacement le budget de gradient vers les parties les plus informatives de la trajectoire.

Contributions Clés

Identification du Biais de Position : Le papier démontre empiriquement et explique théoriquement que l'OPD souffre d'un biais de position où les jetons précoces fournissent une supervision nettement plus précieuse que les jetons ultérieurs en raison de la dérive distributionnelle.
Perspective d'Optimisation Contrainte : Les auteurs fournissent une compréhension fondée sur la mise à jour de l'OPD en tant que projection locale contrainte, démontant que la stratégie de mise à jour optimale nécessite intrinsèquement une repondération par rapport de vraisemblance.
Algorithme IW-OPD : Ils proposent l'IW-OPD, un algorithme pratique et stable qui estime l'importance des jetons en utilisant la divergence de préfixe cumulative non signée. Il ne nécessite aucune évaluation supplémentaire de l'enseignant au-delà de l'OPD standard.
Validation Empirique : Des expériences approfondies montrent que l'IW-OPD converge plus rapidement et atteint de meilleures performances finales que l'OPD standard à travers diverses échelles de modèles et configurations enseignant-étudiant.

Résultats Expérimentaux

Les auteurs ont évalué l'IW-OPD en utilisant des modèles Qwen3 (0.6B, 1.7B, 4B, 30B, et 235B) comme enseignants et étudiants sur des benchmarks de raisonnement mathématique (AIME-2024, AIME-2025, HMMT-2025) et de génération de code (HumanEval+, MBPP+).

Gains de Performance : L'IW-OPD surpasse systématiquement l'OPD standard.
- Dans la configuration d'étudiant Qwen3-1.7B avec un enseignant Qwen3-30B, l'IW-OPD a amélioré la précision de l'AIME-2025 de +6,9 points à l'étape 10 et de +1,7 point à la convergence.
- Pour toutes les échelles d'étudiants (0.6B à 30B) et configurations d'enseignants, l'IW-OPD a amélioré le score de performance moyen.
Efficacité d'Échantillonnage : L'IW-OPD converge de manière significative plus rapide. Dans plusieurs cas, le checkpoint de l'IW-OTP à l'étape 10 égalait ou dépassait la performance finale de l'OPD standard.
Effets d'Échelle :
- Enseignants plus Forts : L'IW-OTP rend les enseignants plus forts plus efficaces en termes d'échantillonnage. Alors que l'OPD standard peine initialement avec des écarts enseignant-étudiant plus importants (nécessitant plus d'étapes pour bénéficier du signal de l'enseignant plus fort), l'IW-OTP exploite immédiatement le signal de l'enseignant plus puissant.
- Étudiants plus Petits : Les gains relatifs de l'IW-OTP augmentent à mesure que le modèle étudiant devient plus petit (ex: +9,5 % de gain relatif pour l'étudiant 0.6B contre +1,8 % pour le 4B), indiquant qu'il est particulièrement efficace dans la distillation inter-échelle où la dérive est plus sévère.

Signification et Revendications

Le papier affirme qu'une supervision on-policy efficace doit tenir compte du contexte de la trajectoire, et non seulement du désaccord au niveau du jeton. En reconnaissant que la supervision de l'enseignant n'est pas uniformément fiable le long d'une trajectoire générée par l'étudiant, l'IW-OTP réalloue le budget de gradient fini aux préfixes "compatibles avec l'enseignant".

Les auteurs concluent que cette modification simple — sous-pondérer les jetons où l'étudiant a dérivé de la distribution de l'enseignant — améliore considérablement l'efficacité de l'échantillonnage ainsi que la performance finale de la distillation on-policy. Cette intuition suggère que les futures méthodes on-policy devraient considérer l'historique cumulatif de la trajectoire (le préfixe) lors de l'attribution des poids de crédit ou de supervision, plutôt que de traiter tous les jetons d'une trajectoire comme indépendants et de valeur égale.