🤖 machine learning

OPD+: Rethinking the Advantage Design for On-Policy Distillation

Cet article introduit OPD+, un cadre de distillation on-policy corrigé qui démontre mathématiquement le biais causé par les opérations standard de stop-gradient dans l'estimation de l'avantage et propose une méthode d'optimisation générique basée sur la f-divergence qui améliore les performances sur les benchmarks de raisonnement et d'utilisation d'outils.

Auteurs originaux : Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune apprenti (le Modèle Étudiant) comment résoudre des puzzles complexes en regardant un chef maître (le Modèle Enseignant). L'apprenti regarde le maître cuisiner, essaie de copier ses mouvements, et reçoit un retour sur la proximité avec laquelle il a reproduit la recette du maître. Ce processus est appelé Distillation On-Policy (OPD).

Pendant longtemps, les chercheurs ont cru qu'il existait une « recette » spécifique pour donner un feedback qui fonctionnait le mieux : une méthode appelée Reverse KL. C'était comme dire : « La seule façon d'apprendre est de mesurer la différence exactement de cette manière. »

Cependant, les auteurs de ce papier, OPD+, ont découvert une faille cachée dans la façon dont ce feedback était calculé. Ils ont trouvé que la manière dont le feedback était délivré était en fait défaillante, entraînant de la confusion et un apprentissage médiocre, surtout lorsqu'on essayait différentes recettes de feedback.

Voici la décomposition de leur découverte en utilisant des analogies simples :

1. La boucle de feedback brisée (Le problème du « Stop Gradient »)

Dans l'ancienne méthode, lorsque l'apprenti essayait d'apprendre, l'enseignant disait : « Voici le score de ton mouvement », puis figeait immédiatement ce score pour qu'il ne puisse pas changer. Ils faisaient cela pour maintenir la stabilité, comme un professeur pointant un graphique statique en disant : « Ceci est la cible ; ne vous souciez pas de la façon dont le graphique a été dessiné. »

Le papier soutient que c'est mathématiquement erroné.

L'analogie : Imaginez que vous apprenez à tirer des flèches. Le professeur dit : « Ta flèche est tombée 5 pouces à gauche. » Mais ensuite, le professeur dit : « Ne t'inquiète pas de la façon dont j'ai calculé ces 5 pouces ; traite cela comme un fait fixe. »
Le problème : Ces « 5 pouces » dépendent en réalité de la façon dont vous tenez votre arc (l'état actuel de l'étudiant). Si vous changez votre prise, la distance change. En figeant le calcul, l'enseignant vous donne un mensonge. Vous essayez d'ajuster votre prise en vous basant sur un nombre qui refuse de s'actualiser avec votre nouvelle prise. Cela conduit à des estimations biaisées — vous pensez progresser, mais vous allez en réalité dans la mauvaise direction.

2. La nouvelle solution : OPD+

Les auteurs proposent OPD+, ce qui revient essentiellement à « corriger les mathématiques » pour que le feedback se mette réellement à jour à mesure que l'étudiant apprend.

La correction : Au lieu de figer le score, OPD+ dit : « Voici le score, et voici exactement comment ce score change si tu déplaces ta main. » Cela ajoute un petit terme de correction au feedback.
Le résultat : C'est comme si l'enseignant disait maintenant : « Ta flèche est tombée 5 pouces à gauche. Mais n'oublie pas que si tu serres ta prise, cette distance diminuera de 1 pouce. » Cette petite correction rend le processus d'apprentissage honnête et précis.

3. La surprise : D'autres recettes fonctionnent aussi !

Pendant des années, tout le monde pensait que la Reverse KL était la seule bonne façon de mesurer la différence entre l'étudiant et l'enseignant. Ils pensaient que d'autres méthodes (comme la Forward KL ou la JSD) étaient inutiles et causeraient l'« effondrement » de l'étudiant (l'arrêt total de l'apprentissage).

Le papier montre que ces autres méthodes n'étaient pas réellement mauvaises ; elles étaient simplement mal utilisées à cause de la boucle de feedback défectueuse (le problème du « Stop Gradient »).

L'analogie : C'est comme si tout le monde pensait qu'un type spécifique de marteau était le seul outil capable de enfoncer un clou. Ils ont essayé d'utiliser un tournevis, et cela a cassé le bois, alors ils ont conclu que les tournevis étaient inutiles.
La découverte : Les auteurs ont corrigé la façon dont le tournevis est tenu (les mathématiques). Soudain, le tournevis a fonctionné parfaitement ! En fait, dans certains cas (comme la méthode JSD), le tournevis a fonctionné mieux que le marteau, permettant à l'étudiant de résoudre des problèmes mathématiques plus difficiles et d'utiliser des outils plus efficacement qu'auparavant.

4. Ce qu'ils ont testé

Ils ont testé cela sur deux tâches très difficiles :

Raisonnement mathématique : Résoudre des problèmes de mathématiques de haut niveau (comme AIME et HMMT).
Utilisation d'outils : Enseigner à l'IA à utiliser des outils externes (comme des calculatrices ou des moteurs de recherche) pour résoudre des problèmes.

Le résultat :

L'ancienne méthode (avec les mathématiques défectueuses) a provoqué l'échec total de certains styles d'apprentissage (0 % de précision).
La nouvelle méthode (OPD+) a corrigé ces échecs.
Même pour la méthode « standard » (Reverse KL), les nouvelles mathématiques ont permis à l'étudiant d'apprendre plus vite et d'atteindre un sommet de performance plus élevé.

Résumé

Le papier affirme que la façon dont nous enseignons actuellement les modèles d'IA à se copier contient une erreur mathématique fondamentale. En corrigeant une seule ligne de code pour arrêter de « figer » le feedback, nous pouvons :

Rendre le processus d'apprentissage mathématiquement honnête.
Libérer le potentiel de différentes stratégies d'apprentissage qui étaient auparavant considérées comme défectueuses.
Obtenir de meilleurs résultats sur des tâches difficiles comme les mathématiques et l'usage d'outils, même avec les modèles que nous possédons déjà.

En bref : Ne figez pas le feedback. Laissez les mathématiques se mettre à jour, et l'IA apprendra mieux.

Résumé Technique : OPD+ : Repenser la conception de l'avantage pour la distillation on-policy

1. Énoncé du Problème

La distillation on-policy (OPD) est une technique utilisée pour transférer les capacités de modèles de langage enseignants performants vers des modèles étudiants de base en optimisant un signal de supervision dense au niveau du jeton (token), dérivé des déroulements générés par l'étudiant. Alors que les implémentations existantes d'OPD (par exemple, Tinker) utilisent souvent la divergence de Kullback-Leibler (KL) comme objectif principal, elles emploient un choix de conception spécifique : arrêter le gradient (stop-gradient) sur le terme de récompense (la différence de log-rapport entre la vraisemblance de l'étudiant et celle de l'enseignant).

Ce choix de conception est motivé par un désir de stabilité numérique, s'inspirant des réseaux cibles dans les réseaux Q-Learning profonds (DQN). Cependant, les auteurs identifient une faille théorique critique dans cette approche :

Estimations de Gradient Biaisées : Pour les $f$ -divergences générales, la fonction de récompense dépend des paramètres de la politique de l'étudiant $\theta$ . Arrêter le gradient sur ce terme de récompense ignore la dépendance directe de la récompense vis-à-vis de $\theta$ , ce qui conduit à des estimations de gradient mathématiquement incorrectes.
Dégradation des Performances : Ce biais provoque un effondrement catastrophique de l'entraînement pour les fonctions de divergence autres que la KL inverse (par exemple, la KL directe et la divergence de Jensen-Shannon), les rendant impossibles à entraîner dans les configurations OPD standards. Même pour la KL inverse, bien que le biais disparaisse théoriquement grâce à l'identité du score, les résultats empiriques suggèrent que la conception avec arrêt de gradient reste sous-optimale en termes de performance.

2. Méthodologie : Le Cadre OPD+

Le papier propose OPD+, un cadre d'optimisation corrigé qui réévalue la conception de l'avantage pour la distillation on-policy basée sur la $f$ -divergence.

2.1 Fondement Théorique

Les auteurs formulent l'objectif OPD comme la minimisation de la $f$ -divergence entre la politique de l'étudiant $p_\theta$ et la politique de l'enseignant $q$ . La fonction objectif est définie comme :
$J_f(\theta) = \mathbb{E}_{x \sim X, y \sim p_\theta(\cdot|x)} \left[ \sum_{n=1}^{L_y} f(u_{\theta,n}) \right]$
où $u_{\theta,n} = q(y_n | y_{<n}, x) / p_\theta(y_n | y_{<n}, x)$ est le rapport de densité au niveau du jeton, et $f$ est une fonction convexe telle que $f(1)=0$ .

2.2 La Correction

Le papier dérive le véritable gradient de cet objectif. L'OPD standard utilise un estimateur de gradient de politique à "arrêt de gradient" où la récompense $r = -f(u_{\theta,n})$ est traitée comme fixe. Les auteurs démontrent que le véritable gradient contient deux termes :

Le terme standard de la fonction de score : $\mathbb{E}[r \nabla_\theta \log p_\theta]$ .
Un terme de gradient de récompense direct : $\mathbb{E}[\nabla_\theta r]$ .

Pour une $f$ -divergence générale, le terme de gradient de récompense direct ne s'annule pas. Spécifiquement, $\nabla_\theta r = u_{\theta,n} f'(u_{\theta,n}) \nabla_\theta \log p_\theta$ .
Par conséquent, la fonction d'avantage correcte n'est pas simplement $-f(u)$ , mais un terme pondéré :
$w_f(u) = -f(u) + u f'(u)$

2.3 Cas Particulier : KL Inverse

Pour la KL inverse, $f(u) = -\log u$ . Le terme de correction devient :
$w(u) = -(-\log u) + u(-1/u) = \log u + 1$
Le terme supplémentaire $+1$ est une base constante (baseline). Puisque $\mathbb{E}[\nabla_\theta \log p_\theta] = 0$ (identité du score), ce terme s'annule théoriquement en espérance. Cependant, les auteurs soutiennent qu'en pratique, ce terme de base constant agit comme un mécanisme de réduction de la variance, améliorant la vitesse de convergence et la stabilité.

2.4 Implémentation

L'OPD+ ne nécessite qu'un changement de ligne de code unique dans les implémentations OPD existantes : remplacer la récompense de divergence négative brute $-f(u)$ par le poids corrigé $w_f(u)$ . Ce cadre supporte diverses $f$ -divergences, incluant la KL directe, la KL inverse et la divergence de Jensen-Shannon (JSD).

3. Contributions Clés

Cadre d'Optimisation Générique : Le papier fournit un cadre unifié pour la distillation on-policy basée sur des $f$ -divergences générales, dérivant les gradients et les fonctions de perte corrects qui tiennent compte de la dépendance de la récompense vis-à-vis des paramètres de la politique.
Preuve Théorique du Biais : Il prouve mathématiquement que l'opération standard d'arrêt de gradient conduit à des estimations de gradient biaisées pour les $f$ -divergences générales, invalidant la pratique courante consistant à traiter la récompense comme fixe.
Algorithme OPD+ : Les auteurs introduisent l'algorithme OPD+, qui élimine l'effondrement de l'entraînement observé avec la KL directe et la JSD et améliore les performances, même pour la KL inverse.
Validation Empirique : Ce travail remet en question la croyance prédominante selon laquelle la KL inverse est la métrique de distance supérieure ou la seule viable pour la distillation on-policy, démontrant que d'autres divergences peuvent être plus performantes lorsqu'elles sont optimisées correctement.

4. Résultats Expérimentaux

Les auteurs ont évalué OPD+ sur la famille de modèles QWEN3 (1.7B et 8B paramètres) sur deux domaines distincts : la Mathématique de Compétition (DeepMath, AIME 24/25, HMMT 25) et l'Usage d'Outils Agentique.

4.1 Sauvetage des Divergences "Impossibles à Entraîner"

Sous la conception standard d'arrêt de gradient (OPD), la KL directe et la JSD ont montré un échec catastrophique, chutant à 0 % de précision sur les tâches d'usage d'outils et échouant à égaler la ligne de base initialisée par SFT sur les tâches de mathématiques.

Correction OPD+ : En appliant l'avantage corrigé $w(u)$ , l'OPD+ a complètement éliminé ce mode de défaillance.
Performance de la JSD : La JSD+ non seulement s'est stabilisée, mais a surpassé la ligne de base standard de la KL inverse. Sur le benchmark exigeant AIME 25, la JSD+ a atteint 50,42 % de précision contre 48,54 % pour la KL inverse. Sur la tâche d'Usage d'Outils, la JSD+ a atteint 60,29 %, dépassant la ligne de base de la KL inverse qui était de 59,97 %.

4.2 Amélioration de la KL Inverse

Même dans le domaine où la KL inverse est traditionnellement dominante, l'OPD+ a produit des améliorations empiriques strictes :

AIME 24 : La KL inverse+ est passée de 64,27 % à 64,69 %.
Usage d'Outils : La KL inverse+ est passée de 59,97 % à 61,44 %.
Convergence : La dynamique d'entraînement (Figure 1) montre que les variantes OPD+ accélèrent la convergence précoce et empêchent les plateaux ou la dégradation de performance observés avec les lignes de base standards.

4.3 Auto-Distillation (OPSD)

La méthode a également été validée dans un contexte d'Auto-Distillation On-Policy (OPSD), où le modèle agit à la fois comme étudiant et comme enseignant (l'enseignant étant conditionné par des solutions de vérité terrain privilégiées). L'OPD+ a systématiquement surpassé les versions vanilla à arrêt de gradient sur tous les types de divergence, la KL inverse corrigée affichant la meilleure performance parmi les divergences.

5. Signification et Revendications

Le papier affirme que la sous-performance historique des autres $f$ -divergences (KL directe, JSD) dans la distillation on-policy n'est pas une limitation intrinsèque des divergences elles-mêmes, mais plutôt un effet secondaire d'un coefficient de gradient mal spécifié causé par la conception d'arrêt de gradient.

En corrigeant la fonction d'avantage pour qu'elle soit mathématiquement fidèle à l'objectif de la $f$ -divergence, l'OPD+ :

Élargit l'Espace de Conception : Elle permet l'utilisation d'une plus grande variété de distances statistiques pour la distillation, allant au-delà du standard de l'industrie de la KL inverse.
Améliore les Performances : Elle établit de nouveaux sommets de performance sur les benchmarks de raisonnement et d'usage d'outils.
Remet en Question les Conventions : Elle questionne la croyance commune selon laquelle la KL inverse est intrinsèquement supérieure en raison de sa stabilité, suggérant que cette stabilité était un artefact de la méthode d'optimisation plutôt que du choix de la divergence.

Les auteurs concluent que leur travail fournit un algorithme mathématiquement plus correct et empiriquement plus efficace, susceptible de déclencher de nouvelles recherches sur la conception des fonctions d'avantage pour les méthodes de distillation on-policy. Ils reconnaissent les limites concernant l'analyse de mise à l'échelle des modèles et la comparaison entre la vraisemblance par jeton unique et la distillation de logits, les notant comme des domaines de travail futurs.