💬 NLP

Weak-to-Strong Generalization via Direct On-Policy Distillation

Ce document propose la Distillation Directe On-Policy (Direct-OPD), une méthode qui transfère les décalages de politique appris par un modèle plus petit lors de l'apprentissage par renforcement avec récompenses vérifiables (RLVR) vers un modèle cible plus fort en utilisant le log-ratio des politiques pré- et post-RL de l'enseignant comme une récompense implicite dense, permettant ainsi une généralisation faible-vers-forte efficace sans le coût de calcul élevé de l'exécution d'un RL complet sur le modèle plus grand.

Auteurs originaux : Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Entraîner des géants coûte cher

Imaginez que vous vouliez apprendre à un professeur brillant mais très lent et coûteux (un grand modèle d'IA) comment résoudre des problèmes mathématiques complexes. La meilleure méthode actuelle est l'apprentissage par renforcement (RL - Reinforcement Learning).

En RL, le modèle tente de résoudre un problème, reçoit un score (une « récompense ») s'il réussit, et apprend de cette expérience. Mais voici le piège : pour apprendre, le modèle doit générer des milliers de tentatives d'entraînement (« rollouts ») pour voir ce qui fonctionne.

Le goulot d'étranglement : Si votre « professeur » est un super-ordinateur massif, générer ces tentatives d'entraînement prend une éternité et coûte une fortune en électricité. À mesure que les modèles d'IA grandissent, ce processus d'entraînement devient trop lent et trop coûteux pour être répété pour chaque nouveau modèle.

La solution proposée : La stratégie de l'« Apprenti »

Les auteurs proposent un raccourci ingénieux appelé Direct-OPD. Au lieu d'entraîner directement le géant coûteux, ils entraînent d'abord un modèle « apprenti » plus petit et moins cher, puis transfèrent ce que cet apprenti a appris au géant.

Voyez cela comme ceci :

L'Apprenti (Petit Modèle) : Vous embauchez un étudiant junior qui est rapide et peu coûteux à former. Vous lui apprenez en utilisant la méthode de RL coûteuse. Il galère un peu, mais finit par comprendre comment mieux réfléchir.
Le Maître (Grand Modèle) : Vous avez un professeur de génie qui est déjà très intelligent, mais qui n'a pas encore appris ce nouveau style de pensée spécifique.
L'Objectif : Vous voulez que le Maître apprenne l'amélioration réalisée par l'Apprenti, sans avoir à payer le Maître pour les exercices d'entraînement coûteux.

Le Piège : Ne vous contentez pas de copier l'Apprenti

Une idée naturelle serait de dire : « Bon, l'Apprenti est maintenant bon en maths. Faisons en sorte que le Maître copie les réponses de l'Apprenti. »

Le papier dit : Ne faites pas ça.
Pourquoi ? Parce que l'Apprenti est toujours un débutant. Il a des limites. Si le Maître copie l'Apprenti, le Maître pourrait en réalité devenir moins bon parce qu'il copierait les erreurs et les limitations de l'Apprenti, et non seulement ses améliorations.

Analogie : Imaginez un joueur de échecs novice qui vient enfin d'apprendre une ouverture spécifique qui bat un débutant. Si un Grand Maître essaie de copier l'intégralité du style de jeu de ce novice, le Grand Maître perdra. Le Grand Maître a seulement besoin d'apprendre ce coup spécifique, pas toute la personnalité du novice.

La Recette Secrète : La « Distillation Directe On-Policy » (Direct-OPD)

Les auteurs ont inventé une méthode pour extraire uniquement l'amélioration et laisser les limitations derrière elles.

Voici comment cela fonctionne, étape par étape :

Prendre un instantané avant et après :
- Prenez une photo du cerveau de l'Apprenti avant l'entraînement (appelons cela le Vieux Cerveau).
- Prenez une photo du cerveau de l'Apprenti après l'entraînement (appelons cela le Nouveau Cerveau).
Trouver la différence :
- La méthode compare les deux cerveaux. Elle demande : « Qu'est-ce que le Nouveau Cerveau a décidé de faire que le Vieux Cerveau n'aurait pas fait ? »
- Elle ignore tout ce que l'Apprenti savait déjà bien faire. Elle ne regarde que le changement.
- Analogie : Imaginez que l'Apprenti avait l'habitude de toujours manger de la pizza. Après l'entraînement, il a décidé de manger une salade à la place. Le « changement » est le passage de la pizza à la salade. La méthode ignore le fait qu'il est toujours mauvais en cuisine ; elle ne s'intéresse qu'à la décision de manger la salade.
Enseigner au Maître :
- Le Maître (le grand modèle) est sollicité pour résoudre des problèmes.
- Au lieu de copier les réponses finales de l'Apprenti, le Maître se voit montrer la différence entre les anciens et les nouveaux cerveaux de l'Apprenti.
- On dit au Maître : « Dans cette situation, la version 'Nouvelle' de l'Apprenti aurait choisi ce chemin, alors que la version 'Vieille' ne l'aurait pas fait. Tu devrais donc pencher vers ce chemin. »

Pourquoi est-ce un changement de donne ?

Le papier prouve que cela fonctionne de trois manières étonnantes :

1. Cela fonctionne même si le Maître est déjà plus intelligent que l'Apprenti.
Habituellement, on ne peut pas apprendre de quelqu'un de plus faible que soi. Mais ici, le Maître n'apprend pas des réponses de l'Apprenti ; il apprend de la direction dans laquelle l'Apprenti s'est déplacé.

Analogie : Même si un Grand Maître est meilleur qu'un novice, le novice peut avoir découvert un nouveau truc bizarre que le Grand Maître n'a pas encore essayé. Le Grand Maître peut adopter ce truc sans devenir un novice.

2. C'est incroyablement bon marché et rapide.
L'entraînement du petit apprenti prend quelques heures sur quelques ordinateurs. Transférer ce « changement » au grand modèle ne prend que quelques heures de plus.

Résultat : Le papier montre qu'ils ont amélioré le score de mathématiques d'un modèle de 48 % à 58 % en seulement 4 heures sur 8 ordinateurs. Faire cela directement sur le grand modèle aurait pris des semaines et 32 ordinateurs.

3. On peut les empiler.
Vous pouvez entraîner un petit apprenti, transférer la leçon, puis entraîner un autre petit apprenti sur une compétence différente, et transférer cela aussi. C'est comme empiler différents « patchs de compétences » sur le modèle Maître.

Résumé

Le papier présente Direct-OPD, une méthode qui traite le processus d'entraînement d'un petit modèle d'IA non pas comme un produit final à copier, mais comme une carte d'améliorations.

Au lieu de forcer une IA géante à imiter les réponses finales d'une petite IA (ce qui serait un déclassement), la méthode extrait le « delta » — les changements spécifiques que la petite IA a opérés pour s'améliorer — et applique ces changements à la grande IA. Cela permet de mettre à jour des modèles massifs et coûteux en utilisant l'entraînement rapide et peu coûteux de modèles minuscules, économisant ainsi du temps et de l'argent tout en boostant les performances.

Résumé Technique : Généralisation de Faible à Forte via la Distillation Directe On-Policy

1. Énoncé du Problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) est devenu un paradigme dominant pour améliorer les capacités de raisonnement des Grands Modèles de Langage (LLM). Cependant, le RLVR est coûteux en termes de calcul car chaque mise à jour de l'entraînement nécessite que le modèle cible génère des déploiements (rollouts), reçoive des scores vérifiables et mette à jour sa politique. À mesure que l'échelle des modèles augmente, le coût de génération de ces déploiements croît, faisant de la réexécution du RLVR de zéro pour chaque nouveau modèle plus fort un goulot d'étranglement significatif.

Le papier traite du défi de la Généralisation de Faible à Forte : Un modèle entraîné via RL sur un modèle "enseignant" plus petit et plus faible peut-il être utilisé pour améliorer un modèle "étudiant" plus grand et plus fort ?

La Limite de la Distillation Naïve : Distiller simplement la politique finale d'un enseignant faible post-RL (Distillation On-Policy ou OPD) est insuffisant. La politique finale de l'enseignant entremêle les améliorations utiles apprises via le RL avec les limites intrinsèques de capacité du modèle plus petit. Si l'étudiant est déjà plus fort que l'enseignant, imiter la distribution finale de l'enseignant peut dégrader les performances de l'étudiant en écrasant ses comportements supérieurs.
La Question Centrale : Comment peut-on transférer le signal d'amélioration induit par le RL d'un modèle faible vers un modèle fort sans hériter du plafond de capacité du modèle faible ?

2. Méthodologie : Distillation Directe On-Policy (Direct-OPD)

Les auteurs proposent la Direct-OPD, un paradigme qui transfère le décalage de politique (policy shift) induit par le RL sur un modèle faible, plutôt que la politique finale de l'enseignant elle-même.

2.1 Le Signal Central : Le Décalage de Politique comme Récompense Implicite

Au lieu d'entraîner l'étudiant à correspondre à la distribution de sortie de l'enseignant $\pi_T$ , la Direct-OPD isole le changement causé par le RL en contrastant l'enseignant post-RL $\pi_T$ avec sa référence pré-RL $\pi_{Tref}$ .
Le décalage de politique est défini comme :
$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$
Sous le cadre du RL régularisé par la divergence KL, ce rapport de logarithmes est mathématiquement équivalent au signal de récompense implicite qui a entraîné l'enseignant (jusqu'à un facteur d'échelle et une constante). Ainsi, la paire de points de contrôle $(\pi_{Tref}, \pi_T)$ encode le signal de récompense directement dans l'espace des politiques.

2.2 La Fonction Objectif

La Direct-OPD applique ce signal de décalage aux propres états on-policy de l'étudiant. Soit $\pi_\theta$ la politique de l'étudiant initialisée à partir de $\pi_S$ . L'objectif optimise l'étudiant pour suivre la direction du décalage de l'enseignant tout en se régularisant pour ne pas trop s'éloigner de son initialisation :
$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$

Récompense Implicite Dense : Le terme $\Delta_T$ agit comme une récompense dense par jeton (per-token). Pour un jeton $v$ à l'état $s_t$ , la récompense immédiate est $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$ .
Échantillonnage On-Policy : L'étudiant échantillonne ses propres trajectoires. Le gradient est calculé sur les préfixes visités par l'étudiant, garantissant que le signal est appliqué aux états qu'il rencontre réellement.
Approximation Top-K : Pour rendre l'entraînement efficace, la méthode restreint le calcul de la récompense aux top- $k$ jetons de l'étudiant à chaque étape, en utilisant un estimateur de Rao-Blackwellisé pour réduire la variance.

2.3 Contrôle KL Adaptatif

L'amplitude de la récompense implicite $\Delta_T$ dépend des hyperparamètres d'entraînement de l'enseignant (spécifiquement le budget KL $\beta$ ), qui sont inconnus de l'étudiant. Un coefficient KL $\alpha$ fixe peut ne pas être robuste à travers différentes paires enseignant-étudiant.
Les auteurs introduisent un contrôleur KL adaptatif léger qui ajuste $\alpha$ en fonction de la moyenne par lot du signal de décalage pondéré. Si le décalage moyen est positif (indiquant que le RL de l'enseignant a généralement augmenté la probabilité sur les jetons conservés), $\alpha$ augmente pour éviter une sur-amplification ; s'il est négatif, $\alpha$ diminue pour permettre à l'étudiant de s'éloigner des jetons supprimés.

3. Contributions Clés

Un Nouveau Paradigme de Faible à Forte : Le papier reformule le RL sur petit modèle non pas comme une source de politique finale à imiter, mais comme un générateur de signal de récompense implicite peu coûteux. En évaluant le décalage de politique de l'enseignant sur les propres états de l'étudiant, la Direct-OPD transfère la direction de l'amélioration plutôt que la capacité de l'enseignant.
Gains Constants à travers les Échelles : La méthode améliore systématiquement les étudiants plus forts en utilisant des enseignants plus faibles. Notamment, elle améliore des étudiants (ex: R1-Distill-7B, Qwen3-4B) qui sont déjà plus performants que l'enseignant post-RL, un scénario où la distillation standard échoue.
Efficacité de Calcul : La Direct-OPD est nettement moins coûteuse que l'exécution directe du RL sur de grands modèles. Elle tire parti de la stabilité et de la rapidité du RL sur petits modèles et n'ajoute qu'une phase de transfert courte et peu coûteuse.
Composition Séquentielle : La méthode permet la composition séquentielle de plusieurs décalages de politique provenant de différentes paires enseignant-étudiant, permettant l'accumulation de capacités de raisonnement distinctes dans un seul étudiant.

4. Résultats Expérimentaux

Les auteurs évaluent la Direct-OPD sur des benchmarks de raisonnement mathématique (AIME 2024 et AIME 2025) en utilisant diverses familles de modèles (Qwen3, R1-Distill, Nemotron).

Transfert de Faible à Forte :
- Qwen3-1.7B : Amélioration de 48,3 % à 58,3 % sur AIME 2024 en seulement 4 heures avec 8 GPU A100, en transférant le décalage d'un enseignant de 1,5B.
- Étudiants Plus Forts : A réussi à améliorer R1-Distill-7B (initialement 56,7 %) et Qwen3-4B (initialement 72,5 %), tous deux partant avec une précision supérieure à celle de l'enseignant post-RL (51,3 %). L'OPD standard a dégradé les performances dans ces cas.
Comparaison avec le RL Direct :
- Sous un budget d'étapes équivalent, l'exécution du RL sur un modèle de 1,5B et le transfert via Direct-OPD ont surpassé l'exécution directe du RL sur un modèle de 7B, tant en précision qu'en temps de calcul.
- La phase de transfert ajoute un temps négligeable (~4 heures) par rapport aux semaines requises pour un RL direct à grande échelle.
Composition Séquentielle :
- L'application séquentielle de deux décalages de politique distincts (provenant des enseignants JustRL et QuestA) à Qwen3-1.7B a entraîné des gains cumulatifs, faisant passer la précision AIME 2024 de 48,3 % à 63,8 %.
Propriétés de Généralisation :
- Chevauchement de Jetons (Token Overlap) : Contra contrairement à l'OPD standard, la Direct-OPD ne nécessite pas un chevauchement élevé des top-k jetons entre l'enseignant et l'étudiant. Elle fonctionne même lorsque les schémas de pensée de l'étudiant diffèrent considérablement de ceux de l'enseignant.
- Horizon : Un entraînement à horizon court (2k jetons) se généralise efficacement aux déploiements longs, capturant le signal transférable sans le bruit des séquences très longues.

5. Signification et Revendications

Le papier affirme que les résultats du RL peuvent être réutilisés à travers les échelles de modèles en tant que signaux de récompense implicites, et non simplement comme des modèles finaux à imiter.

Recadrage du RL : Ce travail déplace la perspective de l'entraînement par RL, d'une production de "modèle final" vers une production de "décalage de politique" qui encode un paysage de récompense. Ce décalage est un actif transférable qui est indépendant de la capacité spécifique du modèle qui l'a généré.
Scalabilité : En découplant la recherche coûteuse par RL (effectuée sur de petits modèles) du déploiement final (sur de grands modèles), la Direct-OPD offre une voie évolutive pour les modèles de raisonnement post-entraînement sans le coût prohibitif de la réexécution du RL à chaque nouvelle architecture plus grande.
Robustesse : La méthode est robuste aux décalages de familles de modèles et de capacités initiales, à condition que le décalage induit par le RL soit significatif sur les états visités par l'étudiant.

Les auteurs concluent que la Direct-OPD fournit un mécanisme pratique, efficace et théoriquement fondé pour la généralisation de faible à forte, permettant la réutilisation des signaux de supervision par RL à travers différentes échelles et architectures de modèles.