🤖 machine learning

Scaling Reasoning Efficiently via Relaxed On-Policy Distillation

Ce papier présente REOPOLD, un cadre de distillation hors politique assoupli qui stabilise l'apprentissage en interprétant la relation enseignant-élève comme une optimisation de politique, permettant ainsi d'obtenir une efficacité d'échantillonnage supérieure et une meilleure mise à l'échelle du raisonnement par rapport aux approches d'apprentissage par renforcement existantes.

Auteurs originaux : Jongwoo Ko, Sara Abdali, Young Jin Kim, Tianyi Chen, Pashmina Cameron

Publié 2026-03-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jongwoo Ko, Sara Abdali, Young Jin Kim, Tianyi Chen, Pashmina Cameron

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'Élève qui veut devenir un Génie (mais qui panique)

Imaginez que vous avez un professeur de mathématiques exceptionnel (le "Modèle Maître", très gros et très intelligent) et un étudiant brillant mais petit (le "Modèle Élève", plus petit et moins puissant).

L'objectif est d'enseigner au petit élève comment raisonner aussi bien que le grand professeur.

Jusqu'à présent, la méthode standard (appelée Distillation On-Policy) fonctionnait un peu comme un tuteur tyrannique :

L'étudiant essaie de résoudre un problème.
Le professeur regarde la réponse.
Si l'étudiant s'écarte même un tout petit peu de la pensée du professeur, le tuteur crie : "NON ! C'est faux ! Recommence tout !"

Le problème ? L'étudiant, terrifié par la peur de l'erreur, arrête de réfléchir par lui-même. Il devient rigide, perd sa créativité, et finit par ne plus rien comprendre du tout. C'est ce qu'on appelle l'effondrement de l'entropie : l'étudiant se fige et ne explore plus de nouvelles idées.

💡 La Solution : REOPOLD (L'Entraîneur Bienveillant)

Les auteurs de cet article ont inventé REOPOLD. C'est une nouvelle méthode d'entraînement qui change radicalement la façon dont le professeur parle à l'élève.

Au lieu d'être un tyran, REOPOLD agit comme un coach de sport intelligent qui utilise trois astuces magiques :

1. Le "Filtre à Bruit" (Clipping des Récompenses)

Parfois, le professeur est si perfectionniste qu'il donne une note de "catastrophe totale" pour une petite erreur mineure.

L'analogie : Imaginez que vous jouez au basket. Vous ratez un panier de 1 cm. Un coach tyrannique vous crie : "Tu es nul, tu ne joueras jamais !"
Ce que fait REOPOLD : Il met un "plafond" à la critique. Il dit : "Ok, c'était un peu raté, mais ce n'est pas la fin du monde. On ne va pas te punir à mort pour ça." Cela empêche l'élève de paniquer et de s'arrêter de jouer.

2. Le "Focus sur l'Important" (Échantillonnage Dynamique)

Dans une longue réponse, il y a des mots faciles (comme "le", "la", "et") et des moments de réflexion cruciaux (comme "donc, si on fait ça...").

L'analogie : Un coach qui vous ferait refaire 100 fois le même échauffement simple alors que vous devez travailler votre tir à 3 points. C'est du gaspillage d'énergie.
Ce que fait REOPOLD : Il ignore les mots faciles où l'élève et le professeur sont déjà d'accord. Il se concentre uniquement sur les moments de doute et de complexité (les "moments à haute entropie"). C'est comme dire à l'élève : "Arrête de t'entraîner à marcher, concentre-toi sur le saut !"

3. La "Double Phase" (Exploration puis Affinage)

REOPOLD ne demande pas la même chose à l'élève tout le long de l'entraînement.

Phase 1 (Exploration) : Au début, on laisse l'élève essayer plein de choses, même des idées un peu folles. On ne le punit pas trop sévèrement. C'est comme un enfant qui apprend à faire du vélo : il faut qu'il tombe pour apprendre, sans qu'on lui crie dessus.
Phase 2 (Affinage) : Une fois que l'élève a compris les bases, on devient plus strict. On lui demande de perfectionner ses meilleures idées et d'éliminer les erreurs.

🚀 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, les résultats sont spectaculaires :

Efficacité incroyable : L'élève apprend 6 à 12 fois plus vite qu'avec les anciennes méthodes. Il faut beaucoup moins de temps et d'ordinateurs pour obtenir un résultat excellent.
Petit modèle, gros cerveau : Un petit modèle (7 milliards de paramètres) entraîné avec REOPOLD arrive à rivaliser avec un géant de 32 milliards de paramètres, mais en étant 3 fois plus rapide à répondre.
Moins d'illusions : Sur des tâches visuelles (comme lire un graphique), l'ancien modèle voyait des choses qui n'existaient pas (hallucinations). Avec REOPOLD, l'élève reste ancré dans la réalité et corrige ses propres erreurs.

🎯 En Résumé

Imaginez que vous voulez apprendre à cuisiner un plat complexe.

L'ancienne méthode : Votre chef vous regarde chaque seconde. Si vous posez une carotte de travers, il vous renvoie le plat à la poubelle et vous crie dessus. Vous finissez par ne plus oser toucher aux légumes.
La méthode REOPOLD : Le chef vous laisse essayer. Il vous dit : "Oups, la carotte était un peu de travers, mais ce n'est pas grave, continue." Il ne vous corrige que sur les étapes vraiment importantes (le feu, le sel). Et il vous laisse d'abord jouer avec les ingrédients avant de vous demander la perfection.

Le résultat ? Vous apprenez plus vite, vous vous amusez plus, et vous devenez un meilleur cuisinier, même si vous êtes plus petit que le chef !

1. Problématique

L'article aborde la difficulté de transférer les capacités de raisonnement avancées des grands modèles de langage (LLM) vers des modèles plus petits (SLM). Bien que l'apprentissage par renforcement (RL) post-entraînement (comme DeepSeek-R1 ou OpenAI o1) ait permis des sauts qualitatifs, son application directe aux petits modèles est souvent inefficace en raison de leur capacité de représentation limitée et de l'instabilité de l'optimisation sur des récompenses clairsemées.

La distillation sur politique (On-Policy Distillation) a émergé comme une alternative prometteuse, où l'élève apprend à partir de ses propres trajectoires guidées par un enseignant. Cependant, les méthodes actuelles (comme la minimisation de la divergence de Kullback-Leibler, RKL) souffrent de trois problèmes majeurs :

Instabilité de l'optimisation : Les rapports de vraisemblance entre l'enseignant et l'élève peuvent diverger vers $-\infty$ lorsque l'élève génère des tokens que l'enseignant considère comme impossibles, créant des récompenses négatives à "queue lourde" (heavy-tailed) qui explosent les gradients.
Inefficacité des signaux : La majorité des tokens sont bien alignés entre l'élève et l'enseignant, générant des rapports proches de zéro (récompenses dégénérées) qui diluent le signal d'apprentissage et gaspillent des ressources de calcul.
Effondrement de l'entropie : La méthode tend à converger prématurément vers un ensemble restreint de solutions, étouffant l'exploration nécessaire au raisonnement complexe.

2. Méthodologie : REOPOLD

Les auteurs proposent REOPOLD (Relaxed On-Policy Distillation), un cadre qui interprète la distillation comme une optimisation de politique (Policy Optimization) où le rapport de vraisemblance log-likelihood agit comme une récompense de token. Pour stabiliser ce processus, REOPOLD introduit trois mécanismes clés :

A. Équivalence Théorique et Stop-Gradient

Les auteurs démontrent théoriquement que l'objectif de distillation RKL est équivalent à une méthode de gradient de politique. Pour stabiliser l'entraînement, ils appliquent un opérateur stop-gradient sur le terme de récompense (le rapport de vraisemblance). Cela transforme la récompense en un signal fixe, agissant comme une variable de contrôle pour réduire la variance des gradients, similaire aux techniques utilisées en RL moderne.

B. Recadrage des Récompenses par Mélange (Mixture-Based Reward Clipping)

Pour contrer les récompenses négatives extrêmes (lorsque la probabilité de l'enseignant tend vers 0), REOPOLD utilise une borne inférieure théorique dérivée d'une distribution de mélange convexe.

Au lieu de laisser le rapport de vraisemblance diverger, il est "recadré" (clipped) à une valeur minimale : $\log \frac{\lambda}{1-\lambda}$ .
Cela empêche l'explosion des gradients tout en préservant la nature "mode-seeking" de la distillation, contrairement aux méthodes globales comme le Skew RKL qui sont sensibles aux hyperparamètres.

C. Échantillonnage Dynamique Guidé par l'Entropie

Au lieu d'apprendre sur tous les tokens, REOPOLD filtre dynamiquement les tokens à apprendre :

Observation : Les tokens à faible entropie (déterministes) ont des récompenses proches de zéro et n'apportent pas d'information. Les tokens à haute entropie (points de décision critiques) contiennent le signal d'apprentissage le plus riche.
Mécanisme : Un masque binaire sélectionne uniquement les tokens dont l'entropie de la politique de l'élève dépasse un certain seuil (top $\beta$ -percentile). Cela concentre le calcul sur les étapes de raisonnement incertaines où l'élève et l'enseignant divergent.

D. Stratégie Multi-Phase (Exploration vers Raffinement)

L'entraînement est divisé en deux phases pour gérer le compromis exploration/exploitation :

Phase d'Exploration : Les récompenses négatives excessives sont filtrées pour encourager la diversité des solutions et éviter l'effondrement de l'entropie (comportement proche du SFT).
Phase de Raffinement : Le filtrage basé sur l'entropie est activé pour isoler et amplifier les chemins de raisonnement corrects, permettant une convergence précise (comportement proche du RL).

3. Contributions Clés

Diagnostic de l'instabilité : Identification des récompenses négatives à queue lourde et de la dilution du signal comme causes racines de l'échec de la distillation sur politique.
Cadre unifié REOPOLD : Une méthode qui combine recadrage de récompense, échantillonnage dynamique et entraînement multi-étapes pour stabiliser l'optimisation.
Efficacité et Évolutivité : Démonstration que REOPOLD permet aux petits modèles d'atteindre des performances proches des grands modèles enseignants avec une efficacité d'échantillonnage bien supérieure.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de raisonnement mathématique, visuel et d'agents (utilisation d'outils).

Efficacité des Échantillons (Mathématiques) :
- Sur le benchmark AIME-25, REOPOLD atteint des performances supérieures avec 6,7 à 12 fois moins d'échantillons d'entraînement que les approches RL (ProRL) et la distillation RKL standard.
- Un modèle de 1,5B entraîné avec REOPOLD surpasse les modèles de base et les approches RL en seulement 150 étapes, là où RKL nécessite 300 étapes.
Évolutivité au Test (Visual Reasoning) :
- Sur des tâches de raisonnement visuel (Geometry3K, MathVerse), un modèle élève de 7B entraîné avec REOPOLD atteint des performances comparables à un enseignant de 32B, avec un accélération d'inférence de 3,3x.
- REOPOLD montre une meilleure courbe d'échelle (Test-time scaling) : en augmentant le nombre de tentatives (Pass@K), la précision augmente plus rapidement que pour les baselines.
Robustesse :
- Contrairement au RKL qui devient instable ou dégrade les performances sur des modèles plus grands (7B), REOPOLD maintient une stabilité et une amélioration continue.
- La méthode est robuste face au choix du modèle enseignant (7B ou 32B).
Raisonnement Agentique :
- Sur des tâches d'utilisation d'outils visuels, REOPOLD surpasse les méthodes RL complexes (comme GRPO avec récompenses ingénierées) en termes d'efficacité et de généralisation.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la distillation de connaissances et l'apprentissage par renforcement pour les modèles de raisonnement.

Changement de paradigme : Il démontre que la distillation stricte (imitation parfaite) est contre-productive pour les petits modèles. Une approche "relâchée" (Relaxed), qui filtre le bruit et guide l'exploration, est essentielle.
Accessibilité : REOPOLD permet de déployer des capacités de raisonnement de niveau "o1" sur des modèles compacts (3B-7B) avec des coûts de calcul réduits, rendant ces technologies plus accessibles.
Stabilité : En résolvant les problèmes d'instabilité inhérents à la distillation sur politique, il ouvre la voie à une adoption plus large de ces techniques pour l'entraînement de modèles spécialisés.

En résumé, REOPOLD propose une solution élégante et efficace pour "scaler" le raisonnement, transformant la distillation d'un processus d'imitation rigide en un processus d'optimisation dynamique et stable.