🤖 machine learning

Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training

Cet article propose et valide empiriquement un principe de récompense « de l'éparse au dense » pour le post-entraînement des modèles de langage, démontrant que l'affectation de données vérifiables rares pour entraîner un modèle enseignant robuste avec des récompenses éparses avant de transférer son comportement vers un modèle étudiant plus petit via une supervision dense surpasse l'apprentissage par renforcement éparse direct sur l'étudiant.

Auteurs originaux : Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème Central : Une Ressource Rare

Imaginez que vous êtes l'entraîneur principal d'une équipe sportive, mais que vous ne possédez qu'un seul et unique manuel de jeu parfait (étiqueté données d'entraînement) montrant exactement comment gagner un match spécifique. Ce manuel est rare et coûteux à créer.

Vous avez deux joueurs :

Le Rookie (Le Modèle Étudiant) : Un joueur petit, rapide et bon marché qui doit être prêt à jouer le grand match demain.
Le Vétéran (Le Modèle Enseignant) : Un joueur énorme, puissant et expérimenté qui est excellent pour apprendre, mais qui ne joue pas dans le match final.

L'Ancienne Méthode (Pratique Standard) :
Traditionnellement, les entraîneurs remettaient ce manuel unique et précieux directement au Rookie. Ils disaient : « Tiens, étudie ceci et essaie de comprendre les mouvements gagnants. »

Le Problème : Le Rookie est trop inexpérimenté. Il pourrait ne même pas comprendre le manuel, ou faire tellement d'erreurs en essayant d'apprendre qu'il n'arrive jamais à apprendre les bons mouvements. C'est comme donner un manuel de physique complexe à un tout-petit ; la ressource est gaspillée car l'élève n'est pas prêt pour cela.

La Nouvelle Idée : Le Principe de « Densité de Récompense »

Les auteurs de ce document proposent une manière plus intelligente de dépenser ce manuel précieux. Ils soutiennent que vous ne devriez pas donner le manuel au Rookie en premier. À la place, vous devriez suivre un processus de « Pont » en trois étapes :

Étape 1 : Laissez le Vétéran Apprendre en Premier (Décôté Côté Enseignant)

Remettez le manuel précieux au Vétéran en premier.

Pourquoi ? Le Vétéran est assez intelligent pour lire le manuel, comprendre les stratégies complexes et déterminer pourquoi certains mouvements gagnent. Il peut transformer ce signal « victoire/défaite » rare et difficile à comprendre en une compréhension profonde et riche du jeu.
Le Résultat : Le Vétéran devient un expert « Façonné par la Récompense ». Il ne connaît pas seulement la réponse ; il connaît la meilleure façon d'y parvenir.

Étape 2 : Le « Pont » (Transfert Dense)

Maintenant, au lieu de donner le manuel original au Rookie, vous faites enseigner le Rookie par le Vétéran.

L'Analogie : Imaginez que le Vétéran ne dit pas seulement « Gagner ou Perdre » (ce qui est rare). Au lieu de cela, le Vétéran chuchote une instruction spécifique pour chaque étape que le Rookie effectue. « Avance à gauche ici », « Passe le ballon maintenant », « Esquive sous cela ».
Le Terme du Document : Cela s'appelle un « Pont Dense ». Il transforme le seul grand signal « Victoire » en milliers de petits signaux utiles « Fais ceci ensuite ».
L'Astuce en Deux Étapes : Le document a constaté que vous ne pouvez pas passer directement aux chuchotements d'instructions. D'abord, vous avez besoin d'un « Échauffement » où le Rookie imite le style général du Vétéran (Forward-KL). Ensuite, vous commencez les chuchotements détaillés (OPD). Cela empêche le Rookie de se confondre ou d'essayer d'apprendre des mouvements pour lesquels il n'est pas encore prêt.

Étape 3 : Le Rookie a une Deuxième Chance (RL Post-Pont)

Une fois que le Rookie a appris du Vétéran via le Pont, il est beaucoup plus intelligent. Maintenant, si vous avez des copies restantes du manuel, vous pouvez les donner au Rookie pour qu'il s'entraîne seul.

Le Résultat : Parce que le Rookie est maintenant « pré-entraîné » par le Pont, il peut réellement utiliser le manuel rare de manière efficace. Il peut apprendre de ses propres erreurs car il possède déjà une base solide.

Ce que les Expériences ont Montré

Les chercheurs ont testé cela sur des problèmes de mathématiques (comme résoudre des équations complexes). Ils ont comparé trois scénarios :

Entraînement Direct : Donner le manuel directement au petit modèle.
- Résultat : Le modèle a lutté. Il a obtenu environ 75,9 % de bonnes réponses sur des tests de mathématiques difficiles.
Enseignant en Premier (La Nouvelle Méthode) : Laisser le grand modèle apprendre, puis enseigner au petit modèle.
- Résultat : Le petit modèle a obtenu 79,3 % de bonnes réponses. C'est un saut significatif !
Le « Pont » Compte : Ils ont essayé de sauter l'étape « Échauffement » dans le Pont.
- Résultat : Le modèle a moins bien réussi. Le pont en deux étapes était essentiel pour que le transfert fonctionne.

La Grande Leçon

La leçon principale du document concerne l'allocation. Ne gaspillez pas vos meilleures données rares sur le joueur le plus faible.

Utilisez les données rares sur le joueur le plus fort (l'Enseignant) pour découvrir les meilleures stratégies.
Convertissez ces stratégies en un guide dense, étape par étape (le Pont).
Remettez ce guide au joueur plus faible (l'Étudiant).
Ce n'est qu'alors que le joueur plus faible peut s'entraîner seul avec les données restantes.

C'est comme dire : « Ne laissez pas l'apprenti essayer de lire directement le journal intime du maître. Laissez le maître le lire, rédiger un manuel simplifié basé dessus, et ensuite donner le manuel à l'apprenti. » Ce simple changement d'ordre a rendu le petit modèle nettement meilleur pour résoudre des problèmes de mathématiques.

Résumé technique : Au-delà de GRPO et de la distillation sur politique

Énoncé du problème

Dans le post-entraînement des grands modèles de langage (LLM) pour des tâches vérifiables (par exemple, le raisonnement mathématique), les données d'entraînement étiquetées constituent le principal goulot d'étranglement. Contrairement aux données de préentraînement ou aux déployages d'enseignants, qui peuvent être mis à l'échelle avec la puissance de calcul, les données étiquetées pour des tâches aux réponses vérifiables (nécessitant un correcteur) sont rares et coûteuses à générer.

La pratique industrielle standard consiste à appliquer directement ces données étiquetées rares au modèle de déploiement (l'« élève ») en utilisant des algorithmes d'apprentissage par renforcement (RL) à récompense sparse comme GRPO. Cet article soutient que cette allocation est inefficace. Un petit modèle de déploiement manque souvent de capacité pour générer suffisamment fréquemment des trajectoires réussies afin d'apprendre efficacement à partir de récompenses sparse au niveau de la séquence. Par conséquent, le signal de gradient s'effondre et les données étiquetées produisent des résultats sous-optimaux.

Méthodologie centrale : Le principe de densité de récompense

L'article propose un principe de densité de récompense pour optimiser l'allocation des données étiquetées rares. Il postule que les récompenses sparse au niveau de la séquence et les récompenses denses au niveau du token dérivées de l'enseignant existent sur le même axe d'un objectif de politique régularisé par KL, mais remplissent des rôles différents selon la capacité du modèle :

Récompense sparse (Découverte côté enseignant) : Les récompenses sparse sont sans biais mais nécessitent une politique capable d'échantillonner des trajectoires réussies pour être informatives. Elles doivent être appliquées à un modèle enseignant plus grand et plus puissant capable de convertir les signaux sparse en une distribution « façonnée par la récompense ».
Récompense dense (Compression côté élève) : Les récompenses denses (dérivées des log-probabilités de l'enseignant) fournissent un signal à chaque token mais sont biaisées vers l'enseignant. Elles sont idéales pour compresser le comportement de l'enseignant dans un élève de déploiement plus petit.

Le pipeline proposé

Les auteurs proposent un pipeline en trois étapes qui réorganise la séquence standard de post-entraînement :

Étape 1 : Découverte côté enseignant. Appliquer une récompense sparse (par exemple, GRPO) à un grand modèle enseignant en utilisant les données étiquetées rares. Cela crée une politique enseignante façonnée par la récompense ( $\pi_T$ ).
Étape 2 : Le pont dense en deux étapes. Transférer le comportement de l'enseignant à l'élève via un processus en deux étapes pour assurer la stabilité et la couverture :
- Échauffement Forward-KL (FKL) : Entraîner l'élève sur les déployages de l'enseignant pour couvrir le support de l'enseignant (couverture des modes). Cela corrige le « décalage de support » où les déployages initiaux de l'élève ne chevauchent pas les états utiles de l'enseignant.
- Distillation sur politique (OPD) : Entraîner l'élève sur ses propres déployages en utilisant les log-probabilités de l'enseignant comme signal de récompense dense ( $r_T(s, y) = \beta \log \pi_T(y|s)$ ). Cela équivaut à un RL à entropie maximale avec une récompense dense.
Étape 3 : RL élève post-pont (Optionnel). Si des données étiquetées subsistent, appliquer une récompense sparse directement à l'élève désormais préparé. Le pont garantit que l'élève est suffisamment « entraînable » pour bénéficier de ce signal sparse final.

Contributions clés

L'article apporte trois contributions principales, validées sur des tâches mathématiques vérifiables (MATH, AIME 2024/2025) en utilisant les familles de modèles Qwen3 et Llama :

Allocation prioritaire à l'enseignant : Allouer les données étiquetées rares au RL côté enseignant suivi d'un transfert dense produit un élève plus performant que d'allouer les mêmes données au RL élève direct. Crucialement, l'enseignant doit être façonné par la récompense ; transférer un enseignant brut ou uniquement SFT sous-performe par rapport à GRPO direct, prouvant que l'échelle seule est insuffisante.
Supériorité du pont en deux étapes : Un pont composé d'un échauffement Forward-KL suivi d'OPD surpasse systématiquement les alternatives en une seule étape (SFT échantillonné par l'enseignant ou OPD uniquement). L'échauffement garantit que l'élève entre dans la région de support de l'enseignant, rendant l'étape OPD sur politique subséquente bien conditionnée.
Efficacité du RL élève post-pont : Une fois le pont établi, le RL à récompense sparse sur l'élève devient efficace. GRPO direct sur un élève « froid » est faible, mais GRPO sur un élève ayant traversé le pont améliore considérablement les performances (par exemple, +3,1 points sur MATH) et surpasse les contrôles de replay qui réutilisent les données du pont.

Résultats expérimentaux

Les expériences ont été menées avec une taille fixe d'élève de déploiement (Qwen3-1.7B) et des tailles d'enseignant variables (8B, 14B et 70B Llama).

Gains de performance :
- MATH : Le pipeline proposé (Enseignant 8B RL + Pont) a atteint 79,3 % de précision, surpassant GRPO direct sur l'élève 1.7B (75,9 %) et le transfert depuis un enseignant 8B brut (71,5 %).
- AIME 2024 : Le pipeline a atteint 25,2 %, contre 19,8 % pour GRPO direct.
- Validation Llama : Le même ordre de grandeur s'applique aux modèles Llama : Transfert Raw-70B (55,4 %) < GRPO direct (59,8 %) < Transfert RL'd-70B (62,1 %).
Résultats d'ablation :
- Qualité de l'enseignant : Transférer un enseignant avant qu'il ne subisse un RL sparse entraîne des performances pires que le GRPO élève direct. L'enseignant doit d'abord découvrir un comportement façonné par la récompense.
- Nécessité du pont : Supprimer l'échauffement Forward-KL (OPD uniquement) ou remplacer le pont par un SFT échantillonné par l'enseignant entraîne une baisse de performance, confirmant le besoin à la fois d'une couverture de support hors politique et d'un raffinement sur politique.
- Allocation des données : Utiliser toutes les données étiquetées en amont pour l'enseignant (Route côté enseignant) a produit des résultats légèrement meilleurs (79,3 %) que le partage des données pour un RL élève post-pont (78,5 %), bien que cette dernière reste une alternative compétitive et moins coûteuse.

Importance et implications opérationnelles

L'article redéfinit le paysage du post-entraînement non pas comme un menu d'algorithmes concurrents (SFT vs RL vs Distillation), mais comme un problème d'allocation basé sur la densité de récompense.

Leçon opérationnelle : Éviter d'utiliser des données étiquetées rares sur la politique la moins préparée (l'élève froid). Au lieu de cela, utiliser une récompense sparse en amont sur un enseignant capable pour découvrir un comportement, convertir ce comportement en supervision dense via un pont en deux étapes, et ne considérer une récompense sparse sur l'élève que si les données le permettent.
Insight théorique : Ce travail unifie la distillation sur politique (OPD) et le RL sparse sous un cadre objectif unique, ne différant que par la densité du signal de récompense et le modèle qui le reçoit. Il démontre que la « distillation » est essentiellement un RL à récompense dense, et son efficacité est strictement limitée par la qualité de la distribution de l'enseignant.
Limites : Les preuves sont actuellement limitées aux tâches mathématiques vérifiables et à des familles de modèles spécifiques (Qwen et Llama) avec des tokenizers partagés. L'article ne prétend pas que le principe s'applique aux tâches ouvertes sans vérificateurs ni aux transferts inter-familles sans vocabulaires partagés.