🤖 machine learning

Self-Distilled Policy Gradient

Ce document propose SDPG, un cadre de gradient de politique auto-distillé qui intègre l'auto-distillation on-policy via une perte KL inverse sur l'ensemble du vocabulaire avec des avantages de vérificateur relatifs au groupe et une régularisation de la politique de référence afin d'améliorer la stabilité et la performance de l'apprentissage par renforcement à récompense parcimonieuse.

Auteurs originaux : Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un étudiant à mieux réfléchir

Imaginez que vous formez un étudiant brillant mais inexpérimenté (le modèle d'IA) pour résoudre des problèmes mathématiques difficiles. L'étudiant est intelligent, mais il se perd souvent dans ses propres étapes de raisonnement.

Actuellement, la méthode standard pour former ces étudiants est l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Voyez cela comme un examen de type « Réussite/Échec ». L'étudiant rédige une solution complète, et un surveillant strict (le Vérificateur) vérifie la réponse finale.

Si la réponse est correcte : L'étudiant reçoit une étoile dorée (+1).
Si la réponse est fausse : Il reçoit une croix rouge (0).

Le problème : Ce système de « Réussite/Échec » est trop vague. Si l'étudiant se trompe, il ne sait pas quelle étape spécifique a causé l'erreur. A-t-il raté l'algèbre à l'étape 3 ? Ou la logique à l'étape 7 ? Parce que le feedback est trop parcimonieux (uniquement à la fin), l'étudiant apprend lentement et s'embrouille parfois, ce qui rend l'entraînement instable.

La solution : Le tuteur en « Auto-Distillation »

Les auteurs proposent une nouvelle méthode appelée SDPG. Au lieu de simplement attendre une note finale, l'étudiant bénéficie d'une « feuille de triche » ou d'une « vue privilégiée » de la solution pendant qu'il rédige sa réponse.

Voici comment fonctionne le SDPG, divisé en trois parties :

1. Les deux chapeaux : Étudiant et Enseignant

Dans l'enseignement traditionnel, vous avez besoin d'un grand professeur coûteux (l'Enseignant) pour enseigner à un petit étudiant. C'est difficile car vous devez faire fonctionner deux ordinateurs massifs en même la fois.
Dans l'Auto-Distillation, l'étudiant porte deux chapeaux :

Le Chapeau d'Étudiant : Le modèle essaie de résoudre le problème en utilisant uniquement la question (sans indices).
Le Chapeau d'Enseignant : Le même modèle essaie de résoudre le problème à nouveau, mais cette fois, il dispose d'un « contexte privilégié » (un indice, un chemin de solution ou un guide de raisonnement généré par une IA puissante comme Gemini).

Le modèle apprend en essayant de faire correspondre les prédictions de son « Chapeau d'Étudiant » avec celles de son « Chapeau d'Enseignant ». C'est comme un musicien qui pratique une chanson : il écoute l'enregistrement parfait (l'Enseignant) et essaie de faire correspondre sa propre interprétation (l'Étudiant) note par note. Cela donne un feedback dense, étape par étape, plutôt qu'une simple note finale.

2. Le filet de sécurité : Le filtre des « Bonnes Idées »

Il y a un risque ici. Si l'étudiant est sur une voie complètement erronée (par exemple, s'il résout un problème totalement différent), le « Chapeau d'Enseignant » pourrait tout de même lui donner une solution parfaite pour le mauvais problème. Si l'étudiant copie aveuglément cela, il devient simplement meilleur pour se tromper.

Le SDPG résout cela avec un Gatage d'Avantage Positif (Positive Advantage Gating).

L'analogie : Imaginez un entraîneur qui regarde l'étudiant. Si l'étudiant s'éloigne du terrain (obtenant un mauvais score du Vérificateur), l'entraîneur dit : « Stop ! N'écoute pas encore la solution parfaite, car tu es en train de résoudre la mauvaise chose. »
Le système ne permet à l'étudiant d'apprendre du « Chapeau d'Enseignant » que si le « Chapeau d'Étudiant » a déjà produit un chemin que le Vérificateur juge prometteur (une récompense positive). Cela garantit que l'étudiant n'internalise que le bon raisonnement, et non de simples réponses parfaites à de mauvaises questions.

3. L'échauffement et le refroidissement

Les auteurs ont également réalisé que l'on ne peut pas forcer l'étudiant à écouter l'enseignant immédiatement ou pour toujours.

L'échauffement (Warm-up) : Au début, l'étudiant est trop confus pour apprendre de l'enseignant. Il commence donc par l'examen simple « Réussite/Échec ». Une fois qu'il commence à obtenir des réponses correctes, on active progressivement les leçons du « Chapeau d'Enseignant ».
Le refroidissement (Cool-down) : Vers la fin de l'entraînement, l'étudiant a internalisé les leçons. S'il continue d'écouter l'enseignant de manière excessive, il risque de cesser de réfléchir par lui-même (un problème appelé « effondrement de mode » ou mode collapse). Ainsi, le système éteint progressivement la voix de l'enseignant, laissant l'étudiant s'appuyer sur ses propres compétences.

Le résultat

En combinant la note finale (du Vérificateur) avec un guidage étape par étape (de l'Auto-Enseignant), tout en filtrant pour que l'étudiant n'apprenne que des chemins corrects, l'IA devient :

Plus stable : Elle ne plante pas et ne s'embrouille pas durant l'entraînement.
Plus intelligente : Elle apprend à mieux raisonner car elle reçoit un feedback sur chaque étape, et pas seulement à la fin.
Plus rapide : Elle atteint des niveaux de performance élevés en moins d'étapes d'entraînement que les méthodes précédentes.

En résumé, le SDPG est comme donner à un étudiant un tuteur qui ne prend la parole que lorsque l'étudiant est sur la bonne voie, puis qui le laisse progressivement passer l'examen seul une fois qu'il a maîtrisé la matière.

Résumé Technique : Self-Distilled Policy Gradient (SDPG)

Énoncé du Problème
L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu une norme pour le post-entraînement des grands modèles de langage (LLM) sur des tâches de raisonnement comme les mathématiques et la génération de code. Des algorithmes tels que le Group Relative Policy Optimization (GRPO) optimisent par rapport à des récompenses de résultat basées sur des règles (ex: réponses correctes/incorrectes) sans nécessiter d'annotations de préférences humaines. Cependant, le RLVR fait face à deux limitations principales :

Récompenses éparses : Le signal de récompense est appliqué au niveau de la séquence, ce qui rend difficile l'attribution de crédit à des étapes de raisonnement spécifiques (tokens), entraînant une exploration inefficace.
Instabilité de l'entraînement : Les premières étapes de l'entraînement souffrent souvent d'avantages négatifs, provoquant une instabilité et une dégradation potentielle des capacités linguistiques fondamentales.

Bien que l'On-Policy Distillation (OPD) ait été proposée pour fournir une supervision dense au niveau du token, les approches traditionnelles reposent sur des modèles enseignants externes plus larges, ce qui entraîne des coûts de mémoire élevés et introduit des décalages de distribution. Des méthodes récentes de « auto-distillation », où le modèle agit à la fois comme étudiant et enseignant en utilisant un contexte privilégié (ex: solutions de vérité terrain), traitent le problème de la mémoire mais risquent de renforcer des tokens localement plausibles sur des trajectoires globalement incorrectes s'ils ne sont pas correctement contraints. De plus, une auto-distillation pure peut conduire à un effondrement de mode (mode collapse) et à une réduction de l'exploration.

Méthodologie : Cadre SDPG
Le document propose le Self-Distilled Policy Gradient (SDPG), un cadre qui intègre l'auto-distillation on-policy à plein vocabulaire exacte avec une optimisation de politique régularisée par KL. L'objectif central combine trois composantes :

Gradient de politique basé sur le résultat ( $L_{out}$ ) :
SDPG conserve le signal de récompense binaire épars provenant d'un vérificateur. Il utilise un avantage relatif au groupe ( $A_{out}$ ) normalisé au sein d'un groupe de rollouts pour stabiliser l'apprentissage, de manière similaire à GRPO, mais formulé comme une perte de substitut directe de type REINFORCE sans le découpage par ratio d'importance de style PPO.
Auto-distillation On-Policy à plein vocabulaire exacte ( $L_{OPD}$ ) :
Au lieu d'échantillonner des tokens pour approximer le signal de l'enseignant, SDPG calcule la divergence de Kullback-Leibler (KL) inverse exacte entre la distribution de l'étudiant ( $p_t$ ) et une distribution d'enseignant privilégiée ( $q_t$ ) conditionnée par un contexte supplémentaire $c$ (ex: solutions ou chemins de raisonnement).

Identité de Gradient : Les auteurs dérivent un résultat théorique clé (Proposition 3.1) : le gradient de la perte KL-inverse à plein vocabulaire par rapport à la politique de l'étudiant est localement identique à une mise à jour de gradient de politique par échantillonnage détaché. L'« avantage » dans cette mise à jour est un log-ratio centré des probabilités de l'enseignant et de l'étudiant.
Mécanisme de Porte (Gating) : Pour empêcher l'enseignant privilégié de renforcer des trajectoires incorrectes, la perte de distillation est filtrée par l'avantage de résultat. La distillation n'est appliquée que lorsqu'un déroulement est vérifié comme correct ( $A_{out} > 0$ ).

Régularisation de la Politique de Référence ( $L_K$ ) :
Pour éviter que la politique ne dévie trop de ses capacités initiales ou ne s'effondre, SDPG ancre la politique mise à jour à une politique de référence fixe ( $\pi_{ref}$ ). Le document utilise la divergence Unnormalized KL (UKL) (forward ou reverse) pour cette régularisation, qui offre des gradients plus élégants et symétriques par rapport à la KL normalisée standard, particulièrement lors du traitement de mesures non normalisées.

Stratégies de Stabilisation
Pour gérer le bruit du signal privilégié et le compromis entre exploration et exploitation, SDPG introduit deux stabilisateurs :

Porte d'Avantage Positif (Positive Advantage Gating) : Garantit que la distillation ne se produit que sur les trajectoires approuvées par le vérificateur.
Calendrier de Warmup-Decay ( $\beta(k)$ ) : Le coefficient de distillation $\beta$ est progressivement augmenté (warmup) pour permettre au modèle de trouver des trajectoires correctes avant de s'appuyer sur la distillation, puis diminué (decay) vers la fin de l'entraînement. Cela empêche le signal privilégié de trop contraindre le modèle une fois que celui-ci a internalisé les connaissances nécessaires, encourageant l'exploration en phase finale.

Contributions Clés

Dérivation Théorique : Le document dérive une forme exacte de gradient de politique locale pour la distillation on-policy à plein vocabulaire de la KL-inverse, montant qu'elle est équivalente à une mise à jour par échantillonnage détaché avec un avantage de log-ratio centré.
Objectif Novel : Il propose un objectif unifié combinant des récompenses de résultat binaires, une distillation privilégiée à plein vocabulaire avec porte, et une régularisation KL non normalisée par rapport à une référence fixe.
Techniques de Stabilisation : L'introduction de la porte d'avantage positif et d'un calendrier de warmup-decay pour le coefficient de distillation afin d'équilibrer la supervision dense et l'exploration.

Résultats Expérimentaux
Les auteurs ont évalué SDPG sur des benchmarks de raisonnement mathématique (AIME2024, AIME2025, AMC23) en utilisant Qwen3-4B.

Performance : Les deux variantes de SDPG (utilisant l'Unnormalized Forward KL et l'Unnormalized Reverse KL) ont surpassé la baseline GRPO et la baseline d'auto-distillation RLSD sur tous les benchmarks.
Stabilité : Les variantes SDPG ont atteint des plateaux de haute récompense de manière nettement plus rapide que GRPO. Notamment, SDPG a maintenu une entropie d'acteur plus élevée tout au long de l'entraînement par rapport à RLSD, qui a présenté un effondrement de l'entropie (signe d'un effondrement de mode) autour de l'étape 250.
Efficacité : Les méthodes SDPG ont produit des longueurs de réponse suffisantes pour un raisonnement multi-étapes, mais plus concises que les sorties verbeuses de GRPO.

Signification
Le document affirme que SDPG comble avec succès l'écart entre le RLVR à récompense éparse et l'auto-distillation à supervision dense. En traitant l'auto-distillation comme une mise à jour de gradient de politique et en contrôlant rigoureusement le signal privilégié via le filtrage et le calendrier, SDPG atteint une stabilité et une performance supérieures. Il démontre que la supervision dense au niveau du token, dérivée du propre contexte privilégié du modèle, peut guider efficacement les modèles de raisonnement sans le surcoût de mémoire d'enseignants externes ou l'instabilité d'une auto-distillation pure.