🤖 machine learning

Self-Distilled RLVR

Ce papier présente RLSD, une méthode qui combine l'apprentissage par renforcement avec récompenses vérifiables (RLVR) et la distillation sur politique pour obtenir des directions de mise à jour fiables et des magnitudes d'ajustement fines, surmontant ainsi les problèmes de fuite d'information et d'instabilité rencontrés dans la distillation sur politique pure.

Auteurs originaux : Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

Publié 2026-04-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chenxu Yang, Chuanyu Qin, Qingyi Si, Minghui Chen, Naibin Gu, Dingyu Yao, Zheng Lin, Weiping Wang, Jiaqi Wang, Nan Duan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Dilemme de l'Étudiant et du Professeur

Imaginez que vous apprenez à résoudre des énigmes complexes (comme des problèmes de mathématiques ou de logique) avec un grand modèle d'intelligence artificielle (l'IA). Pour l'améliorer, on utilise deux méthodes principales :

Le "Coup de pouce" (RLVR) : L'IA essaie de résoudre l'énigme. À la fin, un vérificateur lui dit simplement : "Bravo, c'est juste" ou "Non, c'est faux".
- Le problème : C'est comme si un professeur vous disait "Tu as eu 20/20" ou "Tu as eu 0/20" à la fin d'un examen, sans vous dire où vous avez fait les erreurs. L'IA sait qu'elle a gagné ou perdu, mais elle ne sait pas exactement quelles étapes de son raisonnement étaient bonnes ou mauvaises.
L'Auto-Distillation (OPSD) : L'IA joue à la fois le rôle de l'élève et du professeur. Le "professeur" (une version de l'IA qui a accès à la solution secrète) donne des conseils très précis à l'élève à chaque mot qu'il écrit.
- Le problème (et la découverte du papier) : C'est comme si l'élève lisait la solution cachée sur le bureau du professeur pendant qu'il écrit sa copie. Au début, il progresse vite. Mais très vite, il triche ! Il commence à écrire dans ses réponses des phrases comme "Comme le dit la solution secrète..." ou "Le professeur m'a dit que...".
- Le résultat : Quand on enlève la solution secrète (lorsqu'on utilise l'IA dans la vraie vie), elle s'effondre parce qu'elle a appris à dépendre d'une information qu'elle ne devrait pas avoir. C'est ce qu'on appelle la "fuite d'information".

🚀 La Solution : RLSD (Le Coach Intelligents)

Les auteurs de ce papier ont trouvé une façon brillante de combiner les deux méthodes sans les défauts. Ils appellent cela RLSD (Renforcement Learning with Self-Distillation).

Voici l'analogie pour comprendre comment ça marche :

Imaginez un entraîneur sportif (l'IA) qui guide un athlète (l'IA aussi, mais dans un mode différent).

Dans les anciennes méthodes (OPSD) : L'entraîneur disait à l'athlète : "Fais exactement ce que je fais, mot pour mot, car je connais le chemin de la victoire." L'athlète finissait par copier l'entraîneur, même si l'entraîneur utilisait des indices que l'athlète n'avait pas.
Dans la nouvelle méthode (RLSD) :
1. La Direction (Le Drapeau) : Seul le résultat final (la victoire ou la défaite) décide de la direction. Si l'athlète gagne, on le félicite. S'il perd, on le corrige. C'est le "vérificateur" qui donne le signal de base.
2. L'Intensité (Le Volume) : C'est là que l'entraîneur (qui a accès à la solution secrète) intervient. Il ne dit pas quoi faire, mais il dit à quel point c'est important.
  - Si l'athlète fait un pas crucial vers la victoire, l'entraîneur crie : "EXCELLENT ! C'est le moment clé !" (On donne beaucoup de points à ce mot).
  - Si l'athlète fait une erreur qui mène à la défaite, l'entraîneur crie : "STOP ! C'est là que tu as dérapé !" (On donne beaucoup de points négatifs à ce mot).
  - Si l'athlète dit des banalités ("Bonjour", "Alors..."), l'entraîneur dit : "Ça va, mais ce n'est pas le plus important."

🎯 Pourquoi c'est génial ?

Pas de triche : L'IA n'apprend jamais à copier la solution secrète. Elle apprend juste à identifier quelles étapes sont les plus importantes pour réussir.
Stabilité : Contrairement à l'ancienne méthode qui fonctionnait bien au début puis s'effondrait (comme un château de cartes), cette méthode reste stable et continue de progresser.
Efficacité : L'IA apprend plus vite car elle reçoit des détails précis (grâce à l'entraîneur) tout en restant ancrée dans la réalité (grâce au résultat final).

📊 En résumé, avec une image finale

L'ancienne méthode (OPSD) : C'est comme un élève qui regarde les réponses dans le dos du professeur. Il réussit l'examen d'entraînement, mais échoue lamentablement à l'examen final car il ne peut plus voir les réponses.
La nouvelle méthode (RLSD) : C'est comme un coach qui regarde l'entraînement. Il ne donne pas les réponses, mais il tape fort sur l'épaule de l'élève quand il fait le bon mouvement et lui dit "Attention !" quand il fait une erreur. L'élève apprend à comprendre la logique du sport, pas juste à mémoriser les gestes du coach.

Le résultat ? L'IA devient plus intelligente, plus stable et capable de résoudre des problèmes complexes (comme des maths ou de la logique visuelle) bien mieux que les méthodes précédentes, sans jamais "tricher" avec des informations qu'elle ne devrait pas avoir.

Titre : Self-Distilled RLVR : Unification de l'Apprentissage par Renforcement à Récompenses Vérifiables et de l'Auto-distillation

1. Problématique et Contexte

L'entraînement des grands modèles de langage (LLM) pour le raisonnement repose souvent sur deux paradigmes principaux :

RLVR (Reinforcement Learning with Verifiable Rewards) : Des méthodes comme GRPO utilisent une récompense binaire (correct/incorrect) fournie par l'environnement à la fin d'une séquence. Le problème majeur est la sparsité du signal : tous les tokens d'une réponse reçoivent le même avantage, ce qui empêche une attribution de crédit fine au niveau des tokens.
Distillation On-Policy (OPD/OPSD) : Utiliser un modèle "professeur" (plus grand ou le même modèle avec des informations privilégiées) pour fournir des signaux denses au niveau des tokens.
- OPSD (On-Policy Self-Distillation) : Le même modèle joue le rôle de professeur et d'élève. Le professeur est conditionné par des informations privilégiées $r$ (ex: une trace de raisonnement vérifiée ou la réponse finale), tandis que l'élève ne voit que la question $x$ .

Le problème central identifié : Bien que l'OPSD offre une efficacité tokenique supérieure, les auteurs démontrent qu'elle conduit à une fuite d'informations privilégiées (privileged information leakage) et à une dégradation des performances à long terme. Le modèle apprend à "tricher" en inférant les informations privilégiées $r$ à partir de l'entrée $x$ durant l'inférence, ce qui est impossible en conditions réelles.

2. Analyse Théorique : Pourquoi l'OPSD échoue

Les auteurs fournissent une analyse formelle démontrant que l'objectif de l'OPSD est mal posé (ill-posed) en raison d'une asymétrie d'information :

L'écart d'information mutuelle irréductible : L'objectif de distillation tente de faire correspondre la distribution de l'élève $P_S(y|x)$ à celle du professeur conditionnée par $r$ , $P_T(y|x, r)$ . Cependant, comme $r$ n'est pas observable par l'élève, il existe un écart d'information mutuelle $I(Y_t; R | X, Y_{<t}) > 0$ qui ne peut être éliminé par l'optimisation.
Dynamique des gradients :
- Au début de l'entraînement, le composant bénéfique du gradient (correspondance marginale) domine, entraînant une amélioration rapide.
- Une fois que l'élève se rapproche de la distribution marginale du professeur, le composant de déviation (lié à la dépendance spécifique à $r$ ) prend le dessus. Ce bruit directionnel force le modèle à encoder des corrélations spurious $x \to r$ dans ses paramètres.
Conséquence : Cela crée un cycle de rétroaction positive où le modèle devient de plus en plus dépendant des informations privilégiées, entraînant une chute des performances sur les données de validation et une stagnation de la divergence KL.

3. Méthodologie : RLSD (RLVR avec Auto-distillation)

Pour résoudre ce dilemme, les auteurs proposent RLSD, un nouveau paradigme qui découple la direction de la mise à jour de son amplitude.

Principe clé :

Direction (Direction) : Déterminée exclusivement par la récompense de l'environnement (vérificateur). Cela garantit que le modèle ne s'oriente jamais vers des réponses incorrectes, même si le professeur les favorise.
Amplitude (Magnitude) : Déterminée par le ratio de preuve (evidence ratio) entre le professeur et l'élève. Cela permet une attribution de crédit fine au niveau des tokens.

Algorithme détaillé :

Échantillonnage : Le modèle génère des trajectoires $y$ à partir de la question $x$ .
Calcul de l'avantage séquentiel : Une récompense binaire $R(x, y)$ est obtenue du vérificateur. Un avantage de groupe $A$ est calculé (comme dans GRPO).
Gain d'information privilégiée : Le modèle calcule la différence de log-probabilité entre le contexte "élève" ( $x$ ) et le contexte "professeur" ( $x, r$ ) pour chaque token $y_t$ :
$\Delta_t = \text{sg}(\log P_T(y_t | x, r) - \log P_S(y_t | x))$
(Note : sg indique l'arrêt du gradient, $\Delta_t$ est utilisé uniquement comme poids).
Poids de crédit directionnel : Un poids $w_t$ $w_{t}$ est construit en combinant le signe de l'avantage séquentiel et le gain d'information :
$w_t = \exp(\text{sign}(A) \cdot \Delta_t) = \left( \frac{P_T(y_t)}{P_S(y_t)} \right)^{\text{sign}(A)}$
- Si $A > 0$ (réponse correcte) : Les tokens soutenus par $r$ reçoivent un poids élevé.
- Si $A < 0$ (réponse incorrecte) : Les tokens désapprouvés par $r$ reçoivent un poids de pénalité élevé.
Mise à jour : L'avantage tokenique $\hat{A}_t$ est obtenu en pondérant l'avantage séquentiel $A$ par $w_t$ (avec clipping pour la stabilité), puis utilisé dans l'objectif de politique standard.

Avantages structurels :

Le signal dense du professeur ne modifie jamais le signe de la mise à jour (direction).
Le modèle n'a pas besoin d'imiter la distribution du professeur, mais utilise l'écart pour affiner le crédit.
Cela résout le "trilemme d'impossibilité" de l'OPSD : stabilité de l'objectif, amélioration soutenue et absence de fuite d'informations.

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle Qwen3-VL-8B-Instruct avec des benchmarks de raisonnement multimodal.

Benchmarks : MMMU, MathVista, MathVision, ZeroBench, WeMath.
Performances :
- RLSD atteint la meilleure précision moyenne (56.18%), surpassant le modèle de base (+4.69%) et GRPO standard (+2.32%).
- Sur les tâches mathématiques complexes (MathVista, MathVision), RLSD montre des gains significatifs (+1.9% à +3.91%) par rapport à GRPO, démontrant l'efficacité de l'attribution de crédit fine.
- RLSD surpasse systématiquement les méthodes d'auto-distillation (OPSD, SDPO) et la combinaison linéaire GRPO+OPSD.
Stabilité et Dynamique :
- Contrairement à l'OPSD qui atteint un pic puis dégrade ses performances, RLSD maintient une stabilité similaire à GRPO tout en atteignant un plafond de convergence plus élevé.
- L'entropie du modèle reste plus élevée avec RLSD, évitant l'effondrement prématuré observé dans GRPO.
Analyse qualitative (Heatmaps) : Les visualisations montrent que RLSD attribue correctement le crédit aux tokens décisifs (étapes de calcul clés) et pénalise les erreurs spécifiques, tout en ignorant le remplissage générique.

5. Contributions Clés

Identification de la cause racine : Preuve théorique et expérimentale que l'auto-distillation on-policy sous asymétrie d'information crée un écart d'information mutuelle irréductible, conduisant inévitablement à la fuite d'informations privilégiées et à l'instabilité.
Proposition de RLSD : Un nouveau paradigme qui réutilise le signal dense de l'auto-distillation non pas comme une cible de distribution, mais comme un modulateur d'amplitude pour l'attribution de crédit, tout en ancrant la direction de l'optimisation sur la récompense de l'environnement.
Résolution du trilemme : RLSD est la première méthode à simultanément offrir un entraînement on-policy, une efficacité tokenique élevée, des signaux d'update riches et une stabilité garantie sans fuite d'information.
Efficacité computationnelle : La méthode ne nécessite qu'un seul passage avant supplémentaire (forward pass) par réponse pour obtenir les logits du professeur, sans réseau auxiliaire ni perte de distillation supplémentaire.

6. Signification et Impact

Ce travail est significatif car il redéfinit la manière dont l'auto-distillation peut être intégrée dans l'apprentissage par renforcement pour les LLM. Il démontre que la simple imitation d'un professeur conditionné par des informations cachées est fondamentalement dangereuse pour l'inférence réelle. En séparant la direction (gérée par la vérité terrain) de la granularité (gérée par le professeur), RLSD permet d'exploiter le meilleur des deux mondes : la robustesse du RLVR et la finesse de la distillation. Cela ouvre la voie à des modèles de raisonnement plus stables, plus performants et capables de généraliser sans sur-apprendre des indices contextuels non disponibles à l'inférence.