💬 NLP

ROSD: Reflective On-Policy Self-Distillation for Language Model Reasoning across Domains

Ce papier présente l'auto-distillation réflexive sur politique (ROSD), un cadre qui améliore le raisonnement des modèles de langage dans divers domaines en utilisant un auto-réfléchisseur pour localiser les erreurs et guider une distillation ciblée et spécifique aux erreurs, surmontant ainsi les limitations de surapprentissage et de mauvaise généralisation des méthodes existantes d'auto-distillation sur politique.

Auteurs originaux : Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ziqi Zhao, Xinyu Ma, Liu Yang, Yujie Feng, Daiting Shi, Jingzhou He, Xin Xin, Zhaochun Ren, Xiao-Ming Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève comment résoudre des problèmes mathématiques complexes. Vous avez un professeur intelligent (le modèle d'IA) qui tente d'apprendre en s'entraînant de manière autonome.

Le Problème : Le Professeur « Copieur »

Autrefois, lorsque cet élève commettait une erreur, la méthode standard pour l'enseigner consistait à lui montrer la réponse parfaite et finale d'un manuel et à dire : « Regardez ceci ! Vous devez rédiger toute votre réponse exactement comme cela. »

L'article appelle cela l'Auto-distillation On-Policy (OPSD). Le problème est que l'élève commence à agir comme un « copieur ».

Ils mémorisent le style, pas la correction : Au lieu d'apprendre pourquoi ils ont fait une erreur, ils copient simplement les mots et la mise en forme spécifiques du professeur.
Ils gâchent ce qui était déjà juste : Si l'élève a obtenu la première moitié de la réponse correcte mais a raté la deuxième moitié, le professeur l'oblige à réécrire tout le texte pour qu'il corresponde au manuel. Cela écrase accidentellement les bonnes parties qu'il connaissait déjà, le faisant oublier son propre raisonnement valide.

Cela fonctionne à peu près pour les exercices d'entraînement spécifiques, mais lorsque l'élève fait face à un nouveau type de problème (un domaine différent), il échoue car il a simplement mémorisé l'« apparence » des réponses, et non la logique.

La Solution : ROSD (Le « Tuteur Réfléchi »)

Les auteurs proposent une nouvelle méthode appelée ROSD (Auto-distillation On-Policy Réfléchie). Considérez ROSD non pas comme un professeur qui vous remet un essai terminé, mais comme un éditeur critique utilisant une loupe.

Voici comment ROSD fonctionne, étape par étape :

1. Le « Auto-réfléchi » (Le Détective)
Au lieu de simplement montrer la réponse parfaite, le système agit d'abord comme un détective. Il examine la réponse erronée de l'élève et la réponse correcte côte à côte.

Il se demande : « Où exactement la logique s'est-elle brisée ? »
Il trouve : La phrase ou l'étape spécifique où l'élève a dévié.
Il crée une « Idée Corrective » : Une courte note expliquant comment corriger cette erreur spécifique (par exemple, « Vous avez oublié de convertir les unités ici », plutôt que « Voici tout l'essai »).

2. La « Citation d'Erreur » (Le Surligneur)
Le système ne se contente pas de deviner ; il surligne physiquement le morceau exact de texte dans la réponse de l'élève où l'erreur s'est produite. C'est comme un professeur utilisant un stylo rouge pour entourer seulement la phrase incorrecte, laissant le reste de la page intact.

3. Correction Ciblée (La Chirurgie)
Maintenant, le « Auto-professeur » intervient. Mais au lieu de faire réécrire tout l'essai à l'élève, le professeur ne donne des indications que sur l'erreur surlignée.

L'élève conserve son introduction correcte et ses étapes de raisonnement valides (le « préfixe valide »).
Il ne réécrit que la partie qui était erronée, guidé par l'« Idée Corrective ».

L'Analogie : Réparer une Voiture Cassée

Ancienne Méthode (OPSD) : Votre voiture a un pneu crevé. Le mécanicien démonte toute la voiture, jette le moteur, les sièges et les roues, et construit une toute nouvelle voiture à partir de zéro selon un plan. Cela fonctionne, mais vous avez perdu tout ce qui fonctionnait déjà.
ROSD : Le mécanicien examine la voiture, trouve le pneu crevé (l'erreur) et dit : « D'accord, le moteur et les sièges sont bons. Remplaçons simplement ce pneu et assurons-nous qu'il est correctement gonflé. »

Les Résultats

L'article a testé cela sur diverses « matières » (comme la physique, la chimie et l'utilisation d'outils informatiques).

Meilleur dans la matière : Les élèves ont mieux appris le matériel qu'auparavant.
Meilleur dans de nouvelles matières : Parce qu'ils ont appris la logique de la correction des erreurs plutôt que de mémoriser le style de la réponse, ils étaient beaucoup plus performants pour résoudre des problèmes qu'ils n'avaient jamais vus auparavant.
Stabilité : L'ancienne méthode empirait souvent avec le temps alors que l'élève se confondait en essayant de trop copier. ROSD est resté stable et n'a cessé de s'améliorer.

En bref : ROSD apprend à l'IA à corriger ses propres erreurs de manière chirurgicale, en préservant les bonnes parties de sa réflexion, plutôt que de la forcer à copier un modèle parfait de bout en bout.

Résumé technique : Auto-distillation réflexive en politique (ROSD)

Énoncé du problème

Bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) ait prouvé son efficacité pour optimiser les grands modèles de langage (LLM) dans des domaines vérifiables, les algorithmes standards comme GRPO reposent sur des récompenses éparses au niveau du résultat. Ce manque de supervision au niveau des tokens pour les étapes de raisonnement intermédiaires limite la capacité du modèle à affiner la qualité de son raisonnement.

L'auto-distillation en politique (OPSD) y remédie en fournissant une supervision dense au niveau des tokens à partir d'un « auto-enseignant » conditionné par une solution correcte. Cependant, les méthodes OPSD existantes souffrent de deux limitations critiques qui entravent à la fois la stabilité en domaine et la généralisation hors domaine (OOD) :

Imitation plutôt que correction : Conditionner l'auto-enseignant sur une solution vérifiée encourage l'élève à imiter les motifs spécifiques de la trajectoire de référence et les expressions propres au domaine, plutôt qu'à apprendre à corriger ses propres erreurs spécifiques.
Écrasement du raisonnement valide : L'application d'une perte de distillation à l'ensemble de la réponse force le modèle à s'aligner sur la distribution de l'enseignant pour tous les tokens. Cela peut écraser les préfixes de raisonnement valides et injecter des préférences du domaine d'entraînement dans des étapes correctes, conduisant à un surajustement et à une mauvaise généralisation.

Méthodologie : ROSD

Les auteurs proposent l'Auto-distillation réflexive en politique (ROSD), un cadre conçu pour déplacer l'auto-distillation de l'imitation de solutions de référence vers une correction ciblée du raisonnement. ROSD fonctionne grâce à deux mécanismes principaux :

1. Auto-réflexion axée sur les erreurs

Au lieu d'utiliser directement une solution correcte comme contexte de l'enseignant, ROSD emploie un auto-réfléchisseur (utilisant les mêmes poids de modèle que l'élève/l'enseignant) pour analyter l'écart entre un déploiement de l'élève et une solution correcte.

Pour les déploiements erronés : Le réfléchisseur compare un déploiement erroné ( $y^-$ $y^{-}$ ) avec le déploiement correct le plus court ( $y^*$ $y^{*}$ ) du même groupe. Il génère deux sorties :
- Idée corrective ( $e$ ) : Une explication de pourquoi le déploiement a échoué et comment réparer la logique.
- Citation d'erreur ( $q$ ) : Un sous-chaîne exacte du déploiement erroné marquant le premier segment où le raisonnement dévie.
Pour les déploiements corrects : Le réfléchisseur résume la validité du raisonnement et l'idée clé derrière la réponse correcte, évitant ainsi l'imitation directe de la solution complète.

2. Auto-distillation localisée par citation

L'auto-enseignant est conditionné par l'idée corrective ( $e$ ) plutôt que par la solution de référence complète. Cela garantit que l'enseignant fournit des conseils spécifiques aux erreurs.

Localisation : La citation d'erreur ( $q$ ) est réalignée sur le déploiement original de l'élève pour identifier l'index du token de départ ( $k$ ) de l'erreur.
Perte sélective : Un masque est appliqué à la fonction de perte de distillation. Le modèle n'est entraîné à correspondre à la distribution de l'enseignant qu'à partir du token $k$ (le suffixe erroné). Le préfixe de raisonnement valide (tokens $< k$ ) est préservé et exclu du calcul de la perte.
Objectif : L'objectif d'entraînement minimise la divergence de Jensen-Shannon (JSD) au niveau des tokens entre l'élève et la distribution masquée de l'enseignant, garantissant que les mises à jour sont restreintes aux segments nécessitant une correction.

Contributions clés

Cadre ROSD : Une nouvelle méthode d'auto-distillation réflexive en politique qui passe de l'imitation de solutions de référence à la réalisation de corrections de raisonnement sélectives.
Conception à double technique :
- Un auto-réfléchisseur axé sur les erreurs qui extrait une idée corrective et localise précisément le premier segment erroné.
- Une distillation localisée sur les erreurs qui restreint les mises à jour de supervision au suffixe commençant à l'erreur identifiée, préservant les préfixes de raisonnement valides.
Validation empirique : Des expériences extensives démontrant que ROSD améliore les performances de raisonnement en domaine tout en atténuant considérablement l'effondrement de la généralisation hors domaine observé dans les méthodes OPSD standards.

Résultats expérimentaux

Les auteurs ont évalué ROSD sur les architectures de base Qwen3-4B et Qwen3-8B à travers cinq jeux de données : quatre benchmarks de questions-réponses scientifiques (Chimie, Physique, Biologie, Science des matériaux) et un jeu de données d'utilisation d'outils.

Performances en domaine : ROSD a obtenu les scores moyens les plus élevés pour les deux échelles de modèles (72,83 % sur 4B et 73,45 % sur 8B), surpassant à la fois GRPO et la ligne de base SDPO standard. Les améliorations ont été constantes dans la plupart des domaines, indiquant aucun compromis significatif dans des zones spécifiques.
Généralisation hors domaine : ROSD a démontré une robustesse OOD nettement supérieure par rapport à SDPO.
- Alors que SDPO a subi une dégradation sévère lorsque les domaines d'entraînement et de test différaient considérablement (par exemple, entraînement sur ToolUse et test sur Science QA, où SDPO est tombé à environ 2,88 % en moyenne), ROSD a maintenu de solides performances (environ 41,31 %).
- Cela suggère que ROSD réduit efficacement le bruit et le surajustement associés à la distillation de réponse complète.
Dynamique d'entraînement : ROSD a convergé plus rapidement que les lignes de base et a maintenu des performances stables tout au long de l'entraînement. En revanche, SDPO a souvent montré des gains précoces suivis d'un déclin des performances, indiquant un surajustement aux styles de solutions du domaine d'entraînement.
Études d'ablation : Le retrait soit du composant de réflexion, soit du mécanisme de distillation localisée a entraîné une baisse des performances, confirmant que l'orientation des erreurs et la supervision sélective sont à la fois nécessaires et complémentaires.

Importance et affirmations

L'article affirme que ROSD met en lumière l'importance d'une supervision consciente des erreurs et appliquée de manière sélective pour un post-entraînement efficace du raisonnement. En corrigeant les étapes de raisonnement défectueuses tout en préservant les préfixes valides, ROSD évite les pièges de l'imitation de trajectoires de référence spécifiques au domaine.

Les auteurs positionnent ROSD comme une étape vers des modèles de raisonnement plus robustes capables de généraliser à travers les domaines. Cependant, ils notent modestement que si ROSD améliore les performances OOD par rapport à l'OPSD standard, il ne correspond toujours pas entièrement à la robustesse OOD de GRPO dans tous les contextes, indiquant que des progrès supplémentaires sont nécessaires pour renforcer pleinement la généralisation inter-domaines. Le travail souligne que des capacités de raisonnement solides nécessitent un alignement de sécurité rigoureux pour prévenir tout usage abusif potentiel.