SR-OPSD: Self-Referenced On-Policy Self-Distillation

Imaginez que vous enseigniez à un robot comment écrire une histoire ou résoudre un problème de mathématiques. Vous ne voulez pas seulement que le robot trouve la réponse finale, vous voulez qu'il apprenne comment réfléchir étape par étape. Dans le monde de l'intelligence artificielle, cela se fait souvent en laissant le robot essayer, échouer, puis recevoir une minuscule « récompense » ou « punition » à la toute fin. Mais c'est comme un élève qui passe un examen et ne découvre qu'après avoir terminé qu'il a eu un « B », sans aucune idée de quelle phrase ou de quel calcul spécifique a causé l'erreur. Pour corriger cela, les chercheurs utilisent une astuce appelée « auto-distillation ». Considérez cela comme un robot jouant deux rôles à la fois : un « Étudiant » qui tente de résoudre le problème, et un « Enseignant » (qui est en fait le même robot, mais avec un peu d'aide supplémentaire ou une « solution vérifiée ») qui surveille le travail de l'Étudiant et lui donne un feedback sur chaque mot. L'Étudiant tente ensuite de copier les choix de l'Enseignant.

Le problème est que cet Enseignant n'est pas un guide statique et parfait. À mesure que l'Étudiant s'améliore, l'Enseignant change aussi, car ils font tous deux partie du même cerveau en évolution. C'est comme essayer de toucher une cible mouvante alors que le vent change également de direction. Si l'Étudiant tente de copier l'Enseignant trop rigidement, il pourrait rester bloqué dans une boucle, répétant les mêmes erreurs ou devenant trop étroit dans sa pensée. Ce document présente une nouvelle façon de gérer cette danse, appelée SR-OPSD. C'est une méthode qui aide l'Étudiant à apprendre de l'Enseignant sans être confus par la cible mouvante, en utilisant une « boussole » mathématique spéciale pour maintenir l'apprentissage stable et efficace.

Le Problème de la Cible Mouvante

Dans de nombreuses méthodes d'entraînement de l'IA, l'objectif est de rendre l'IA plus intelligente en la faisant apprendre de ses propres succès. Le document commence par examiner une méthode appelée « On-Policy Self-Distillation » (OPSD). Imaginez un étudiant passant un examen. Dans l'OPSD, l'étudiant rédige une réponse, puis un « auto-enseignant » (qui est le même étudiant, mais regardant la réponse avec un indice de la solution correcte) dit : « Hé, tu as bien fait cette partie, mais ce mot était un peu décalé. » L'étudiant tente ensuite d'ajuster ses futures réponses pour correspondre à l'enseignant.

Cependant, il y a un piège. L'enseignant n'est pas un livre fixe ; c'est une version de l'étudiant qui change constamment. À mesure que l'étudiant apprend, l'enseignant change aussi. Si vous essayez de copier un enseignant qui change constamment de position, vous risquez de vaciller sans cesse, sans jamais parvenir à une bonne réponse. Le document suggère que le simple fait de tenter de correspondre à cet enseignant mouvant avec des outils mathématiques standards conduit souvent à l'instabilité. L'étudiant peut devenir trop concentré sur une seule façon de penser (perdant ainsi sa créativité) ou se laisser confondre par les changements constants.

La Nouvelle Solution : Une Ancre Fixe et une Boussole Flexible

Les auteurs proposent une nouvelle méthode appelée SR-OPSD (Self-Referenced On-Policy Self-Distillation). Ils ont réalisé que pour arrêter les vacillements, vous avez besoin de deux choses : un point fixe pour s'accrocher et une façon flexible de se déplacer vers l'objectif.

1. L'Ancre Fixe (Politique de Référence) : Au lieu de simplement regarder l'Enseignant mouvant, l'étudiant garde également un œil sur une « Référence ». Considérez cela comme le moi originel de l'étudiant, pré-entraîné — la version avant qu'il ne commence cet entraînement spécifique. Cette Référence agit comme un phare. Même si l'Enseignant (la cible mouvante) dérive, l'étudiant sait qu'il ne doit pas trop s'éloigner de son fondement solide et original. La nouvelle méthode mélange les conseils de l'Enseignant avec cette Référence, créant un « objectif » qui est stable tout en restant utile.
2. La Boussole Flexible (Divergence de Rényi) : Une fois l'objectif fixé, l'étudiant doit trouver un moyen de s'en rapprocher. Le document utilise un outil mathématique appelé divergence de Rényi. Vous pouvez considérer cela comme un type spécial de « aimant » ou de « boussole » qui contrôle la force avec laquelle l'étudiant est attiré vers l'objectif.
   • Si l'aimant est trop fort, l'étudiant peut s'agripper à la cible trop rapidement et perdre sa propre voix.
   • S'il est trop faible, il n'apprendra rien.
   • La beauté de l'outil de Rényi est qu'il possède un « bouton » (appelé l'ordre $\rho$) qui permet aux chercheurs de régler précisément la manière dont l'étudiant réagit aux différences entre sa réponse actuelle et l'objectif. Cela permet à l'étudiant d'être sensible aux petits détails ou de les ignorer, selon les besoins de la tâche.

Ce Qu'Ils Ont Découvert

Les chercheurs ont testé cette nouvelle méthode sur trois types de tâches très différents :

• Questions Scientifiques : Répondre à des questions complexes sur la chimie, la physique et la biologie.
• Raisonnement Mathématique : Résoudre des problèmes mathématiques difficiles où les étapes comptent autant que la réponse.
• Codage : Écrire des programmes informatiques qui fonctionnent réellement.

Ils ont comparé leur nouvelle méthode (SR-OPSD) à d'anciennes méthodes comme la « Reverse KL » standard (qui est comme un enseignant très strict) et la « Divergence de Jensen-Shannon » (un enseignant plus équilibré mais parfois instable).

Les Résultats :

• Stabilité : Dans les tests de science et de mathématiques, les anciennes méthodes commençaient souvent fort mais devenaient moins bonnes au fil du temps, comme un coureur qui sprinte trop vite et finit par s'effondrer. SR-OPSD, cependant, a continué à s'améliorer régulièrement. Par exemple, sur un test de physique, la nouvelle méthode a atteint une précision de 81,1 (en utilisant une métrique spécifique appelée Avg@16), tandis que les anciennes méthodes stagnaient autour de 79,4 ou moins.
• Maîtrise des Mathématiques : Sur des compétitions mathématiques difficiles (comme l'AIME et l'HMMT), la nouvelle méthode a aidé l'IA à résoudre plus de problèmes correctement. Par exemple, sur le test AIME 2025, la nouvelle méthode a amélioré le taux de réussite (« Pass ») de 6,7 points de pourcentage par rapport à une méthode de référence populaire appelée GRPO.
• Codage : Lorsqu'on enseigne à l'IA à écrire du code, la nouvelle méthode fonctionne mieux à mesure que les modèles d'IA deviennent plus grands. Pour le plus grand modèle testé (Qwen3-8B), la nouvelle méthode a obtenu un score de 50,1, battant le meilleur score précédent de 48,8.

Pourquoi C'est Important

Le document suggère que le secret pour faire apprendre à l'IA de ses propres erreurs n'est pas seulement d'avoir un meilleur enseignant, mais de la façon dont vous connectez l'étudiant à cet enseignant. En ancrant le processus d'apprentissage à une « Référence » stable et en utilisant une « Boussole » flexible (la divergence de Rényi), l'IA peut apprendre des compétences complexes sans être confondue ou perdre sa voie.

Les auteurs ont découvert que le simple fait d'ajouter un point de référence ne suffisait pas en soi ; cela rendait même les choses pires s'il était associé aux mauvais outils mathématiques. Mais lorsqu'ils ont combiné la référence avec leur nouvelle boussole flexible, les résultats étaient systématiquement meilleurs à travers les sciences, les mathématiques et le codage. Cela suggère que pour que l'IA maîtrise véritablement le raisonnement complexe, elle a besoin d'une méthode d'entraînement qui équilibre l'excitation des nouveaux feedbacks avec la stabilité de ses connaissances originales.