SR-OPSD: Self-Referenced On-Policy Self-Distillation

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Geschichte zu schreiben oder ein mathematisches Problem zu lösen. Sie wollen nicht nur, dass der Roboter das Endergebnis richtig berechnet; Sie wollen, dass er lernt, wie man Schritt für Schritt denkt. In der Welt der Künstlichen Intelligenz wird dies oft dadurch erreicht, dass man den Roboter versuchen, scheitern und dann am Ende eine winzige „Belohnung“ oder „Bestrafung“ erhält. Aber das ist so, als würde ein Schüler eine Prüfung ablegen und erst nach Abschluss erfahren, dass er eine „Zwei“ bekommen hat, ohne zu wissen, welcher spezifische Satz oder welche Berechnung den Fehler verursacht hat. Um dies zu beheben, nutzen Forscher einen Trick namens „Selbst-Destillation“. Stellen Sie sich das wie einen Roboter vor, der zwei Rollen gleichzeitig spielt: ein „Schüler“, der versucht, das Problem zu lösen, und ein „Lehrer“ (der eigentlich derselbe Roboter ist, aber mit ein wenig zusätzlicher Hilfe oder einer „verifizierten Lösung“), der die Arbeit des Schülers beobachtet und Feedback zu jedem einzelnen Wort gibt. Der Schüler versucht dann, die Entscheidungen des Lehrers zu kopieren.

Das Problem ist, dass dieser Lehrer kein statischer, perfekter Wegweiser ist. Während der Schüler besser wird, verändert sich auch der Lehrer, da sie beide Teil desselben sich entwickelnden Gehirns sind. Es ist, als versuche man, ein bewegliches Ziel zu treffen, während sich gleichzeitig der Wind verändert. Wenn der Schüler versucht, den Lehrer zu starr zu kopieren, könnte er in einer Schleife stecken bleiben, dieselben Fehler wiederholt oder in seinem Denken zu engstirnig werden. Dieses Paper stellt eine neue Methode vor, um diesen Tanz zu bewältigen, genannt SR-OPSD. Dies ist eine Methode, die dem Schüler hilft, vom Lehrer zu lernen, ohne durch das bewegliche Ziel verwirrt zu werden, indem sie einen speziellen mathematischen „Kompass“ verwendet, um das Lernen stabil und effektiv zu halten.

Das Problem des beweglichen Ziels

In vielen Trainingsmethoden für KI ist das Ziel, die KI intelligenter zu machen, indem sie von ihren eigenen Erfolgen lernt. Das Paper beginnt mit der Betrachtung einer Methode namens „On-Policy Self-Distillation“ (OPSD). Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. In OPSD schreibt der Schüler eine Antwort, und ein „Selbst-Lehrer“ (welcher derselbe Schüler ist, der die Antwort mit einem Hinweis auf die korrekte Lösung betrachtet) sagt: „Hey, diesen Teil hast du richtig gemacht, aber dieses Wort war etwas unpassend.“ Der Schüler versucht dann, seine zukünftigen Antworten anzupassen, um dem Lehrer zu entsprechen.

Es gibt jedoch einen Haken. Der Lehrer ist kein feststehendes Buch; er ist eine Version des Schülers, die sich ständig verändert. Während der Schüler lernt, verändert sich auch der Lehrer. Wenn man versucht, einen Lehrer zu kopieren, der ständig seine Position verändert, kann man am Ende umherwackeln, ohne jemals eine gute Antwort finden zu können. Das Paper legt nahe, dass das bloße Versuch, diesen beweglichen Lehrer mit Standard-Mathematikwerkzeugen abzugleichen, oft zu Instabilität führt. Der Schüler könnte sich zu sehr auf eine Denkweise konzentrieren (an Kreativität verlieren) oder durch die ständigen Veränderungen verwirrt werden.

Die neue Lösung: Ein fester Anker und ein flexibler Kompass

Die Autoren schlagen eine neue Methode namens SR-OPSD (Self-Referenced On-Policy Self-Distillation) vor. Sie erkannten, dass man, um das Wackeln zu stoppen, zwei Dinge braucht: einen festen Punkt, an dem man sich festhalten kann, und eine flexible Art, sich auf das Ziel zuzubewegen.

1. Der feste Anker (Reference Policy): Anstatt nur auf den beweglichen Lehrer zu schauen, behält der Schüler auch eine „Referenz“ im Auge. Denken Sie an dies als das ursprüngliche, vortrainierte Selbst des Schülers – die Version vor Beginn dieses spezifischen Trainings. Diese Referenz fungiert wie ein Leuchtturm. Selbst wenn der Lehrer (das bewegliche Ziel) abdriftet, weiß der Schüler, dass er nicht zu weit von seinem ursprünglichen, soliden Fundament abweichen darf. Die neue Methode mischt den Rat des Lehrers mit dieser Referenz und erschafft so ein „Ziel“, das stabil, aber dennoch hilfreich ist.
2. Der flexible Kompass (Rényi-Divergenz): Sob es das Ziel festgelegt hat, muss der Schüler eine Möglichkeit finden, sich darauf zuzubewegen. Das Paper verwendet ein mathematisches Werkzeug namens Rényi-Divergenz. Man kann sich dies als eine spezielle Art von „Magnet“ oder „Kompass“ vorstellen, der kontrolliert, wie stark der Schüler zum Ziel gezogen wird.
   • Wenn der Magnet zu stark ist, könnte der Schüler zu schnell zum Ziel schnappen und seine eigene Stimme verlieren.
   • Wenn er zu schwach ist, wird er nichts lernen.
   • Das Schöne an dem Rényi-Werkzeug ist, dass es einen „Regler“ (genannt Ordnung $\rho$) besitzt, der es Forschern ermöglicht, genau zu steuern, wie stark der Schüler auf die Unterschiede zwischen seiner aktuellen Antwort und dem Ziel reagiert. Es erlaubt dem Schüler, entweder sensibel für kleine Details zu sein oder diese zu ignorieren, je nachdem, was die Aufgabe erfordert.

Was sie herausgefunden haben

Die Forscher haben diese neue Methode an drei sehr unterschiedlichen Arten von Aufgaben getestet:

• Wissenschaftliche Fragen: Beantwortung kniffliger Fragen zu Chemie, Physik und Biologie.
• Mathematische Argumentation: Lösen schwieriger mathematischer Probleme, bei denen die Schritte genauso wichtig sind wie das Ergebnis.
• Programmierung: Schreiben von Computerprogrammen, die tatsächlich funktionieren.

Sie verglichen ihre neue Methode (SR-OPSD) mit älteren Methoden wie der Standard-„Reverse KL“ (was wie ein sehr strenger Lehrer ist) und der „Jensen-Shannon-Divergenz“ (ein eher ausgewogener, aber manchmal instabiler Lehrer).

Die Ergebnisse:

• Stabilität: In den Wissenschafts- und Mathematiktests begannen die älteren Methoden oft stark, wurden aber im Laufe der Zeit schlechter, wie ein Läufer, der zu schnell sprintet und dann zusammenbricht. SR-OPSD hingegen verbesserte sich stetig. Beispielsweise erreichte die neue Methode bei einem Physik-Benchmark eine Genauigkeit von 81,1 (unter Verwendung einer spezifischen Metrik namens Avg@16), während die älteren Methoden bei 79,4 oder niedriger stagnierten.
• Mathematische Meisterschaft: Bei schwierigen Mathematikwettbewerben (wie AIME und HMMT) half die neue Methode der KI, mehr Probleme korrekt zu lösen. Beispielsweise verbesserte die neue Methode bei der AIME 2025 die „Pass“-Rate (das richtige Beantworten) um 6,7 Prozentpunkte im Vergleich zu einer populären Baseline-Methode namens GRPO.
• Programmierung: Beim Lehren der KI, Code zu schreiben, arbeitete die neue Methode besser, wenn die KI-Modelle größer wurden. Für das größte getestte Modell (Qwen3-8B) erreichte die neue Methode einen Wert von 50,1 und schlug damit den bisherigen Bestwert von 48,8.

Warum es wichtig ist

Das Paper legt nahe, dass das Geheimnis, eine KI dazu zu bringen, aus ihren eigenen Fehlern zu lernen, nicht nur darin besteht, einen besseren Lehrer zu haben; es geht darum, wie man den Schüler mit diesem Lehrer verbindet. Indem man den Lernprozess an eine stabile „Referenz“ verankert und einen abstimmbaren „Kompass“ (die Rényi-Divergenz) verwendet, kann die KI komplexe Fähigkeiten erlernen, ohne verwirrt zu werden oder den Weg zu verlieren.

Die Autoren fanden heraus, dass es nicht ausreicht, lediglich einen Referenzpunkt hinzuzufügen; es machte die Dinge sogar schlechter, wenn es mit den falschen mathematischen Werkzeugen kombiniert wurde. Aber als sie die Referenz mit ihrem neuen flexiblen Kompass kombinierten, waren die Ergebnisse konsistent besser in Wissenschaft, Mathematik und Programmierung. Dies deutet darauf hin, dass eine KI, um komplexes Denken wirklich zu meistern, eine Trainingsmethode benötigt, die das Spannende neuer Rückmeldungen mit der Stabilität ihres ursprünglichen Wissens in Einklang bringt.