🤖 machine learning

OPD+: Rethinking the Advantage Design for On-Policy Distillation

Dieses Paper führt OPD+ ein, ein korrigiertes On-Policy-Distillations-Framework, das den durch Standard-Stop-Gradient-Operationen in der Advantage-Schätzung verursachten Bias mathematisch beweist und eine generische f-Divergenz-basierte Optimierungsmethode vorschlägt, welche die Leistung bei Reasoning- und Tool-Use-Benchmarks verbessert.

Ursprüngliche Autoren: Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem jungen Lehrling (dem Studenten-Modell) beizubringen, komplexe Rätsel zu lösen, indem er einem Meisterkoch (dem Lehrer-Modell) zusieht. Der Lehrling beobachtet den Meister beim Kochen, versucht, dessen Bewegungen zu kopieren, und erhält Feedback darüber, wie nah er dem Rezept des Meisters gekommen ist. Dieser Prozess wird als On-Policy Distillation (OPD) bezeichnet.

Lange Zeit glaubten Forscher, es gäbe ein ganz bestimmtes „Rezept“ für die Feedback-Gestaltung, das am besten funktionierte: eine Methode namens Reverse KL. Es war so, als würde man sagen: „Die einzige Art zu lernen ist, die Differenz genau auf diese Weise zu messen.“

Die Autoren dieser Arbeit, OPD+, entdeckten jedoch einen verborgenen Fehler in der Art und Weise, wie dieses Feedback berechnet wurde. Sie fanden heraus, dass die Art und Weise, wie das Feedback übermittelt wurde, tatsächlich fehlerhaft war, was zu Verwirrung und schlechtem Lernen führte, insbesondere wenn man verschiedene Arten von Feedback-Rezepten ausprobierte.

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Die kaputte Feedback-Schleife (Das „Stop Gradient“-Problem)

In der alten Methode, wenn der Lehrling versuchte zu lernen, sagte der Lehrer: „Hier ist die Punktzahl deines Zuges“, aber dann fror er diese Punktzahl sofort ein, damit sie sich nicht ändern konnte. Dies geschah, um Stabilität zu gewährleisten, so als würde ein Lehrer auf eine statische Grafik zeigen und sagen: „Das ist das Ziel; mach dir keine Sorgen darum, wie die Grafik gezeichnet wurde.“

Die Arbeit argumentiert, dass dies mathematisch falsch ist.

Die Analogie: Stellen Sie sich vor, Sie lernen das Bogenschießen. Der Lehrer sagt: „Dein Pfeil landete 5 Zentimeter links.“ Aber dann sagt der Lehrer: „Mach dir keine Sorgen darum, wie ich diese 5 Zentimeter berechnet habe; behandle es einfach als eine feste Tatsache.“
Das Problem: Diese „5 Zentimeter“ hängen tatsächlich davon ab, wie Sie den Bogen halten (den aktuellen Zustand des Studenten). Wenn Sie Ihren Griff ändern, ändert sich auch die Distanz. Indem die Berechnung eingefroren wird, liefert der Lehrer eine Lüge. Sie versuchen, Ihren Griff basierend auf einer Zahl anzupassen, die sich weigert, sich mit Ihrem neuen Griff zu aktualisieren. Dies führt zu verzerrten Schätzungen (biased estimates) – Sie glauben, Sie verbessern sich, aber in Wirklichkeit bewegen Sie sich in die falsche Richtung.

2. Die neue Lösung: OPD+

Die Autoren schlagen OPD+ vor, was im Wesentlichen bedeutet, „die Mathematik zu reparieren“, damit das Feedback sich tatsächlich aktualisiert, während der Student lernt.

Die Lösung: Anstatt die Punktzahl einzufrieren, sagt OPD+: „Hier ist die Punktzahl, und hier ist genau, wie sich diese Punktzahl ändert, wenn du deine Hand bewegst.“ Es fügt einen kleinen Korrekturterm zum Feedback hinzu.
Das Ergebnis: Es ist, als würde der Lehrer nun sagen: „Dein Pfeil landete 5 Zentimeter links. Aber denke daran, wenn du deinen Griff festiger machst, wird sich diese Distanz um 1 Zentimeter verringern.“ Diese winzige Korrektur macht den Lernprozess ehrlich und präzise.

3. Die Überraschung: Andere Rezepte funktionieren auch!

Jahrelang dachten alle, Reverse KL sei die einzige gute Methode, um den Unterschied zwischen dem Studenten und dem Lehrer zu messen. Sie dachten, andere Methoden (wie Forward KL oder JSD) seien nutzlos und würden dazu führen, dass der Student „kollabiert“ (das Lernen vollständig einstellt).

Das Papier zeigt, dass diese anderen Methoden nicht wirklich schlecht waren; sie wurden nur aufgrund der kaputten Feedback-Schleife (dem „Stop Gradient“-Problem) falsch angewendet.

Die Analogie: Es ist, als hätte jeder geglaubt, ein ganz bestimmter Hammer sei das einzige Werkzeug, um einen Nagel einzuschlagen. Sie haben versucht, einen Schraubendreher zu benutzen, und dieser hat das Holz beschädigt, woraufhin sie schlussfolgerten, dass Schraubendreher nutzlos seien.
Die Entdeckung: Die Autoren haben die Art und Weise korrigiert, wie der Schraubendreher gehalten wird (die Mathematik). Plötzlich funktionierte der Schraubendreher perfekt! In einigen Fällen (wie bei der JSD-Methode) funktionierte der Schraubendreher sogar besser als der Hammer, was es dem Studenten ermöglichte, schwierigere mathematische Probleme zu lösen und Werkzeuge effektiver einzusetzen als zuvor.

4. Was sie getestet haben

Sie testeten dies an zwei sehr schwierigen Aufgaben:

Mathematisches Denken: Lösen von hochkomplexen Wettbewerbs-Mathematikaufgaben (wie AIME und HMMT).
Werkzeugnutzung (Tool Use): Dem KI-Modell beizubringen, externe Werkzeuge (wie Taschenrechner oder Suchmaschinen) zu nutzen, um Probleme zu lösen.

Das Ergebnis:

Die alte Methode (mit der fehlerhaften Mathematik) führte dazu, dass einige Lernstile völlig versagten (0 % Genauigkeit).
Die neue Methode (OPD+) behob diese Fehler.
Selbst für die „Standardmethode“ (Reverse KL) sorgte die neue Mathematik dafür, dass der Student schneller lernte und eine höhere Spitzenleistung erreichte.

Zusammenfassung

Das Paper behauptet, dass die Art und Weise, wie wir KI-Modelle derzeit lehren, einander zu kopieren, einen fundamentalen mathematischen Fehler enthält. Indem wir eine einzige Zeile Code korrigieren, um das „Einfrieren“ des Feedbacks zu stoppen, können wir:

Den Lernprozess mathematisch ehrlich machen.
Das Potenzial verschiedener Lernstrategien freisetzen, die zuvor als defekt galten.
Bessere Ergebnisse bei schwierigen Aufgaben wie Mathematik und Werkzeugnutzung erzielen, selbst mit denselben Modellen, die wir bereits besitzen.

Kurz gesagt: Frieren Sie das Feedback nicht ein. Lassen Sie die Mathematik aktualisieren, und die KI lernt besser.

Technisches Resümee: OPD+: Überdenken des Advantage-Designs für On-Policy-Distillation

1. Problemstellung

On-Policy-Distillation (OPD) ist eine Technik, die eingesetzt wird, um Fähigkeiten von leistungsfähigen Teacher-Sprachmodellen auf Base-Student-Modelle zu übertragen, indem ein dichter, auf Token-Ebene basierender Überwachungs-Signal optimiert wird, der aus den vom Studenten generierten Rollouts abgeleitet wird. Während bestehende OPD-Implementierungen (z. B. Tinker) oft die Kullback-Leibler-Divergenz (KL-Divergenz) als primäres Ziel verwenden, nutzen sie eine spezifische Designentscheidung: das Stoppen des Gradienten (Stop-Gradient) auf dem Reward-Term (der Differenz der Log-Verhältnis-Likelihoods von Student und Teacher).

Dieses Design ist durch den Wunsch nach numerischer Stabilität motiviert, angelehnt an Target-Netzwerke in Deep Q-Networks (DQN). Die Autoren identifizieren jedoch einen kritischen theoretischen Fehler in diesem Ansatz:

Verzerrte Gradientenschätzungen: Für allgemeine $f$ -Divergenzen hängt die Reward-Funktion von den Parametern der Student-Policy $\theta$ ab. Das Stoppen des Gradienten auf diesem Reward-Term ignoriert die direkte Abhängigkeit des Rewards von $\theta$ , was zu mathematisch inkorrekten Gradientenschätzungen führt.
Leistungsdegradierung: Diese Verzerrung verursacht einen katastrophalen Trainingskollaps für Divergenzfunktionen außer der Reverse KL (z. B. Forward KL und Jensen-Shannon-Divergenz), wodurch diese unter Standard-OPD-Einstellungen nicht trainierbar werden. Selbst für die Reverse KL, bei der die Verzerrung aufgrund der Score-Identität theoretisch verschwindet, deuten empirische Ergebnisse darauf hin, dass das Stop-Gradient-Design dennoch eine suboptimale Leistung bewirkt.

2. Methodik: Das OPD+-Framework

Das Paper schlägt OPD+ vor, ein korrigiertes Optimierungsframework, das das Advantage-Design für die On-Policy-Distillation basierend auf der $f$ -Divergenz neu bewertet.

2.1 Theoretische Grundlage

Die Autoren formulieren das OPD-Ziel als Minimierung der $f$ -Divergenz zwischen der Student-Policy $p_\theta$ und der Teacher-Policy $q$ . Die Zielfunktion ist definiert als:
$J_f(\theta) = \mathbb{E}_{x \sim X, y \sim p_\theta(\cdot|x)} \left[ \sum_{n=1}^{L_y} f(u_{\theta,n}) \right]$
wobei $u_{\theta,n} = q(y_n | y_{<n}, x) / p_\theta(y_n | y_{<n}, x)$ das Dichteverhältnis auf Token-Ebene ist und $f$ eine konvexe Funktion mit $f(1)=0$ ist.

2.2 Die Korrektur

Das Paper leitet den wahren Gradienten dieses Ziels ab. Standard-OPD verwendet einen „Stop-Gradient“-Policy-Gradient-Schätzer, bei dem der Reward $r = -f(u_{\theta,n})$ als fest behandelt wird. Die Autoren zeigen, dass der wahre Gradient zwei Terme enthält:

Den Standard-Score-Funktions-Term: $\mathbb{E}[r \nabla_\theta \log p_\theta]$ .
Einen direkten Reward-Gradienten-Term: $\mathbb{E}[\nabla_\theta r]$ .

Für eine allgemeine $f$ -Divergenz verschwindet der direkte Reward-Gradient-Term nicht. Speziell gilt $\nabla_\theta r = u_{\theta,n} f'(u_{\theta,n}) \nabla_\theta \log p_\theta$ .
Folglich ist die korrekte Advantage-Funktion nicht einfach $-f(u)$ , sondern ein gewichteter Term:
$w_f(u) = -f(u) + u f'(u)$

2.3 Spezialfall: Reverse KL

Für die Reverse KL gilt $f(u) = -\log u$ . Der Korrekturterm wird zu:
$w(u) = -(-\log u) + u(-1/u) = \log u + 1$
Der zusätzliche $+1$ -Term ist eine konstante Baseline. Da $\mathbb{E}[\nabla_\theta \log p_\theta] = 0$ (Score-Identität) gilt, verschwindet dieser Term theoretisch im Erwartungswert. Die Autoren argumentieren jedoch, dass dieser konstante Baseline-Term in der Praxis als Varianzreduktionsmechanismus wirkt, was die Konvergenzgeschwindigkeit und Stabilität verbessert.

2.4 Implementierung

OPD+ erfordert lediglich eine Einzeiler-Codeänderung in bestehenden OPD-Implementierungen: den Austausch des rohen negativen Divergenz-Rewards $-f(u)$ durch den korrigierten Gewichtungsfaktor $w_f(u)$ . Dieses Framework unterstützt verschiedene $f$ -Divergenzen, einschließlich Forward KL, Reverse KL und Jensen-Shannon-Divergenz (JSD).

3. Kernbeiträge

Generisches Optimierungsframework: Das Paper bietet ein vereinheitlichtes Framework für die On-Policy-Distillation basierend auf allgemeinen $f$ -Divergenzen und leitet die korrekten Gradienten- und Verlustfunktionen ab, die die Abhängigkeit des Rewards von den Policy-Parametern berücksichtigen.
Theoretischer Beweis der Verzerrung: Es beweist mathematisch, dass die Standard-Stop-Gradient-Operation zu verzerrten Gradientenschätzungen für allgemeine $f$ -Divergenzen führt und damit die gängige Praxis, den Reward als fix zu betrachten, ungültig macht.
OPD+-Algorithmus: Die Autoren führen den OPD+-Algorithmus ein, der den beobachteten Trainingskollaps von Forward KL und JSD eliminiert und die Leistung selbst für Reverse KL verbessert.
Empirische Validierung: Die Arbeit stellt die vorherrschende Annahme infrage, dass die Reverse KL die überlegene oder einzige praktikable Distanzmetrik für die On-Policy-Distillation ist, und zeigt auf, dass andere Divergenzen bei korrekter Optimierung besser abschneiden können.

4. Experimentelle Ergebnisse

Die Autoren evaluierten OPD+ auf der QWEN3 Modellfamilie (1,7B und 8B Parameter) in zwei unterschiedlichen Domänen: Wettbewerbsmathematik (DeepMath, AIME 24/25, HMMT 25) und Agentic Tool Use.

4.1 Rettung „untrainierbarer“ Divergenzen

Unter dem Standard-Stop-Gradient-Design (OPD) zeigten Forward KL und JSD einen katastrophalen Fehler: Sie fielen auf 0 % Genauigkeit bei Tool-Use-Aufgaben ab und konnten die SFT-initialisierte Baseline bei Mathematik-Aufgaben nicht erreichen.

OPD+-Korrektur: Durch Anwendung des korrigierten Advantages $w(u)$ eliminierte OPD+ diesen Fehlermodus vollständig.
JSD-Leistung: JSD+ stabilisierte sich nicht nur, sondern übertraf auch die Standard-Reverse-KL-Baseline. Beim anspruchsvollen AIME 25 Benchmark erreichte JSD+ eine Genauigkeit von 50,42 % im Vergleich zu 48,54 % bei Reverse KL. Bei der Tool Use Aufgabe erreichte JSD+ 60,29 % und übertraf damit die Reverse-KL-Baseline von 59,97 %.

4.2 Verbesserung bei Reverse KL

Selbst im Bereich, in dem die Reverse KL traditionell dominiert, lieferte OPD+ strikte empirische Verbesserungen:

AIME 24: Reverse KL+ verbesserte sich von 64,27 % auf 64,69 %.
Tool Use: Reverse KL+ verbesserte sich von 59,97 % auf 61,44 %.
Konvergenz: Die Trainingsdynamik (Abbildung 1) zeigt, dass OPD+-Varianten die frühe Konvergenz beschleunigen und Plateaus oder Leistungsdegradationen verhindern, die bei Standard-Baselines zu beobachten sind.

4.3 Selbst-Distillation (OPSD)

Die Methode wurde auch in einem On-Policy Self-Distillation (OPSD) Setting validiert, bei dem das Modell sowohl Student als auch Teacher ist (wobei der Teacher auf privilegierte Ground-Truth-Lösungen konditioniert ist). OPD+ übertraf konsistent die Vanilla-Stop-Gradient-Versionen über alle Divergenztypen hinweg, wobei die korrigierte Reverse KL die beste Leistung unter den Divergenzen zeigte.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die historische Unterleistung alternativer $f$ -Divergenzen (Forward KL, JSD) in der On-Policy-Distillation nicht eine intrinsische Limitierung der Divergenzen selbst ist, sondern eine Nebenwirkung eines falsch spezifizierten Gradienten-Koeffizienten, der durch das Stop-Gradient-Design verursacht wird.

Durch die Korrektur der Advantage-Funktion, um mathematisch getreu zum $f$ -Divergenz-Ziel zu sein, ermöglicht OPD+:

Erweiterung des Designraums: Es ermöglicht die Nutzung einer breiteren Palette statistischer Distanzen für die Distillation und bewegt sich damit über den Industriestandard der Reverse KL hinaus.
Leistungssteigerung: Es etabliert neue State-of-the-Art-Leistungsspitzen auf Benchmarks für Reasoning und Tool-Use.
Hinterfragen von Konventionen: Es stellt die verbreitete Annahme infrage, dass die Reverse KL aufgrund ihrer Stabilität inhärent überlegen sei, und legt nahe, dass diese Stabilität ein Artefakt der Optimierungsmethode und nicht der Wahl der Divergenz war.

Die Autoren kommen zu dem Schluss, dass ihre Arbeit einen mathematisch korrekteren und empirisch effektiveren Algorithmus liefert, der potenziell weitere Forschung zum Design von Advantage-Funktionen für On-Policy-Distillationsmethoden anstoßen kann. Sie räumen Einschränkungen hinsichtlich der Modellskalierungsanalyse und des Vergleichs zwischen Single-Token-Likelihood und Logit-Distillation ein und deuten diese als Bereiche für zukünftige Arbeiten an.