🤖 machine learning

Self-Distilled Policy Gradient

Dieses Paper schlägt SDPG vor, ein Framework für selbst-destillierte Policy-Gradienten, das On-Policy-Selbst-Distillation mittels eines Full-Vocabulary-Reverse-KL-Losses mit gruppenrelativen Verifier-Advantages und Reference-Policy-Regularisierung integriert, um die Stabilität und Performance von Sparse-Reward-Reinforcement-Learning zu verbessern.

Ursprüngliche Autoren: Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Schüler beibringen, besser zu denken

Stellen Sie sich vor, Sie trainieren einen brillanten, aber unerfahrenen Schüler (das KI-Modell), um schwierige mathematische Probleme zu lösen. Der Schüler ist klug, verliert sich aber oft in seinen eigenen Gedankengängen.

Derzeit ist die Standardmethode, um diese Schüler zu trainieren, das Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Betrachten Sie dies als eine „Bestanden/Nicht bestanden“-Prüfung. Der Schüler schreibt eine komplette Lösung, und ein strenger Aufseher (der Verifizierer) prüft das Endergebnis.

Wenn die Antwort richtig ist: Bekommt der Schüler einen goldenen Stern (+1).
Wenn die Antwort falsch ist: Bekommt er ein rotes X (0).

Das Problem: Dieses „Bestanden/Nicht bestanden“-System ist zu vage. Wenn der Schüler die Antwort falsch hat, weiß er nicht, welcher spezifische Schritt den Fehler verursacht hat. Hat er in Schritt 3 die Algebra vermasselt? Oder in Schritt 7 die Logik? Da das Feedback so spärlich ist (nur am Ende), lernt der Schüler langsam und wird manchmal verwirrt, was zu einem instabilen Training führt.

Die Lösung: Der „selbst-destillierende“ Tutor

Die Autoren schlagen eine neue Methode namens SDPG vor. Anstatt nur auf die Endnote zu warten, erhält der Schüler während des Schreibens einen „Spickzettel“ oder eine „privilegierte Sicht“ auf die Lösung.

So funktioniert SDPG, unterteilt in drei Teile:

1. Die zwei Hüte: Schüler und Lehrer

Im traditionellen Unterricht benötigt man einen großen, teuren Professor (Lehrer), um einen kleinen Schüler zu unterrichten. Das ist schwierig, da man gleichzeitig zwei massive Computer betreiben muss.
In der Selbst-Destillation trägt der Schüler zwei Hüte:

Der Schüler-Hut: Das Modell versucht, das Problem nur mit der Fragestellung (ohne Hinweise) zu lösen.
Der Lehrer-Hut: Dasselbe Modell versucht das Problem erneut zu lösen, hat aber diesmal einen „privilegierten Kontext“ (einen Hinweis, einen Lösungsweg oder einen durch eine leistungsstarke KI wie Gemini generierten Denkleitfaden).

Das Modell lernt, indem es versucht, seine Vorhersagen unter dem „Schüler-Hut“ mit seinen Vorhersagen unter dem „Lehrer-Hut“ in Einklang zu bringen. Es ist wie ein Musiker, der ein Lied übt: Er hört die perfekte Aufnahme (Lehrer) und versucht, sein eigenes Spiel (Schüler) Note für Note anzugleichen. Dies gibt ihm dichtes, schrittweises Feedback statt nur einer Endnote.

2. Das Sicherheitsnetz: Der „Gute Idee“-Filter

Es besteht hier ein Risiko. Wenn der Schüler auf einem völlig falschen Weg ist (z. B. wenn er das völlig falsche Problem löst), könnte der „Lehrer-Hut“ ihm immer noch eine perfekte Lösung für das falsche Problem liefern. Wenn der Schüler dies blind kopiert, wird er nur besser darin, falsch zu liegen.

SDPG löst dies durch Positive Advantage Gating.

Die Analogie: Stellen Sie sich einen Coach vor, der den Schüler beobachtet. Wenn der Schüler vom Spielfeld wegläuft (eine schlechte Punktzahl vom Verifizierer erhält), sagt der Coach: „Stopp! Hör noch nicht auf die perfekte Lösung, denn du löst gerade das falsche Thema.“
Das System lässt den Schüler nur dann von dem „Lehrer-Hut“ lernen, wenn der „Schüler-Hut“ bereits einen Pfad erzeugt hat, den der Verifizierer als vielversprechend ansieht (eine positive Belohnung). Dies stellt sicher, dass der Schüler nur gutes Denken verinnerlicht und nicht nur perfekte Antworten auf schlechte Fragen.

3. Das Aufwärmen und Abkühlen

Die Autoren haben auch erkannt, dass man den Schüler nicht dazu zwingen kann, dem Lehrer sofort oder ewig zuzuhören.

Aufwärmphase (Warm-up): Zu Beginn ist der Schüler zu verwirrt, um vom Lehrer zu lernen. Also beginnt er mit nur der „Bestanden/Nicht bestanden“-Prüfung. Sobald er einige Antworten richtig hat, schaltet er die Lektionen des „Lehrer-Huts“ langsam ein.
Abkühlphase (Cool-down): Gegen Ende des Trainings hat der Schüler die Lektionen verinnerlicht. Wenn er weiterhin zu sehr auf den Lehrer hört, hört er vielleicht auf, selbstständig zu denken (ein Problem namens „Mode Collapse“). Daher schaltet das System die Stimme des Lehrers schrittweise aus, damit der Schüler sich wieder auf seine eigenen Fähigkeiten verlassen kann.

Das Ergebnis

Durch die Kombination der Endnote (vom Verifizierer) mit der schrittweisen Anleitung (vom Selbst-Lehrer), aber unter Filterung, sodass der Schüler nur von guten Pfaden lernt, wird die KI:

Stabiler: Sie stürzt nicht ab oder wird während des Trainings verwirrt.
Intelligenter: Sie lernt besser zu denken, weil sie Feedback zu jedem einzelnen Schritt erhält, nicht nur am Ende.
Schneller: Sie erreicht hohe Leistungsniveaus in weniger Trainingsschritten als bisherige Methoden.

Kurz gesagt: SDPG ist wie ein Schüler, der einen Tutor hat, der nur dann zu Wort kommt, wenn der Schüler auf dem richtigen Weg ist, und der ihn dann allmählich die Prüfung alleine schreiben lässt, sobald er das Material gemeistert hat.

Technische Zusammenfassung: Self-Distilled Policy Gradient (SDPG)

Problemstellung
Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist zu einem Standard für das Post-Training von Large Language Models (LLMs) bei Denkaufgaben wie Mathematik und der Generierung von Programmcode geworden. Algorithmen wie Group Relative Policy Optimization (GRPO) optimieren gegen regelbasierte Ergebnisbelohnungen (z. B. richtige/falsche Antworten), ohne dass menschliche Präferenzannotationen erforderlich sind. RLVR steht jedoch vor zwei primären Einschränkungen:

Spärliche Belohnungen (Sparse Rewards): Das Belohnungssignal wird auf Sequenzebene angewendet, was es schwierig macht, die Kreditierung auf spezifische Denkschritte (Tokens) zu übertragen, was zu einer ineffizienten Exploration führt.
Instabilität beim Training: In frühen Trainingsphasen kommt es häufig zu negativen Vorteilen (Advantages), was Instabilität und eine potenzielle Verschlechterung der grundlegenden Sprachfähigkeiten verursacht.

Obwohl On-Policy Distillation (OPD) vorgeschlagen wurde, um dichte, Token-basierte Überwachung bereitzustellen, verlassen sich traditionelle Ansätze auf externe, größere Lehrer-Modelle, was hohe Speicherkosten verursacht und zu Diskrepanzen in der Verteilung führt. Jüngste „Self-Distillation“-Methoden, bei denen das Modell sowohl Schüler als auch Lehrer unter Verwendung eines privilegierten Kontextes (z. B. Grundwahrheitslösungen) agiert, adressen das Speicherproblem, bergen aber das Risiko, lokal plausibel erscheinende Tokens auf global falschen Trajektorien zu verstärken, wenn sie nicht angemessen beschränkt werden. Darüber hinaus kann reine Self-Distillation zu Mode Collapse und reduzierter Exploration führen.

Methodik: SDPG-Framework
Das Paper schlägt den Self-Distilled Policy Gradient (SDPG) vor, ein Framework, das exakte Full-Vocabulary On-Policy Self-Distillation mit KL-regularisierter Policy-Optimierung integriert. Das Kernziel kombiniert drei Komponenten:

Ergebnisbasierter Policy Gradient ( $L_{out}$ ):
SDPG behält das spärliche binäre Belohnungssignal eines Verifiers bei. Es nutzt einen gruppenspezifischen relativen Vorteil ( $A_{out}$ ), der innerhalb einer Gruppe von Rollouts normalisiert wird, um das Lernen zu stabilisieren – ähnlich wie GRPO, jedoch formuliert als direkter REINFORCE-artiger Surrogate-Loss ohne PPO-artiges Importance-Ratio-Clipping.
Exakte Full-Vocabulary On-Policy Distillation ( $L_{OPD}$ ):
Anstatt Tokens zu sampeln, um das Lehrer-Signal zu approximieren, berechnet SDPG die exakte reverse Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der Schüler-Verteilung ( $p_t$ ) und einer privilegierten Lehrer-Verteilung ( $q_t$ ), die an zusätzlichen Kontext $c$ (z. B. Lösungen oder Denkpfade) bedingt ist.

Gradienten-Identität: Die Autoren leiten ein zentrales theoretisches Ergebnis her (Proposition 3.1): Der Gradient des Reverse-KL Full-Vocabulary Loss bezüglich der Schüler-Policy ist lokal identisch mit einem Detached-Sampling Policy Gradient Update. Der „Vorteil“ in diesem Update ist ein zentriertes Log-Ratio der Lehrer- und Schüler-Wahrscheinlichkeiten.
Gating-Mechanismus: Um zu verhindern, dass der privilegierte Lehrer falsche Trajektorien verstärkt, wird der Distillations-Loss durch den Ergebnis-Vorteil (Outcome Advantage) gegatet. Die Distillation wird nur angewendet, wenn die Rollout als korrekt verifiziert wurde ( $A_{out} > 0$ ).

Referenz-Policy-Regularisierung ( $L_K$ ):
Um zu verhindern, dass die Policy zu weit von ihren ursprünglichen Fähigkeiten abweicht oder kollabiert, verankert SDPG die aktualisierte Policy an einer festen Referenz-Policy ( $\pi_{ref}$ ). Das Paper verwendet die Unnormalisierte KL (UKL) Divergenz (Forward oder Reverse) für diese Regularisierung, die im Vergleich zur Standard-normalisierten KL elegantere und symmetrischere Gradienten bietet, insbesondere beim Umgang mit unnormalisierten Maßen.

Stabilisierungsstrategien
Um das Rauschen des privilegierten Signals und den Trade-off zwischen Exploration und Exploitation zu bewältigen, führt SDPG zwei Stabilisatoren ein:

Positive Advantage Gating: Stellt sicher, dass Distillation nur auf Trajektorien stattfindet, die vom Verifier bestätigt wurden.
Warmup-Decay-Schema ( $\beta(k)$ ): Der Distillations-Koeffizient $\beta$ wird schrittweise erhöht (Warmup), um dem Modell zu ermöglichen, korrekte Trajektorien zu finden, bevor es sich auf die Distillation verlässt, und dann gegen Ende des Trainings reduziert (Decay). Dies verhindert, dass das privilegierte Signal das Modell einmal gefunden hat, zu stark einschränkt, und fördert die Exploration in der Endphase.

Wesentliche Beiträge

Theoretische Herleitung: Das Paper leitet eine exakte lokale Policy-Gradient-Form für die Reverse-KL Full-Vocabulary On-Policy Distillation her und zeigt, dass diese einem Detached-Sampling Update mit einem zentrierten Log-Ratio-Vorteil entspricht.
Neuartiges Ziel: Es schlägt ein vereinheitlichtes Ziel vor, das binäre Ergebnisbelohnungen, gegatete Full-Vocabulary Privileged Distillation und unnormalisierte KL-Regularisierung gegen eine feste Referenz kombiniert.
Stabilisierungstechniken: Die Einführung von Positive-Advantage Gating und einem Warmup-Decay-Schema für den Distillations-Koeffizienten, um das Gleichgewicht zwischen dichter Überwachung und Exploration zu halten.

Experimentelle Ergebnisse
Die Autoren evaluierten SDPG auf mathematischen Reasoning-Benchmarks (AIME2024, AIME2025, AMC23) unter Verwendung von Qwen3-4B.

Performance: Beide SDPG-Varianten (unter Verwendung von Unnormalized Forward KL und Unnormalized Reverse KL) übertrafen die Baseline GRPO sowie die Self-Distillation-Baseline RLSD über alle Benchmarks hinweg.
Stabilität: SDPG-Varianten erreichten High-Reward-Plateaus signifikant schneller als GRPO. Bemerkenswerterweise hielt SDPG während des gesamten Trainings eine höhere Actor-Entropie aufrecht als RLSD, welches um Schritt 250 einen Entropy Collapse (ein Zeichen für Mode Collapse) zeigte.
Effizienz: SDPG-Methoden erzeugten Antwortlängen, die für mehrstufiges Reasoning ausreichend, aber weniger redundant als die ausschweifenden Ausgaben von GRPO waren.

Bedeutung
Das Paper behauptet, dass SDPG erfolgreich die Lücke zwischen spärlicher Belohnung (Sparse-Reward RLVR) und dichter Überwachung durch Self-Distillation schließt. Indem es Self-Distillation als Policy-Gradient-Update behandelt und das privilegierte Signal durch Gating und Scheduling streng kontrolliert, erreicht SDPG eine überlegene Stabilität und Performance. Es demonstriert, dass dichte, Token-basierte Überwachung, die aus dem eigenen privilegierten Kontext des Modells abgeleitet wird, Reasoning-Modelle effektiv führen kann, ohne den Speicher-Overhead externer Lehrer oder die Instabilität reiner Self-Distillation zu verursachen.