🤖 machine learning

$\beta$ -OPSD: Deriving with Policy Optimization, Training with Self-Distillation

Dieses Paper führt $\beta$ -OPSD ein, ein fundiertes Framework, das das On-Policy Self-Distillation generalisiert, indem es das KL-Penalty-Gewicht $\beta$ als einen abstimmbaren Parameter behandelt, was ein effizientes Training durch Logit-Mixing ermöglicht, um die optimale Policy-Interpolation zwischen einem Referenzmodell und einem Teacher zu approximieren, während gleichzeitig die Stabilität und die Reasoning-Performance gegenüber dem herkömmlichen OPSD signifikant verbessert werden.

Ursprüngliche Autoren: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Veröffentlicht 2026-07-31

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein schwieriges Matheproblem zu lösen. Sie haben zwei Möglichkeiten, ihm beim Lernen zu helfen. Die erste Möglichkeit besteht darin, den Roboter versuchen zu lassen, scheitern zu lassen und ihm dann die perfekte Lösung zu zeigen, wobei Sie ihn bitten, jeden Schritt auswendig zu lernen. Das ist so, als würde ein Schüler die Hausaufgaben eines Lehrers abschreiben. Der zweite Weg besteht darin, den Roboter versuchen zu lassen und dann einen „Super-Lehrer“ einzusetzen, der die Antwortmöglichkeit sieht und sofortiges Feedback zu jedem einzelnen Wort geben kann, das der Roboter schreibt. Dies wird als „On-Policy Self-Distillation“ bezeichnet. Es ist leistungsstark, weil der Lehrer in Echtzeit auf die spezifischen Fehler des Roboters reagiert. Aber hier ist der Haken: Diese Methode ist oft fragil. Wenn man den Roboter zu sehr dazu drängt, den Super-Lehrer zu kopieren, könnte er verwirrt werden, das, was er bereits weiß, vergessen und anfangen, wilde Vermutungen anzustellen. Es ist wie ein Schüler, der versucht, einen Genie so perfekt nachzuahmen, dass er seine eigene Stimme verliert und aufhört, selbstständig zu denken. Wissenschaftler wollen wissen: Wie nutzen wir die Vorteile des Super-Lehrers, ohne das Selbstvertrauen des Schülers zu brechen?

Eine neue Arbeit stellt eine clevere Lösung namens β-OPSD vor. Die Forscher erkannten, dass die Standardmethode, den Super-Lehrer zu nutzen, eigentlich nur eine extreme Einstellung einer viel größeren Familie von Methoden ist. Sie entdeckten einen „Regler“ (genannt β), der steuert, wie sehr der Roboter auf den Super-Lehrer hören soll im Vergleich dazu, wie sehr er seinem eigenen aktuellen Stil treu bleiben soll. Anstatt den Roboter direkt dazu zu zwingen, das Niveau des Lehrers zu erreichen, fanden sie einen Weg, einen sanften Pfad zwischen dem aktuellen Selbst des Roboters und dem Super-Lehrer zu schaffen. Sie haben auch ein zweites Problem behoben: Wenn der Roboter am Anfang eines Satzes einen Fehler macht, beeinflusst dies alle Wörter, die danach kommen. Die alten Methoden betrachteten nur den unmittelbaren Fehler, aber die neue Methode betrachtet die gesamte Reise und schreibt (oder gibt) den frühen Wörtern die Verantwortung (oder die Ehre) basierend darauf zu, wie sie das Endergebnis geformt haben. Durch die Kombination eines sanften Lernpfads mit einem „Vorausschau“-Kreditsystem lernt der Roboter stetiger und löst mathematische Probleme besser als zuvor.

Das Problem: Der „zu schwere“ Lehrer

In der Welt der KI beinhaltet das intelligenter Machen eines Modells oft einen Prozess namens On-Policy Self-Distillation. Stellen Sie sich vor, ein Schüler (das KI-Modell) schreibt eine Geschichte oder löst ein Matheproblem. Während er schreibt, beobachtet ein „privilegierter Lehrer“ (eine intelligentere Version des Modells oder eine mit Zugriff auf die Antwortmöglichkeit) ihn und sagt: „Nein, dieses Wort sollte dieses hier sein.“ Der Schüler versucht dann, die Entscheidungen des Lehrers zu kopieren.

Das Problem ist, dass dieser Lehrer zu gut ist. Wenn der Schüler versucht, die perfekten Antworten des Lehrers sofort zu kopieren, kann das so sein, als würde man versuchen, einen Marathon zu laufen, bevor man überhaupt gehen kann. Der Schüler wird überfordert, das Lernen wird instabil und der Roboter fängt an, seltsame, zufällige Fehler zu machen. Die Forscher fanden heraus, dass die Standardmethode im Wesentlichen den Schüler dazu zwang, dem Lehrer von Anfang an perfekt zu entsprechen, was eine sehr fragile Art des Lernens ist.

Die Lösung: Eine sanfte Lernkurve

Die Autoren der Arbeit, Jiawei Xu, Minghui Liu und ihr Team an der University of Maryland, schlugen einen neuen Weg vor, über den man nachzudenken muss. Sie erkannten, dass die Standardmethode lediglich eine spezifische Einstellung einer breiteren Familie von Lernstrategien ist. Sie führten eine Variable namens β (Beta) ein, die wie ein Lautstärkeregler für die Anleitung des Lehrers fungiert.

Wenn β niedrig (oder 1) ist: Versucht der Schüler, den Lehrer exakt zu kopieren. Dies ist der alte, fragile Weg.
Wenn β hoch ist: Ist es dem Schüler erlaubt, näher an seinem eigenen aktuellen Stil zu bleiben und nur langsam in Richtung des Stils des Lehrers zu driften.

Die Arbeit zeigt, dass der perfekte Weg des Lernens nicht darin besteht, direkt zum Lehrer zu springen. Stattdessen ist der beste Pfad eine geometrische Interpolation. Denken Sie an eine GPS-Route. Die alte Methode versuchte, den Schüler direkt an den Standort des Lehrers zu teleportieren. Die neue Methode, β-OPSD, zeichnet eine sanfte Straße zwischen dem aktuellen Standort des Schülers und dem Standort des Lehrers.

Während des Trainings „planen“ die Forscher den Wert von β. Sie beginnen mit einem Ziel, das dem Schüler sehr nahe kommt (sicher und einfach) und verschieben das Ziel allmählich so, dass es mehr wie der Lehrer ist (herausfordernd und intelligent). Dies ist wie ein Videospiel, das auf „Einfach“ beginnt und dann langsam auf „Schwer“ hochgestuft wird, anstatt den Spieler direkt in das schwierigste Level zu werfen.

Die Geheimzutat: Vorausschauen

Es gab noch ein weiteres Puzzleteil. In den alten Methoden, wenn der Schüler einen Fehler beim ersten Wort eines Satzes machte, gab das System nur diesem spezifischen Wort die Schuld. Aber in der Sprache verändert das erste Wort den Kontext für jedes folgende Wort. Wenn Sie einen Satz mit „Der Hund“ beginnen, ist das nächste Wort wahrscheinlich „bellte“ oder „lief“, nicht „Pizza“.

Die Forscher erkannten, dass die alte Methode „myopisch“ (kurzsichtig) war. Sie erkannte nicht, dass ein früher Fehler den gesamten Satz ruinieren konnte. Um dies zu beheben, fügten sie eine Return-to-go Credit Assignment hinzu.

Stellen Sie sich vor, Sie spielen eine Partie Schach. Wenn Sie in Zug 3 einen schlechten Zug machen, verlieren Sie das Spiel vielleicht erst in Zug 20. Die alte Methode würde nur Zug 20 die Schuld geben. Die neue Methode blickt zurück und sagt: „Hey, Zug 3 war das eigentliche Problem, weil er zu dieser Katastrophe geführt hat.“ Indem sie den frühen Tokens (Wörtern/Zeichen) die Anerkennung (oder die Schuld) geben, basierend darauf, wie sie das Endergebnis beeinflusst haben, lernt das Modell, von Beginn an vorsichtiger zu sein.

Was sie herausfanden

Das Team testete diese neue β-OPSD-Methode auf mathematischen Denk-Benchmarks, die wie die Olympischen Spiele der Matheprobleme für KI sind. Sie verwendeten Modelle, die von klein (1,7 Milliarden Parameter) bis groß (8 Milliarden Parameter) reichen.

Die Ergebnisse waren vielversprechend. Beim Qwen3-1.7B-Modell verbesserte die neue Methode die durchschnittliche Punktzahl um 9,16 Prozentpunkte im Vergleich zur alten Methode beim AIME 2024 Mathematikwettbewerb. Sie zeigte auch Verbesserungen bei anderen schwierigen Tests wie AIME 2025 und HMMT 2025. Selbst bei den größeren Modellen übertraf die neue Methode konsequent die alte Methode, was zeigt, dass der sanfte Lernpfad und das „Vorausschau“-Kreditsystem unabhängig von der Größe des Modells gut funktionieren.

Die Forscher legen nahe, dass dieser Ansatz einen „prinzipiengeleiteten Weg“ vom einfachen Kopieren zur komplexen Optimierung bietet. Er erfordert keine teuren, langsamen Reinforcement-Learning-Tricks; stat stattdessen nutzt er die kluge Mathematik der Policy-Optimierung, um einen besseren, günstigeren und stabileren Weg zu schaffen, um KI-Modelle lehren zu können, wie man schlussfolgert. Indem sie einen starren, fragilen Prozess in eine sanfte, geführte Reise verwandelten, machten sie den Roboter zu einem besseren Schüler.

Technisches Resümee: $\beta$ -OPSD

1. Problemstellung

On-policy Self-Distillation (OPSD) hat sich als eine vielversprechende Technik zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) herausgestellt. Im Standard-OPSD lernt ein Student-Modell aus seinen eigenen generierten Trajektorien, während es gleichzeitig eine Supervision durch einen „privilegierten Lehrer“ (dieselbe Architektur mit Zugriff auf Grundwahrheitslösungen oder verifizierte Spuren) erhält, der nur während des Trainings verfügbar ist.

Die Autoren identifizieren jedoch, dass herkömmliches OPSD in der Praxis oft instabil ist und erheblichen Engineering-Aufwand erfordert, um zuverlässig zu funktionieren. Das Kernproblem besteht darin, dass das Standard-OPSD den Lehrer als das einzige Optimierungsziel behandelt, wodurch die Regularisierungsstärke, die den Studenten an seine ursprüngliche oder Referenz-Policy bindet, implizit fixiert wird. Diese starre Formulierung besitzt keinen Mechanismus, um zu steuern, wie aggressiv sich der Student von seiner Referenz-Policy weg hin zum Lehrer bewegt, was häufig zu Instabilität oder suboptimaler Konvergenz führt.

2. Methodik

Das Paper schlägt $\beta$ -OPSD vor, ein Framework, das On-Policy Self-Distillation als eine breitere Familie von KL-regularisierten Policy-Optimierungsproblemen neu definiert. Die Methodik gliedert sich in drei Hauptstadien: Ableitung des theoretischen Ziels, Überführung in ein praktisches Distillationsziel und Verfeinerung der Credit Assignment.

2.1. Theoretische Ableitung: $\beta$ -OPSD als Policy-Optimierung

Die Autoren zeigen auf, dass herkömmliches OPSD exakt das $\beta = 1$ Mitglied einer Familie von KL-regularisierten Policy-Optimierungen ist. Sie definieren die Zielfunktion $J_\beta(\theta)$ als:
$J_\beta(\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \log \frac{p_T(y|x,c)}{\pi_{\text{ref}}(y|x)} \right] - \beta D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))$
Wobei:

$\pi_\theta$ : Die Student-Policy.
$p_T$ : Die privilegierte Lehrer-Policy (konditioniert auf Problem $x$ und privilegierte Information $c$ ).
$\pi_{\text{ref}}$ : Eine Referenz-Policy (z. B. der initiale Student).
$\beta$ : Ein steuerbarer Regularisierungsparameter.

Zentrale Erkenntnis: Wenn $\beta=1$ , heben sich die Referenzterme auf, was die Standard-Reverse-KL-Minimierung in Richtung des Lehrers wiederherstellt. Für $\beta > 1$ wird das Ziel konservativer, da Abweichungen von der Referenz-Policy stärker bestraft werden.

2.2. Optimale Policy und geometrische Interpolation

Die Autoren leiten die geschlossene optimale Policy $\pi^\star_\beta$ für dieses Ziel ab:
$\pi^\star_\beta(y|x,c) = \frac{\pi_{\text{ref}}(y|x)^{1-1/\beta} p_T(y|x,c)^{1/\beta}}{Z_\beta(x,c)}$
Diese Lösung stellt eine geometrische Interpolation zwischen der Referenz-Policy und dem privilegierten Lehrer dar. Der Parameter $\beta$ (speziell sein Kehrwert $1/\beta$ ) fungiert als Gewicht, das die Position entlang dieses Pfades bestimmt.

$\beta = 1 \implies$ Das Ziel ist der Lehrer.
$\beta \to \infty \implies$ Das Ziel nähert sich der Referenz-Policy an.

2.3. Praktisches Training: Geplante Logit-Interpolation

Die direkte Optimierung des RL-Ziels ist aufgrund des unpraktikablen Normalisators $Z_\beta$ und der hohen Varianz der Gradienten rechenintensiv. Stattdessen konvertiert $\beta$ -OPSD die theoretische Lösung in ein effizientes Distillationsziel.

Lokale Approximation: Da der Sequenz-Level-Normalisator unpraktikabel ist, approximiert die Methode die optimale Policy an jedem Dekodier-Präfix $h_t$ durch eine lineare Interpolation der Logits der Referenz- und der Lehrer-Policy:
$\tilde{p}_{\beta_k}(\cdot | h_t, c) = \text{softmax}\left( \left(1 - \frac{1}{\beta_k}\right) z_{\text{ref}} + \frac{1}{\beta_k} z_T \right)$
Curriculum-Scheduling: Anstatt $\beta$ festzusetzen, verwendet die Methode ein Schema, bei dem das Lehrer-Gewicht $w_k = 1/\beta_k$ über die Trainingsschritte linear von $w_{\text{start}}$ bis $w_{\text{end}}$ ansteigt. Dies erzeugt ein glattes Curriculum, das mit Zielen beginnt, die näher am Studenten liegen, und schrittweise eine stärkere Anleitung durch den Lehrer integriert.

2.4. Return-to-Go Credit Assignment

Standardmäßige Token-Level OPSD-Updates sind „kurzsichtig“ (myopic), da sie die Loss jedes Tokens unabhängig behandeln. Dies ignoriert die Tatsache, dass eine frühe Token-Wahl die zukünftigen Präfixe und die daraus resultierende Diskrepanz beeinflusst.
Um dies zu adressieren, führt $\beta$ -OPSD ein Return-to-Go (RTG) Credit Assignment ein. Der Loss für ein Token $t$ wird durch die kumulative zukünftige Diskrepanz (diskontierter Return) entlang der Trajektorie gewichtet:
$G_{t, \gamma} = \sum_{s=t}^{T} \gamma^{s-t} \rho_s$
wobei $\rho_s$ die Log-Ratio-Diskrepanz zum Schritt $s$ ist. Dies stellt sicher, dass frühe Tokens die Verantwortung (oder Schuld) für die durch sie induzierte Verteilungsabweichung im weiteren Verlauf der Sequenz erhalten, wodurch die Token-Level-Updates mit dem Sequenz-Level-Ziel in Einklang gebracht werden.

3. Zentrale Beiträge

Theoretische Vereinheitlichung: Das Paper etabliert, dass herkömmliches OPSD der Fall $\beta=1$ einer breiteren Familie von KL-regularisierten Policy-Optimierungen ist, wodurch die implizite Wahl der Regularisierung explizit und steuerbar wird.
$\beta$ -OPSD Framework: Es führt ein generalisiertes Ziel ein, bei dem die optimale Policy eine geometrische Interpolation zwischen der Referenz und dem Lehrer ist, welche praktisch durch geplantes Logit-Interpolation realisiert wird.
Effizienter Trainingsalgorithmus: Die Autoren schlagen eine Methode vor, die die teure RL-abgeleitete Lösung durch eine kostengünstige Token-Level-Distillation zu approximieren, wodurch komplexe RL-Mechanismen wie die Advantage-Schätzung vermieden werden.
Sequenz-Level-Ausrichtung: Die Integration von Return-to-Go Credit Assignment korrigiert die kurzsichtige Natur von Standard-Token-KL-Updates und liefert einen unverzerrten Schätzer für das Sequenz-Level-Ziel.

4. Experimentelle Ergebnisse

Die Methode wurde auf mathematischen Reasoning-Benchmarks (AIME 2024, AIME 2025, HMMT 2025) unter Verwendung von Qwen3-Modellen mit Größen von 1,7B bis 8B Parametern evaluiert.

Leistungssteigerungen: $\beta$ $β$ -OPSD übertraf konsistent herkömmliches OPSD, SFT sowie GRPO-Baselines.
- Bei Qwen3-1.7B verbesserte $\beta$ -OPSD die durchschnittliche Performance (avg@12) im Vergleich zu herkömmlichem OPSD um 5,74 Prozentpunkte, mit spezifischen Gewinnen von 9,16 Punkten bei AIME 2024.
- Bei größeren Modellen (4B und 8B) blieb die Performance wettbewerbsfähig oder überlegen, mit Verbesserungen des Gesamtdurchschnitts um 1,76 bzw. 1,66 Punkte.
Ablationsstudien:
- Zielverteilung: Der Ersatz des festen Lehrer-Ziels durch das geplante Logit-Interpolationsziel lieferte signifikante Gewinne (z. B. +6,03 Punkte auf AIME 2024), was den Nutzen eines glatten Übergangs bestätigt.
- Credit Assignment: Die Verwendung von Return-to-Go-Gewichtungen anstelle lokaler Token-Gradienten verbesserte die Performance (z. B. +5,55 Punkte auf AIME 2025), was die Bedeutung zukunftsorientierter Updates validiert.
- Referenz-Konstruktion: Die beste Leistung wurde mit einem dynamischen Studenten (aktuelles Modell) und einem festen Lehrer (privilegierter Lehrer) erzielt, was darauf hindeutet, dass das Verfolgen der sich entwickelnden Studenten-Verteilung bei gleichzeitiger Beibehaltung eines stabilen supervisory Ankers optimal ist.

5. Bedeutung und Behauptungen

Das Paper behauptet, einen „prinzipiierten Weg von der Self-Distillation zur Policy-Optimierung und zurück“ zu bieten. Seine primäre Bedeutung liegt in:

Stabilität: Durch die Behandlung von $\beta$ als steuerbarem Parameter adressiert die Methode die Instabilität von herkömmlichem OPSD und ermöglicht eine glattere Optimierung, die die Nähe zur Referenz-Policy gegen die Anleitung durch den Lehrer abwägt.
Effizienz: Es erzielt die Vorteile der Policy-Optimierung (Sequenz-Level-Ziele, KL-Regularisierung) ohne den Rechenaufwand eines vollen RL, und behält dabei die Effizienz der Standard-Distillation bei.
Generalisierbarkeit: Der Ansatz bietet einen Mechanismus, um die Verteilungsdifferenz zwischen Student und Lehrer zu verringern, was besonders für kleinere Modelle vorteilhaft ist, bei denen diese Lücke größer ist.

Die Autoren kommen zu dem Schluss, dass glatte Zielpfade und die Credit Assignment auf Trajektorien-Ebene effektive Prinzipien für On-Policy-Distillation sind und eine robuste Alternative zur direkten Imitation des Lehrers bieten.