🤖 machine learning

Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why

Dieser Beitrag stellt ein trainingsfreies, pro-Token-diagnostisches Rahmenwerk vor, das aufzeigt, dass on-policy-Distillation am vorteilhaftesten für die Korrektur fehlerhafter Schlussfolgerungsschritte ist, anstatt korrekte zu verstärken, und gleichzeitig demonstriert, dass die optimale Distillationskonfiguration erheblich von der Kapazität des Schülermodells und der spezifischen Aufgabe abhängt.

Ursprüngliche Autoren: Mohammadreza Armandpour, Fatih Ilhan, David Harrison, Ajay Jaiswal, Duc N. M Hoang, Fartash Faghri, Yizhe Zhang, Minsik Cho, Mehrdad Farajtabar

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammadreza Armandpour, Fatih Ilhan, David Harrison, Ajay Jaiswal, Duc N. M Hoang, Fartash Faghri, Yizhe Zhang, Minsik Cho, Mehrdad Farajtabar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen jungen Lehrling (den Schüler) darin, komplexe Rätsel zu lösen. Sie haben einen weisen Meister (den Lehrer), der die Antworten kennt. Das Ziel ist es, dem Lehrling zu helfen, indem man ihm den Denkprozess des Meisters zeigt. Dies wird als On-Policy Distillation bezeichnet.

Die Studie stellt jedoch eine entscheidende Frage: Ist der Meister immer hilfreich? Manchmal korrigiert der Meister einen echten Fehler, aber manchmal ist er nur pedantisch bezüglich des Stils (wie die Verwendung von „vier" statt „4") oder gibt verwirrende Ratschläge, wenn der Lehrling bereits auf dem richtigen Weg ist.

Die Forscher entwickelten ein spezielles „Diagnosewerkzeug", um wortweise zu prüfen, ob die Ratschläge des Meisters dem Lehrling tatsächlich helfen, sich der richtigen Antwort zu nähern, oder ob sie nur Zeit verschwenden.

Hier ist das Ergebnis, einfach erklärt:

1. Der „Perfekte Führer" vs. Der „Echte Lehrer"

Um zu wissen, ob der Lehrer hilfreich ist, stellten sich die Forscher zunächst einen „Perfekten Führer" vor. Dieser Führer weiß genau, welches Wort der Lehrling als Nächstes sagen muss, um eine korrekte Antwort zu garantieren.

Das Werkzeug: Sie erstellten einen Score (wie einen Kompass), der misst, wie stark die Ratschläge des Echten Lehrers mit diesem Perfekten Führer übereinstimmen.
Das Ergebnis: Manchmal zeigt der Kompass nach Norden (hilfreich), manchmal nach Osten (neutral) und manchmal nach Süden (schädlich).

2. Die große Überraschung: Fehler sind dort, wo Lernen stattfindet

Das konsistenteste Ergebnis ist, dass der Lehrer am hilfreichsten ist, wenn der Lehrling scheitert.

Wenn der Lehrling feststeckt oder einen falschen Weg geht: Die Ratschläge des Lehrers sind wie ein Leuchtturm im Sturm. Sie zeigen stark in Richtung der richtigen Lösung. Der „Kompass" zeigt eine starke Ausrichtung.
Wenn der Lehrling bereits gut abschneidet: Die Ratschläge des Lehrers werden laut und verwirrend. Es ist wie ein Trainer, der einem Athleten Anweisungen zuruft, der bereits perfekt läuft; das zusätzliche Rauschen könnte ihn tatsächlich verlangsamen oder dazu bringen, sich selbst zu hinterfragen.

3. Ein Maß passt nicht für alle (Die Regel der „Verständlichkeit")

Der beste Weg zu lehren hängt vollständig davon ab, wie intelligent der Lehrling ist und wie schwierig das Rätsel ist.

Der kleine Lehrling (0,6B-Modell):
- Wenn man ihm eine Lösung zeigt, die von einem superintelligenten Riesen (einem massiven externen Modell) geschrieben wurde, gerät er in Verwirrung. Die Denkweise des Riesen ist zu komplex.
- Beste Strategie: Zeigen Sie ihm eine Lösung, die von ihm selbst (oder einem ähnlichen kleinen Modell) geschrieben wurde und die richtige Antwort lieferte. Sie ist in einer Sprache verfasst, die er versteht.
- Zusammenfassung vs. Detail: Er braucht die vollständige, schrittweise Geschichte. Wenn Sie die Lösung zu stark zusammenfassen, verpasst er die Logik.
Der mittlere Lehrling (1,7B-Modell):
- Er ist intelligent genug, um von einem superintelligenten Riesen zu lernen. Tatsächlich lernt er oft besser vom Riesen als von sich selbst.
- Zusammenfassung vs. Detail: Er bevorzugt tatsächlich eine Zusammenfassung. Er kann den Ballast überspringen und direkt zur wichtigsten Logik gelangen.
Das schwierige Mathe-Rätsel (AIME):
- Bei sehr schwierigen Matheproblemen hilft es dem Lehrling tatsächlich, ein falsches Beispiel (zusammen mit dem richtigen) zu sehen. Es ist, als würde man sagen: „Machen Sie diesen Fehler nicht; tun Sie stattdessen das."
- Bei einfacheren Rätseln ist das Zeigen eines falschen Beispiels nur Rauschen und schadet der Leistung.

4. Das Problem „Stil vs. Substanz"

Die Studie weist darauf hin, dass Lehrer und Schüler oft über Dinge uneins sind, die keine Rolle spielen.

Beispiel: Der Schüler schreibt „also, daher..." und der Lehrer bevorzugt „folglich...".
Das Problem: Das Standardtraining behandelt diese Stilkorrektur genauso wie eine Logikkorrektur. Es ist, als würde ein Lehrer Ihre Grammatik korrigieren, obwohl Sie tatsächlich einen Mathefehler gemacht haben. Das neue Werkzeug zeigt, dass diese „Stiluneinigkeiten" oft keinen Wert haben, während „Logikuneinigkeiten" Gold wert sind.

5. Kein magisches Rezept

Es gibt keinen einzelnen „besten Lehrer" oder „besten Kontext", der für jede Situation funktioniert.

Wenn Sie ein kleines Modell bei einer einfachen Frage unterrichten, verwenden Sie ein selbstgeneriertes korrektes Beispiel.
Wenn Sie ein größeres Modell bei einem schwierigen Matheproblem unterrichten, verwenden Sie ein zusammengefasstes externes Beispiel oder fügen sogar ein falsches Beispiel hinzu, um zu zeigen, was man nicht tun sollte.

Zusammenfassende Analogie

Stellen Sie sich den Lehrer als ein Navi vor.

Wenn Sie falsch fahren, ist das Navi unglaublich hilfreich und dringend.
Wenn Sie bereits perfekt auf der richtigen Autobahn fahren, könnte das Navi unnötige Umleitungen vorschlagen oder sich über Ihre Spurwahl beschweren, was Sie nur ablenkt.
Außerdem könnte ein Navi, das für einen Formel-1-Wagen (ein riesiges Modell) entwickelt wurde, für einen Fahrradfahrer (ein kleines Modell) zu komplex sein. Der Fahrradfahrer braucht eine einfache Karte, die er tatsächlich lesen kann, keinen High-Tech-Datenstrom.

Die Studie kommt zu dem Schluss, dass wir, um KI effektiv zu trainieren, aufhören müssen, einen „Einheitsansatz" zu verwenden. Stattdessen sollten wir für jedes einzelne Wort prüfen, ob die Ratschläge des Lehrers tatsächlich in Richtung des Ziels zeigen, und unsere Lehrstrategie basierend auf den Fähigkeiten des Schülers und der Schwierigkeit der Aufgabe anpassen.

Technische Zusammenfassung: Entlarvung von On-Policy-Distillation

Problemstellung

On-Policy-Distillation (OPD) hat sich als zentrale Nachtrainierungstechnik für Reasoning-Modelle etabliert und bietet eine dichte, tokenweise Überwachung, um reinforcement learning (RL) mit spärlichen Belohnungen zu ergänzen. In diesem Paradigma leitet ein „Lehrer"-Modell (entweder ein größeres externes Modell oder das Student-Modell selbst mit privilegiertem Kontext) die Token-Generierung des Studenten. Praktiker fehlt jedoch eine prinzipielle Anleitung für kritische Designentscheidungen:

Lehrerauswahl: Sollte der Lehrer ein externes, größeres Modell sein oder das Student-Modell selbst (Selbstdistillation)?
Kontextdesign: Welcher spezifische Kontext (z. B. vollständige Lösungswege, zusammengefasste Lösungen oder Beispiele für falsche Antworten) sollte als Überwachungssignal dienen?
Granularität: Variiert die optimale Konfiguration je nach Aufgabe, Kapazität des Studenten oder sogar einzelnen Token?

Die aktuelle Evaluierung stützt sich auf aggregierte Leistungsmetriken aus teuren Trainingsläufen, die die Dynamiken auf Ebene der einzelnen Token verschleiern. Es bleibt unklar, unter welchen Bedingungen das Signal des Lehrers vorteilhaft, neutral oder schädlich ist.

Methodik

Die Autoren stellen ein trainingsfreies Diagnoseframework vor, das auf höchster Auflösung operiert: pro Token, pro Frage und pro Lehrerkonfiguration. Das Framework besteht aus drei Hauptkomponenten:

1. Der ideale Gradient pro Knoten

Um die Lehreranleitung zu bewerten, leiten die Autoren einen „idealen" Gradienten ab, der die Wahrscheinlichkeit des Studenten, eine korrekte Antwort zu erreichen, maximal erhöht.

Generierungsbaum: Sie zerlegen den Generierungsprozess in einen Baum, bei dem Knoten Token-Positionen und Kanten nächste Token-Wahlmöglichkeiten repräsentieren.
Empirische Erfolgswahrscheinlichkeit ( $\hat{P}^k_{succ}$ ): Durch das Sampling von Rollouts vom Studenten schätzen sie die Wahrscheinlichkeit ab, eine korrekte Antwort zu erreichen, gegeben die Auswahl von Token $k$ am Knoten $u$ .
Ideales Ziel: Das ideale lokale Ziel ist die Maximierung der erwarteten Erfolgsrate: $L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$ .
Idealer Gradient: Der Gradient dieses Ziels bezüglich der Logits des Studenten wird als $g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$ hergeleitet. Diese Richtung drängt den Studenten zu Token, die häufiger zum Erfolg führen als der Durchschnitt.
Verbindung zu Dr. GRPO: Die Autoren zeigen, dass Dr. GRPO (eine Variante von GRPO ohne Längennormalisierung) diesen idealen Gradienten im Erwartungswert wiederherstellt, was ihn als unverzerrten Schätzer des belohnungsbasierten Signals validiert.

2. Analyse des Distillationsgradienten

Das Framework analysiert die Gradienten, die von verschiedenen Distillationsalgorithmen (GKD, Schätzer mit einzelnen Stichproben, MiniLLM) erzeugt werden. Es zeigt, dass diese Methoden eine gemeinsame lokale Struktur teilen: $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$ , wobei $f_j$ aus der Verteilung des Lehrers (z. B. Log-Verhältnisse) oder auf Trajektorien basierenden Belohnungen abgeleitet ist.

3. Gradienten-Ausrichtungs-Score

Um zu quantifizieren, wie gut eine spezifische Lehrerkonfiguration das ideale Signal approximiert, definieren die Autoren den Gradienten-Ausrichtungs-Score:
$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$
Diese Kosinus-Ähnlichkeit zwischen dem idealen Gradienten und dem Distillationsgradienten bei jedem Token misst, ob die Anleitung des Lehrers in Richtung Erfolg (positive Ausrichtung), Misserfolg (negative Ausrichtung) oder orthogonal/rauschbehaftet (nahezu null Ausrichtung) drängt.

4. Skalierbare Schätzung durch gezielte Rollouts

Die Berechnung von $\hat{P}^k_{succ}$ für alle Token in langen Reasoning-Ketten ist rechnerisch prohibitiv. Die Autoren schlagen einen gezielten-Rollout-Algorithmus vor:

Exponentielle Tiefenfenster: Die Generierungssequenz wird in Fenster zunehmender Größe partitioniert.
Priorisierung: Innerhalb jedes Fensters werden Rollouts Token zugewiesen, bei denen der Lehrer am stärksten vom Studenten abweicht (hohe GKD-Gradientenstärke oder Wahrscheinlichkeitsdifferenz).
Effizienz: Dieser Ansatz skaliert mit einem vom Benutzer gewählten Budget statt mit der Sequenzlänge, was ihn für Spuren von ~200 Token (BoolQ) bis ~30.000 Token (AIME) machbar macht.

Schlüsselergebnisse

Das Framework wurde auf Qwen3-0.6B- und Qwen3-1.7B-Modelle über die Datensätze BoolQ, MMLU und AIME 2025 mit 8 verschiedenen Lehrerkonfigurationen angewendet.

1. Distillation hilft mehr auf falschen Pfaden

Die konsistenteste Erkenntnis ist, dass Distillationsanleitung auf falschen Rollouts eine signifikant höhere Ausrichtung aufweist als auf korrekten.

Wenn sich der Student auf einem fehlschlagenden Pfad befindet, drängt der Lehrer zuverlässig zu Token, die zum Erfolg führen.
Wenn sich der Student bereits auf einem korrekten Pfad befindet, wird das Signal des Lehrers verrauscht und schwach mit dem Ideal ausgerichtet, da der Student bereits gut performt.
Dieses Muster gilt über alle Einstellungen, Modellskalen und Datensätze hinweg.

2. Interaktion zwischen Kontextdesign und Studentkapazität

Der optimale Distillationskontext ist nicht universell; er hängt gemeinsam von der Kapazität des Studenten und der Aufgabenschwierigkeit ab:

Kleine Modelle (0.6B): Profitieren am meisten von Selbstdistillation mit korrekten Demonstrationen im eigenen Reasoning-Stil. Sie haben Schwierigkeiten, die Reasoning-Muster viel größerer externer Lehrer zu parsen. Zusammengefasste Kontexte können die Leistung beeinträchtigen, wenn der Student vollständige schrittweise Spuren benötigt.
Größere Modelle (1.7B): Können externe Lehrer (z. B. Qwen3-8B) und zusammengefasste Kontexte effektiv nutzen, was die Ausrichtung im Vergleich zu rohen Spuren fast verdoppelt.
Falsche Demonstrationen: Die Einbeziehung falscher Beispiele (Self-1C1W) verschlechtert die Leistung bei kurzen Reasoning-Aufgaben (BoolQ, MMLU) im Allgemeinen durch Rauschen. Bei schwierigen Matheproblemen (AIME) bieten falsche Demonstrationen jedoch nützliche kontrastive Signale und werden zur besten Lehrerkonfiguration für schwierige Fragen.

3. Kein universelles Rezept

Es gibt keine einzelne Lehrer- oder Kontextkonfiguration, die die Ausrichtung über alle Aufgaben hinweg maximiert.

Aufgabenabhängigkeit: Externe Lehrer übertreffen die Selbstdistillation für das 1.7B-Modell bei BoolQ, aber nicht bei MMLU.
Schwierigkeitsabhängigkeit: Bei schwerer Mathematik verbessert die Einbeziehung einer falschen Demonstration die Ausrichtung, während sie sie bei einfacheren Aufgaben verschlechtert.
Vorhersagelimits: Während die Divergenz zwischen Studenten- und Lehrerverteilungen (KL, JS) positiv mit der Ausrichtung korreliert, ist die Korrelation schwach ( $|\rho| < 0.05$ ). Die Divergenz kann als kostengünstiger Filter für notwendige Bedingungen dienen, ist jedoch kein zuverlässiger Prädiktor dafür, ob eine spezifische Meinungsverschiedenheit hilfreich ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste rigorose, trainingsfreie Methodik zur Bewertung der Qualität der Lehreranleitung auf Token-Ebene bereitzustellen. Ihre Hauptbeiträge sind:

Diagnoseframework: Eine skalierbare Pipeline zur Offline-Berechnung der Gradientenausrichtung, die zeigt, dass Lehrersignale ein heterogenes Gemisch aus vorteilhaften, neutralen und schädlichen Beiträgen sind.
Mechanistische Einsicht: Die Erkenntnis, dass Distillation auf fehlschlagenden Rollouts am effektivsten ist, legt nahe, dass aktuelle Trainingspipelines, die alle Token gleich behandeln, das Gradientenbudget für Token verschwenden, bei denen der Student bereits korrekt ist.
Kontextuelle Nuance: Der Nachweis, dass „Verständlichkeit" ein Schlüsselfaktor ist – Signale sind nur nützlich, wenn der Student sie parsen kann –, erklärt, warum kleine Modelle nicht von viel größeren externen Lehrern lernen können und warum das Kontextdesign (Zusammenfassung vs. rohe Spuren) an die Modellkapazität angepasst werden muss.
Zukünftige Richtungen: Die Ergebnisse motivieren aufgaben- und tokenweise Diagnoseanalysen und schlagen zukünftige Trainingsalgorithmen vor, die den Distillationsverlust basierend auf der Ausrichtung gewichten könnten (z. B. Betonung fehlschlagender Trajektorien) oder die Divergenz als Gate-Mechanismus verwenden.

Die Autoren schließen, dass On-Policy-Distillation zwar ein mächtiges Werkzeug ist, ihre Wirksamkeit jedoch stark konditional ist und die „optimale" Konfiguration sich dynamisch je nach Zustand des Studenten, der Aufgabenschwierigkeit und dem spezifisch generierten Token verschiebt.