🤖 machine learning

On the Position Bias of On-Policy Distillation

Dieses Paper identifiziert einen Positionsbias bei der On-Policy-Distillation, bei dem spätere Token aufgrund von Distributional Drift eine degradierte Überwachung bereitstellen, und schlägt die Importance-Weighted On-Policy Distillation (IW-OPD) vor, um diese späteren Token dynamisch abzuwerten, was zu schnellerer Konvergenz und überlegener Performance in verschiedenen Settings führt.

Ursprüngliche Autoren: Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yan Xie, Sijie Zhu, Tiansheng Wen, Bo Chen, Yifei Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem jungen Lehrling (dem Schüler) beizubringen, komplexe mathematische Probleme zu lösen, indem Sie ihn beobachten, wie ein Großmeister (der Lehrer) diese löst.

In der Standardmethode, die in dieser Arbeit beschrieben wird und On-Policy Distillation (OPD) genannt wird, wird der Lehrling gebeten, ein Problem eigenständig zu lösen. Während er seine Lösung Schritt für Schritt aufschreibt, beobachtet der Großmeister ihn und korrigiert jedes einzelne Wort, das er schreibt. Das Ziel ist, dass der Lehrling aus diesen Korrekturen lernt.

Die Autoren dieser Arbeit haben jedoch einen verborgenen Fehler entdeckt, wie dieser Unterricht abläuft. Sie nennen ihn „Position Bias“ (Positionsverzerrung).

Das Problem: Die Analogie vom „Abdriftenden Zug“

Stellen Sie sich die Lösung des Lehrlings wie eine Zugreise vor.

Der Anfang (Das Präfix): Wenn der Zug gerade erst aus dem Bahnhof ausfährt, denkt der Lehrling noch klar und folgt dem allgemeinen Pfad, den auch der Großmeister nehmen würde. Die Korrekturen des Großmeisters sind hier Gold wert. Sie sind präzise, hilfreich und halten den Zug auf dem richtigen Gleis.
Die Mitte und das Ende (Das Suffix): Während der Zug weiterfährt, macht der Lehrling kleine Fehler. Da er ein Lehrling ist, summieren sich diese kleinen Fehler auf. Plötzlich befindet sich der Zug auf einem völlig anderen Gleis, weit entfernt von dem, wo der Großmeister niemals langfahren würde.

Hier liegt der Haken: Die Standard-Lehrmethode behandelt jedes Wort, das der Lehrling schreibt, als gleich wichtig. Sie schenkt dem ersten Wort genauso viel „Aufmerksamkeit“ wie dem hundertsten Wort.

Die Arbeit zeigt, dass der Lehrling, wenn er das hundertste Wort erreicht hat, bereits so weit vom Kurs abgekommen ist, dass der Rat des Großmeisters nutzlos ist. Tatsächlich könnte der Großmeister verwirrt sein und versuchen, einen Pfad zu korrigieren, der in der Welt des Großmeisters selbst keinen Sinn ergibt. Die Studie fand heraus, dass, wenn man nur die Korrekturen für die ersten 30 % der Antwort des Lehrlings verwendet hätte, der Schüler genauso gut gelernt hätte wie bei der gesamten Antwort. Wenn man jedoch nur die letzten 30 % verwendet hätte, hätte der Schüler fast gar nichts gelernt.

Die Lösung: Der „Kluge Tutor“ (IW-OPD)

Um dies zu beheben, haben die Autoren eine neue Methode namens Importance-Weighted On-Policy Distillation (IW-OPD) entwickelt.

Betrachten Sie IW-OPD als einen Klugen Tutor, der erkennt, dass der Zug abdriftet. Anstatt während der gesamten Reise mit der gleichen Lautstärke Korrekturen zuzurufen, passt der Kluge Tutor seine Stimme an:

Früh in der Reise: Der Tutor spricht laut und deutlich und gibt wertvolle Korrekturen, da der Lehrling sich noch auf dem richtigen Weg befindet.
Später in der Reise: Wenn der Pfad des Lehrlings beginnt, vom Stil des Großmeisters abzuweichen, dreht der Tutor die Lautstärke leiser. Er verschwendet keine Energie mehr damit, zu versuchen, einen Pfad zu korrigieren, den der Großmeister niemals einschlagen würde.

Der Kluge Tutor berechnet dieses „Lautstärkeverhältnis“ basierend darauf, wie stark der Pfad des Lehrlings bis zu diesem Zeitpunkt vom Pfad des Großmeisters abgewichen ist. Wenn die Abweichung klein ist, sind die Korrekturen stark. Wenn die Abweichung riesig ist, sind die Korrekturen leise oder werden ignoriert.

Warum das wichtig ist

Die Autoren haben diese „Kluge Tutor“-Methode mit verschiedenen Größen von Schülern und Lehrern getestet (von kleinen KI-Modellen bis hin zu massiven Modellen). Die Ergebnisse waren eindeutig:

Schnelleres Lernen: Die Schüler lernten viel schneller. Sie erreichten ein hohes Leistungsniveau in weniger Trainingsschritten, weil sie keine Zeit damit verschwendeten, auf den schlechten Ratschlägen für die späteren Teile ihrer Antworten zu hören.
Bessere Ergebnisse: Selbst nach Abschluss des Trainings waren die Schüler, die diese Methode verwendeten, besser darin, Probleme zu lösen (speziell mathematische und Programmieraufgaben), als diejenigen, die die Standardmethode verwendeten.
Funktioniert für alle: Die Methode funktionierte am besten, wenn der Schüler viel kleiner als der Lehrer war (eine enorme Kluft im Können), was genau der Zeitpunkt ist, an dem das „Abdrift“-Problem am schlimmsten ist.

Zusammenfassend

Die Arbeit argumentt, dass in der KI-Trainingsphase nicht alle Momente gleichwertig sind. Zu versuchen, aus jedem einzelnen Fehler einer KI zu lernen, ist ineffizient, da die KI schließlich so sehr die Orientierung verliert, dass der Rat des Lehrers irrelevant wird. Indem man das Trainingsbudget auf die frühen, hochwertigen Teile der Antwort konzentriert und die späteren, abgedrifteten Teile ignoriert, kann man smarter, schneller und effektiver trainieren.

Technische Zusammenfassung: Über die Positionsverzerrung bei der On-Policy-Destillation

Problemstellung

Die On-Policy-Destillation (OPD) verbessert die Lerneffizienz von Reinforcement Learning (RL) für Large Language Models (LLMs), indem sie eine dichte, auf Token-Ebene basierende Supervision durch ein Teacher-Modell bereitstellt, das von einem Student-Modell generierte Rollouts nutzt. Standardmäßige OPD-Objektive mitteln jedoch die Token-Level-Verluste (typischerweise über die KL-Divergenz) gleichmäßig über alle Token hinweg, was implizit davon ausgeht, dass alle Token in einer Sequenz den gleichen Wert besitzen.

Die Autoren identifizieren eine kritische Positionsverzerrung (Position Bias) in diesem Ansatz: Mit zunehmender Länge der Student-Rollouts weicht die generierte Trajektorie immer stärker von der Verteilung des Teachers ab. Folglich sinkt die Qualität der Teacher-Supervision bei späteren Positionen. Empirische Beobachtungen zeigen:

Asymmetrie im Supervisionswert: Das Training unter Verwendung nur der ersten 30 % der Token (Präfix) liefert eine vergleichbare oder sogar bessere Leistung als die Verwendung aller Token, während das Training der letzten 30 % (Suffix) vernachlässigbare Lernvorteile bietet.
Persistente Divergenz: Selbst nach der Konvergenz bleibt die KL-Divergenz zwischen Teacher und Student signifikant, was darauf hindeutet, dass OPD den Studenten nur innerhalb eines kleinen lokalen Bereichs des Policy-Raums optimiert.
Ineffizienz: Die gleichmäßige Gewichtung aller Token verschwendet das begrenzte Gradienten-Update-Budget auf spätere Token, bei denen der Student bereits in Out-of-Distribution (OOD)-Regionen abgedriftet ist, wodurch das Supervisionssignal verrauscht oder wenig hilfreich wird.

Methodik: Importance-Weighted On-Policy Distillation (IW-OPD)

Um diese Verzerrung zu adressieren, schlagen die Autoren die Importance-Weighted On-Policy Distillation (IW-OPD) vor, eine Methode, welche die Token-Gewichte dynamisch basierend auf der akkumulierten Diskrepanz zwischen den Student- und Teacher-Verteilungen anpasst.

Theoretische Grundlage

Die Autoren rahmen OPD als ein beschränktes Optimierungsproblem (eine lokale Projektion) ein, bei dem die Student-Policy innerhalb einer durch eine KL-Divergenz-Budget $\rho$ definierten Trust-Region aktualisiert wird.

Ableitung der optimalen Policy: Das Lösen der beschränkten Minimierung von $D_{KL}(q \| \pi_T)$ unter der Nebenbedingung $D_{KL}(q \| \pi_\theta) \leq \rho$ liefert eine geschlossene Form der optimalen Policy $q^\star$ .
Likelihood-Ratio-Reweighting: Die Lösung $q^\star$ gewichtet die Student-Policy $\pi_\theta$ durch das Likelihood-Verhältnis $(\pi_T / \pi_\theta)^\alpha$ um. Dies impliziert, dass Tokens, bei denen die Wahrscheinlichkeit des Teachers signifikant höher ist als die des Students (hohe Kompatibilität), eine höhere Gewichtung erhalten sollten, während Tokens, bei denen der Student abgedriftet ist (niedriges Verhältnis), abgewertet werden sollten.

Praktische Implementierung

Die direkte Verwendung des rohen Likelihood-Verhältnisses ist aufgrund der exponentiellen Akkumulation von Wahrscheinlichkeiten über lange Sequenzen numerisch instabil. IW-OPD führt eine stabile, vorzeichenlose kumulative Präfix-Diskrepanz als Stellvertreter für das Importance-Weight ein:

Akkumulierte Diskrepanz: Anstatt des rohen Verhältnisses summiert die Methode die absoluten Token-Level-Advantages ( $|A^{OPD}_k|$ ) vom Anfang der Sequenz bis zum aktuellen Token $t$ auf. Dies erfasst den gesamten „Drift“ vom bevorzugten Pfad des Teachers.
Normalisierung: Die akkumulierte Diskrepanz wird innerhalb jeder Stichprobe auf den Bereich $[0, 1]$ standardisiert, um eine stabile Skalierung zu gewährleisten.
Interpolation: Um die vollständige Entfernung der Supervision für abgedriftete Tokens zu verhindern, ist das endgültige Gewicht eine Interpolation zwischen dem Standard-OPD-Signal (Gewicht 1) und dem durch die Diskrepanz abgeleiteten Importance-Weight.
- Formel: $\tilde{r}^{IW-OPD}_t = 1 + \gamma \cdot (1 - \frac{\sum_{k<t} |A^{OPD}_k|}{\sum_{k<T} |A^{OPD}_k|})$ .
- Hierbei steuert $\gamma$ den Beitrag der Importance-Gewichtung.

Dieser Ansatz gewichtet frühe Tokens (wo das Präfix mit dem Teacher kompatibel ist) automatisch höher und spätere Tokens (wo der akkumulierte Drift groß ist) niedriger, wodurch das Gradienten-Budget effektiv auf die informativsten Teile der Trajektorie umverteilt wird.

Zentrale Beiträge

Identifikation der Positionsverzerrung: Die Arbeit zeigt empirisch auf und erklärt theoretisch, dass OPD unter einer Positionsverzerrung leidet, bei der frühe Tokens aufgrund der Verteilungsdrift signifikant wertvollere Supervision liefern als spätere Tokens.
Perspektive der beschränkten Optimierung: Die Autoren liefern ein fundiertes Verständnis von OPD als beschränkter lokaler Projektion und leiten her, dass die optimale Update-Strategie inhärent ein Verhältnis-basiertes Reweighting erfordert.
IW-OPD Algorithmus: Sie schlagen IW-OPD vor, einen praktischen, stabilen Algorithmus, der die Wichtigkeit von Tokens mittels einer vorzeichenlosen kumulativen Präfix-Diskrepanz schätzt. Er benötigt keine zusätzlichen Teacher-Evaluierungen über das Standard-OPD hinaus.
Empirische Validierung: Umfangreiche Experimente zeigen, dass IW-OPD über verschiedene Modellskalen und Teacher-Student-Konfigurationen hinweg schneller konvergiert und eine höhere Endleistung als Standard-OPD erzielt.

Experimentelle Ergebnisse

Die Autoren evaluierten IW-OPD unter Verwendung von Qwen3-Modellen (0.6B, 1.7B, 4B, 30B und 235B) als Teacher und Studenten in den Benchmarks mathematisches Denken (AIME-2024, AIME-2025, HMMT-2025) und Code-Generierung (HumanEval+, MBPP+).

Leistungssteigerungen: IW-OPD übertrifft Standard-OPD konsistent.
- Im Qwen3-1.7B Student-Setting mit einem Qwen3-30B Teacher verbesserte IW-OPD die AIME-2025 Genauigkeit um +6,9 Punkte bei Schritt 10 und um +1,7 Punkte bei der Konvergenz.
- Über alle Student-Skalen (0,6B bis 30B) und Teacher-Settings hinweg verbesserte IW-OPD die durchschnittliche Leistungsbewertung.
Sample-Effizienz: IW-OPD konvergiert signifikant schneller. In mehreren Fällen entsprach oder übertraf der IW-OPD-Checkpoint bei Schritt 10 die Endleistung von Standard-OPD.
Skalierungseffekte:
- Stärkere Teacher: IW-OPD macht stärkere Teacher sampeleffizienter. Während Standard-OPD anfangs Schwierigkeiten mit größeren Teacher-Student-Gaps hat (und mehr Schritte benötigt, um vom stärkeren Teacher zu profitieren), nutzt IW-OPD das Signal des stärkeren Teachers unmittelbar.
- Kleinere Studenten: Die relativen Gewinne von IW-OPD nehmen zu, je kleiner das Student-Modell wird (z. B. +9,5 % relativer Gewinn für den 0,6B Student gegenüber +1,8 % für den 4B Student), was darauf hindeutet, dass es besonders effektiv bei Cross-Scale-Destillation ist, wenn der Drift schwerwiegender ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass effektive On-Policy-Supervision den Kontext der Trajektorie berücksichtigen muss, nicht nur die Diskrepanz auf Token-Ebene. Durch die Erkenntnis, dass die Teacher-Supervision entlang einer von einem Studenten generierten Trajektorie nicht durchgehend zuverlässig ist, verteilt IW-OPD das endliche Gradienten-Budget auf „Teacher-kompatible“ Präfixe um.

Die Autoren kommen zu dem Schluss, dass diese einfache Modifikation – die Abwertung von Tokens, bei denen der Student von der Verteilung des Teachers abgedriftet ist – sowohl die Sample-Effizienz als auch die Endleistung der On-Policy-Destillation signifikant verbessert. Diese Einsicht legt nahe, dass zukünftige On-Policy-Methoden die kumulierte Historie des Rollouts (das Präfix) berücksichtigen sollten, wenn sie Credit oder Supervisionsgewichte zuweisen, anstatt alle Tokens in einer Trajektorie als unabhängig und gleichermaßen wertvoll zu behandeln.