💬 NLP

Weak-to-Strong Generalization via Direct On-Policy Distillation

Dieses Paper schlägt Direct On-Policy Distillation (Direct-OPD) vor, eine Methode, die die während des Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) erlernten Policy-Verschiebungen eines kleineren Modells durch die Verwendung des Log-Verhältnisses der Prä- und Post-RL-Policies des Lehrers als dichte implizite Belohnung auf ein stärkeres Zielmodell überträgt und somit eine effiziente Weak-to-Strong-Generalisierung ohne die hohen Rechenkosten eines vollständigen RL auf dem größeren Modell ermöglicht.

Ursprüngliche Autoren: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Training von Giganten ist teuer

Stellen Sie sich vor, Sie möchten einem brillanten, aber sehr langsamen und teuren Professor (einem großen KI-Modell) beibringen, wie man komplexe mathematische Probleme löst. Die derzeit beste Methode hierfür ist Reinforcement Learning (RL).

Bei RL versucht das Modell, ein Problem zu lösen, erhält eine Punktzahl (eine „Belohnung“), wenn es richtig gelöst hat, und lernt daraus. Aber hier liegt der Haken: Um zu lernen, muss das Modell tausende von Übungsversuchen („Rollouts“) generieren, um zu sehen, was funktioniert.

Der Flaschenhals: Wenn Ihr „Professor“ ein massiver Supercomputer ist, dauert die Generierung dieser Übungsversuche ewig und kostet Unmengen an Strom. Da KI-Modelle immer größer werden, wird dieser Trainingsprozess zu langsam und zu teuer, um ihn für jedes neue Modell zu wiederholen.

Die vorgeschlagene Lösung: Die „Lehrlings“-Strategie

Die Autoren schlagen eine clevere Abkürzung namens Direct-OPD vor. Anstatt den teuren Giganten direkt zu trainieren, trainieren sie zuerst ein kleineres, günstigeres „Lehrlings“-Modell und übertragen dann das, was dieser Lehrling gelernt hat, auf den Giganten.

Denken Sie an Folgendes:

Der Lehrling (kleines Modell): Sie stellen einen Junior-Studenten ein, der schnell und günstig zu trainieren ist. Sie bringen ihm mittels der teuren RL-Methode bei, wie man besser denkt. Er kämpft zwar ein wenig, aber schließlich versteht er, wie man besser denkt.
Der Meister (großes Modell): Sie haben einen genialen Professor, der bereits sehr klug ist, aber diesen speziellen neuen Denkstil noch nicht gelernt hat.
Das Ziel: Sie möchten, dass der Meister die Verbesserung lernt, die der Lehrling gemacht hat, ohne den Meister dafür bezahlen zu müssen, die teuren Übungsdrills durchzuführen.

Die Falle: Kopieren Sie nicht einfach den Lehrling

Eine natürliche Idee wäre zu sagen: „Okay, der Lehrling ist jetzt gut in Mathe. Lassen Sie uns den Meister einfach die Antworten des Lehrlings kopieren lassen.“

Das Papier sagt: Tun Sie das nicht.
Warum? Weil der Lehrling immer noch ein Junior ist. Er hat Grenzen. Wenn der Meister den Lehrling kopiert, könnte der Meister tatsächlich schlechter werden, weil er die Fehler und Einschränkungen des Lehrlings kopiert und nicht nur dessen Verbesserungen.

Analogie: Stellen Sie sich einen Anfänger im Schach vor, der schließlich einen spezifischen Eröffnungszug lernt, der einen Anfänger besiegt. Wenn ein Großmeister versucht, den gesamten Spielstil dieses Anfängers zu kopieren, wird der Großmeister verlieren. Der Großmaster muss nur diesen einen spezifischen neuen Zug lernen, nicht die ganze Persönlichkeit des Anfängers.

Das Geheimrezept: „Direct On-Policy Distillation“ (Direct-OPD)

Die Autoren haben eine Methode erfunden, um nur die Verbesserung zu extrahieren und die Einschränkungen zurückzulassen.

So funktioniert es, Schritt für Schritt:

Machen Sie Aufnahmen davor und danach:
- Machen Sie ein Foto vom Gehirn des Lehrlings vor dem Training (nennen wir dies Altes Gehirn).
- Machen Sie ein Foto vom Gehirn des Lehrlings nach dem Training (nennen wir dies Neues Gehirn).
Finden Sie den Unterschied:
- Die Methode vergleicht die beiden Gehirne. Sie fragt: „Was hat das Neue Gehirn entschieden, was das Alte Gehirn nicht getan hätte?“
- Sie ignoriert alles, worin der Lehrling bereits gut war. Sie schaut nur auf die Veränderung.
- Analogie: Stellen Sie sich vor, der Lehrling hat früher immer Pizza gegessen. Nach dem Training hat er beschlossen, stattdessen Salat zu essen. Die „Veränderung“ ist der Wechsel von Pizza zu Salat. Die Methode ignoriert die Tatsache, dass er immer noch schlecht im Kochen ist; sie interessiert sich nur für die Entscheidung zum Salat.
Lehren Sie den Meister:
- Dem Meister (dem großen Modell) wird gesagt, Probleme zu lösen.
- Anstatt dem Meister die endgültigen Antworten des Lehrlings zu zeigen, zeigt man ihm die Differenz zwischen dem Alten und dem Neuen Gehirn des Lehrlings.
- Dem Meister wird gesagt: „Wenn du in dieser Situation bist, hätte die ‚neue‘ Version des Lehrlings diesen Weg gewählt, während die ‚alte‘ Version es nicht getan hätte. Also solltest du dich in Richtung dieses Weges bewegen.“

Warum dies ein Game-Changer ist

Das Papier beweist, dass dies in drei bemerkenswerten Arten funktioniert:

1. Es funktioniert sogar, wenn der Meister bereits klüger ist als der Lehrling.
Normalerweise kann man nicht von jemandem lernen, der schwächer ist als man selbst. Aber hier lernt der Meister nicht von den Antworten des Lehrlings; er lernt von der Richtung, in die sich der Lehrling bewegt hat.

Analogie: Selbst wenn ein Großmeister besser ist als ein Anfänger, könnte der Anfänger einen neuen, seltsamen Trick entdeckt haben, den der Großmeister noch nicht ausprobiert hat. Der Großmeister kann diesen Trick übernehmen, ohne zum Anfänger zu werden.

2. Es ist unglaublich günstig und schnell.
Das Training des kleinen Lehrlings dauert nur wenige Stunden auf einigen Computern. Das Übertragen dieser „Veränderung“ auf den großen Modell dauert nur wenige weitere Stunden.

Ergebnis: Das Papier zeigt, dass sie die Mathe-Punktzahl eines Modells in nur 4 Stunden auf 8 Computern von 48 % auf 58 % verbessert haben. Dies direkt am großen Modell zu tun, hätte Wochen und 32 Computer benötigt.

3. Man kann es stapeln.
Man kann einen kleinen Lehrling trainieren, die Lektion übertragen, dann einen anderen kleinen Lehrling für eine andere Fähigkeit trainieren und diese ebenfalls übertragen. Es ist wie das Stapeln verschiedener „Skill-Patches“ auf das Meister-Modell.

Zusammenfassung

Das Papier stellt Direct-OPD vor, eine Methode, die den Trainingsprozess eines kleinen KI-Modells nicht als fertiges Produkt betrachtet, das man kopieren muss, sondern als eine Karte von Verbesserungen.

Anstatt ein riesiges KI-Modell zu zwingen, die endgültigen Antworten einer kleinen KI zu imitieren (was eine Verschlechterung wäre), extrahiert die Methode das „Delta“ – die spezifischen Änderungen, die die kleine KI gemacht hat, um besser zu werden – und wendet diese Änderungen auf die große KI an. Dies ermöglicht es uns, massive, teure Modelle durch das billige, schnelle Training winziger Modelle aufzuwerten, wodurch Zeit und Geld gespart werden und gleichzeitig die Leistung gesteigert wird.

Technisches Resümee: Weak-to-Strong Generalisierung via Direct On-Policy Distillation

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zu einem dominierenden Paradigma zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) entwickelt. RLVR ist jedoch rechenintensiv, da jedes Trainingsupdate erfordert, dass das Zielmodell Rollouts generiert, verifizierbare Scores erhält und seine Policy aktualisiert. Mit zunehmender Skalierung der Modelle steigt der Aufwand für die Generierung dieser Rollouts, was das erneute Durchlaufen von RLVR von Grund auf für jedes neue, stärkere Modell zu einem signifikanten Engpass macht.

Das Paper adressiert die Herausforderung der Weak-to-Strong Generalisierung: Kann ein Modell, das mittels RL auf einem kleineren, schwächeren „Lehrer“-Modell trainiert wurde, dazu verwendet werden, ein größeres, stärkeres „Schüler“-Modell zu verbessern?

Die Einschränkung der naiven Destillation: Die bloße Destillation der finalen Policy eines Post-RL-schwachen Lehrers (On-Policy Distillation oder OPD) ist unzureichend. Die finale Policy des Lehrers verwebt die durch RL gewonnenen nützlichen Verbesserungen mit den intrinsischen Kapazitätsgrenzen des kleineren Modells. Wenn der Schüler bereits stärker als der Lehrer ist, kann die Imitation der finalen Verteilung des Lehrers die Leistung des Schülers verschlechtern, indem sie dessen überlegene Verhaltensweisen überschreibt.
Die Kernfrage: Wie kann man das durch RL induzierte Verbesserungssignal von einem schwachen Modell auf ein starkes Modell übertragen, ohne die Kapazitätsgrenze des schwachen Modells zu übernehmen?

2. Methodik: Direct On-Policy Distillation (Direct-OPD)

Die Autoren schlagen Direct-OPD vor, ein Paradigma, das nicht die finale Policy des Lehrers selbst überträgt, sondern den durch RL induzierten Policy-Shift.

2.1 Das Kernsignal: Policy-Shift als implizite Belohnung

Anstatt den Schüler darauf zu trainieren, die Output-Verteilung des Lehrers $\pi_T$ zu imitieren, isoliert Direct-OPD die durch RL verursachte Änderung, indem es den Post-RL-Lehrer $\pi_T$ mit seinem Pre-RL-Referenzmodell $\pi_{Tref}$ kontrastiert.
Der Policy-Shift ist definiert als:
$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$
Im Rahmen von KL-regularisiertem RL ist dieses Log-Verhältnis mathematisch äquivalent zum impliziten Belohnungssignal, das den Lehrer trainiert hat (bis auf einen Skalierungsfaktor und eine Konstante). Somit kodiert das Paar der Checkpoints $(\pi_{Tref}, \pi_T)$ das Belohnungssignal direkt im Policy-Raum.

2.2 Die Zielfunktion

Direct-OPD wendet dieses Shift-Signal auf die eigenen On-Policy-Zustände des Schülers an. Sei $\pi_\theta$ die Schüler-Policy, die aus $\pi_S$ initialisiert wurde. Das Ziel optimiert den Schüler so, dass er der Shift-Richtung des Lehrers folgt, während gleichzeitig eine Regularisierung erfolgt, um nicht zu weit von seiner Initialisierung abzuweichen:
$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$

Dichte implizite Belohnung: Der Term $\Delta_T$ fungiert als dichte, pro-Token-Belohnung. Für ein Token $v$ im Zustand $s_t$ ist die unmittelbare Belohnung $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$ .
On-Policy Sampling: Der Schüler sampelt seine eigenen Trajektorien. Der Gradient wird auf den vom Schüler besuchten Präfixen berechnet, wodurch sichergestellt wird, dass das Signal auf Zustände angewendet wird, die der Schüler tatsächlich encountert.
Top-K Approximation: Um das Training effizient zu gestalten, beschränkt die Methode die Berechnung der Belohnung auf die Top- $k$ Tokens des Schülers an jedem Schritt unter Verwendung eines Rao-Blackwellized Estimators, um die Varianz zu reduzieren.

2.3 Adaptive KL-Steuerung

Die Magnitude der impliziten Belohnung $\Delta_T$ hängt von den Hyperparametern des Trainings des Lehrers (speziell dem KL-Budget $\beta$ ) ab, die dem Schüler unbekannt sind. Ein fester KL-Koeffizient $\alpha$ skaliert möglicherweise nicht robust über verschiedene Lehrer-Schüler-Paare hinweg.
Die Autoren führen einen leichtgewichtigen adaptiven KL-Controller ein, der $\alpha$ basierend auf dem Batch-weiten Mittelwert des gewichteten Shift-Signals anpasst. Wenn der durchschnittliche Shift positiv ist (was darauf hindeutet, dass das RL des Lehrers die Wahrscheinlichkeit auf beibehaltenen Tokens generell erhöht hat), erhöht sich $\alpha$ , um eine Überverstärkung zu verhindern; wenn er negativ ist, verringert sich $\alpha$ , um dem Schüler zu erlauben, sich von unterdrückten Tokens zu entfernen.

3. Zentrale Beiträge

Ein neues Weak-to-Strong-Paradigma: Das Paper definiert das RL-Training kleiner Modelle nicht als Quelle einer finalen Policy zur Imitation um, sondern als kostengünstigen Generator eines impliziten Belohnungssignals. Durch die Evaluierung des Policy-Shifts des Lehrers auf den eigenen Zuständen des Schülers überträgt Direct-OPD die Richtung der Verbesserung statt der Kapazität des Lehrers.
Konsistente Gewinne über Skalen hinweg: Die Methode verbessert stärkere Schüler durch schwächere Lehrer konsistent. Bemerkenswert ist, dass sie Schüler (z. B. R1-Distill-7B, Qwen3-4B) verbessert, die bereits besser abschneiden als der Post-RL-Lehrer – ein Szenario, in dem Standard-Distillation versagt.
Recheneffizienz: Direct-OPD ist signifikant günstiger als das direkte Durchführen von RL auf großen Modellen. Es nutzt die Stabilität und Geschwindigkeit von Small-Model-RL und fügt lediglich eine kurze, kostengünstige Transferphase hinzu.
Sequenzielle Komposition: Die Methode ermöglicht die sequenzielle Komposition mehrerer Policy-Shifts aus verschiedenen Lehrer-Paaren, was die Akkumulation distinkter Denkfähigkeiten in einem einzigen Schüler ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren evaluieren Direct-OPD auf mathematischen Denk-Benchmarks (AIME 2024 und AIME 2025) unter Verwendung verschiedener Modellfamilien (Qwen3, R1-Distill, Nemotron).

Weak-to-Strong Transfer:
- Qwen3-1.7B: Verbesserung von 48,3 % auf 58,3 % auf AIME 2024 in nur 4 Stunden mit 8 A100 GPUs, wobei der Shift eines 1.5B-Lehrers übertragen wurde.
- Stärkere Schüler: Verbesserte erfolgreich R1-Distill-7B (ursprünglich 56,7 %) und Qwen3-4B (ursprünglich 72,5 %), die beide mit einer höheren Genauigkeit als der Post-RL-Lehrer (51,3 %) starteten. Standardmäßige OPD verschlechterte die Leistung in diesen Fällen.
Vergleich mit direktem RL:
- Unter einem angeglichenen Schritt-Budget übertraf das Ausführen von RL auf einem 1.5B-Modell und der Transfer via Direct-OPD das direkte Ausführen von RL auf einem 7B-Modell sowohl in der Genauigkeit als auch in der Rechenzeit.
- Die Transferphase benötigt vernachlässigbare Zeit (~4 Stunden) im Vergleich zu den Wochen, die für direktes groß angelegtes RL erforderlich wären.
Sequenzielle Komposition:
- Die sequentielle Anwendung zweier distinkter Policy-Shifts (von JustRL und QuestA Lehrern) auf Qwen3-1.7B führte zu kumulativen Gewinnen und steigerte die AIME 2024 Genauigkeit von 48,3 % auf 63,8 %.
Generalisierungseigenschaften:
- Token-Überlappung: Im Gegensatz zu Standard-OPD erfordert Direct-OPD keine hohe Top-k Token-Überlappung zwischen Lehrer und Schüler. Es funktioniert auch dann, wenn die Denkprozesse des Schülers signifikant von denen des Lehrers abweichen.
- Horizont: Kurz-Horizont-Training (2k Tokens) generalisiert effektiv auf lange Rollouts und erfasst das übertragbare Signal ohne das Rauschen sehr langer Sequenzen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass RL-Ergebnisse als implizite Belohnungssignale wiederverwendet werden können, nicht bloß als finale Modelle zur Imitation.

Neuinterpretation von RL: Die Arbeit verschiebt die Perspektive des RL-Trainings von der Erzeugung eines „finalen Modells“ hin zur Erzeugung eines „Policy-Shifts“, der eine Belohnungslandschaft kodiert. Dieser Shift ist ein übertragbares Gut, das unabhängig von der spezifischen Modellkapazität ist, die ihn erzeugt hat.
Skalierbarkeit: Durch die Entkopplung der teuren RL-Suche (durchgeführt auf kleinen Modellen) von der finalen Bereitstellung (auf großen Modellen) bietet Direct-OPD einen skalierbaren Weg für das Post-Training von Reasoning-Modellen, ohne die prohibitiven Kosten eines erneuten RL-Durchlaufs für jede neue, größere Architektur.
Robustheit: Die Methode ist robust gegenüber Mismatches in Modellfamilien und initialen Fähigkeiten, sofern der RL-induzierte Shift auf den besuchten Zuständen des Schülers aussagekräftig ist.

Die Autoren kommen zu dem Schluss, dass Direct-OPD einen praktischen, effizienten und theoretisch fundierten Mechanismus für die Weak-to-Strong Generalisierung bietet, der die Wiederverwendung von RL-Supervisionssignalen über verschiedene Modellskalen und Architekturen hinweg ermöglicht.