🤖 AI

Reinforcement-aware Knowledge Distillation for LLM Reasoning

Dieses Paper schlägt RL-aware Distillation (RLAD) vor, eine Methode, die selektive Imitation mittels einer Trust Region Ratio Distillation (TRRD)-Zielvorgabe in das Reinforcement Learning integriert, um Distributionsunterschiede und Zielkonflikte zu überwinden und somit kleineren Sprachmodellen zu ermöglichen, effektiv die Fähigkeiten der langen Chain-of-Thought-Argumentation von größeren Lehrern zu erben, während gleichzeitig das Gleichgewicht zwischen Exploration und Exploitation gewahrt bleibt.

Ursprüngliche Autoren: Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaoyang Zhang, Shuli Jiang, Yantao Shen, Yuting Zhang, Dhananjay Ram, Shuo Yang, Zhuowen Tu, Wei Xia, Stefano Soatto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber unglaublich teuren Chefkoch (den Lehrer), der komplexe, mehrgängige Menüs mit perfekter Logik zubereiten kann. Sie möchten einem kleineren, schnelleren und günstigeren Lehrling (dem Schüler) beibringen, wie der Meister zu kochen, damit Sie großartiges Essen an mehr Menschen servieren können, ohne das Budget zu sprengen.

Lange Zeit war die Art und Weise, den Lehrling zu unterrichten, simpel: Kopiere das Rezeptbuch des Meisters. Der Lehrling würde einfach die exakten Schritte auswendig lernen, die der Meister in der Vergangenheit vollzogen hat. Das funktioniert ganz okay, ist aber starr. Wenn der Lehrling versucht, etwas leicht Abweichendes zu kochen oder auf eine neue Zutat stößt, bleibt er stecken, weil er nur blind alten Notizen folgt, statt zu lernen, wie man über das Kochen nachdenkt.

Vor kurzem begannen Köche, eine neue Methode anzuwenden: Versuch und Irrtum mit Feedback. Der Lehrling versucht zu kochen, erhält eine Bewertung basierend darauf, wie schmackhaft das Gericht ist (die Belohnung / Reward) und passt seine Technik an, um beim nächsten Mal eine bessere Bewertung zu erzielen. Das ist großartig zum Lernen, aber langsam und teuer.

Das Problem entsteht, wenn man versucht, diese beiden Methoden zu kombinieren. Wenn man dem Lehrling sagt: „Du musst die Schritte des Meisters kopieren und versuchen, eine hohe Geschmacksbewertung zu erhalten“, gerät er oft durcheinander.

Manchmal führen die alten Schritte des Meisters nicht zur besten Geschmacksbewertung für die aktuelle Situation.
Die Anweisung „Kopiere“ kämpft gegen die Anweisung „Erziele eine hohe Punktzahl“, was dazu führt, dass der Lehrling schwankt und schlecht lernt.

Die neue Lösung: „Smart Imitation“ (RLAD)

Die Autoren dieses Papers schlagen eine neue Art des Lehrens vor, die RLAD (Reinforcement-Aware Distillation) genannt wird. Anstatt den Lehrling zu zwingen, den Meister zu 100 % zu kopieren, führen sie eine „Smart Imitation“-Regel ein.

Hier ist die Kernidee unter Verwendung einer GPS-Analogie:

Das Ziel: Der Lehrling möchte zu einem Ziel fahren, das die höchste „Belohnung“ bietet (wie eine tolle Aussicht).
Der alte Weg (Standard Distillation): Das GPS (Lehrer) schreit ständig: „Bieg links ab! Bieg links ab!“, selbst wenn die Straße blockiert ist oder eine bessere Route existiert. Der Lehrling folgt blind, selbst wenn es ihn in eine Sackgasse führt.
Der neue Weg (RLAD): Das GPS ruft nur dann Anweisungen, wenn es mit dem aktuellen Plan des Lehrlings übereinstimmt, eine bessere Aussicht zu bekommen.
- Wenn der Lehrling auf eine großartige Aussicht zufährt (Hohe Belohnung) und das GPS sagt: „Ja, das ist eine gute Abbiegung“, folgt der Lehrling dem GPS genau.
- Wenn der Lehrling auf eine großartige Aussicht zufährt, aber das GPS sagt: „Nein, bieg rechts ab“, ignoriert der Lehrling das GPS, weil die „Geschmacksbewertung“ (Belohnung) besagt, dass der aktuelle Pfad besser ist.
- Wenn der Lehrling die Orientierung verloren hat (Niedrige Belohnung), greift das GPS ein, um ihn zurück auf einen sicheren, bekannten Pfad zu führen.

Die Geheimzutat: Die „Vertrauenszone“ (TRRD)

Um dies zu ermöglichen, ohne dass der Lehrling durchdreht, verwendet das Paper eine Technik namens Trust Region Ratio Distillation (TRRD).

Betrachten Sie dies als eine Sicherheitsleine, die am Lehrling befestigt ist.

Die Leine ist verankert in einer Mischung aus dem, wo der Lehrling vor einem Moment war, und dem, wohin der Meister gehen würde.
Der Lehrling darf frei laufen, um neue Wege zu erkunden (Exploration) oder das zu tun, was er bereits weiß (Exploitation).
Sollte der Lehrling jedoch versuchen, zu weit von der „Sicherheitszone“ abzuweichen, die durch die Weisheit des Meisters definiert ist, zieht die Leine ihn sanft zurück.
Entscheidend ist: Die Leine zieht sich nur dann fest, wenn der Rat des Meisters dem Lehrling tatsächlich hilft, eine bessere Punktzahl zu erreichen. Wenn der Meister für die aktuelle Situation falsch liegt, bleibt die Leine locker und lässt den Lehrling einen besseren Weg finden.

Was haben sie herausgefunden?

Die Forscher haben dies an zwei Arten von „Koch-Herausforderungen“ getestet:

Logikrätsel: Wie das Lösen eines komplexen Mysteriums oder eines Logistikproblems.
Mathematische Probleme: Wie das Lösen schwieriger Gleichungen oder Wettbewerbsmathematik.

Die Ergebnisse:

Bessere Punktzahlen: Die Lehrlinge, die mit dieser neuen „Smart Imitation“-Methode trainiert wurden, erzielten signifikant höhere Punktzahlen als diejenigen, die den Meister nur kopierten oder die nur versuchten, zu raten.
Schwierigere Probleme: Die Verbesserung war bei den schwierigsten Problemen am größten. Bei einfachen Problemen kamen alle gut zurecht, aber bei den „unmöglichen“ Aufgaben glänzte die neue Methode.
Stabilität: Das Training war viel glatter. Die alten Methoden ließen den Lehrling oft schwanken und Fortschritte verlieren (Instabilität), aber die neue Methode hielt ihn auf einem stetigen Weg nach oben.
Echtes Lernen vs. Kopieren: Die alten Methoden ließen den Lehrling hauptsächlich die spezifischen Antworten des Meisters auswendig lernen (gut, um viele Male zu raten, aber schlecht, um die beste einzelne Antwort zu finden). Die neue Methode verbesserte tatsächlich die Fähigkeit des Lehrlings, die beste Antwort beim ersten Versuch zu finden.

Zusammenfassend

Dieses Paper führt eine intelligentere Art und Weise ein, kleine KI-Modelle zum Schlussfolgern (Reasoning) zu lehren. Anstatt den Lehrling zu zwingen, einem großen, klugen Lehrer blind zu kopieren, lehrt es ihn, dem Lehrer nur dann zuzuhören, wenn der Rat des Lehrers ihm hilft zu gewinnen. Dies erschafft einen Schüler, der sowohl klug (wie der Lehrer) als auch anpassungsfähig (in der Lage, neue, bessere Lösungen zu finden) ist, und das alles bei schnellerem und stabilerem Training.

Technische Zusammenfassung: Verstärkungsbewusste Wissensdestillation für das LLM-Reasoning (RLAD)

1. Problemstellung

Große Sprachmodelle (LLMs) haben durch Reinforcement Learning (RL) Post-Training signifikante Fähigkeiten im Bereich des logischen Schlussfolgerns (Reasoning) erreicht, insbesondere bei Long Chain-of-Thought (CoT)-Aufgaben. Die hohen Inferenzkosten dieser großen Modelle machen jedoch eine Destillation in kleinere Studentenmodelle notwendig. Bestehende Methoden der Wissensdestillation (Knowledge Distillation, KD) stehen vor kritischen Einschränkungen, wenn sie auf RL Post-Training angewendet werden:

Verteilungs-Mismatch (Distribution Mismatch): Standardmäßige KD-Methoden (offline, off-policy oder on-policy) verlassen sich oft auf feste Lehrer-Trajektorien oder statische KL-Divergenz-Regularisierung. In der RL-Phase entwickelt sich die Policy des Studenten kontinuierlich weiter, was dazu führt, dass sich die Rollout-Verteilung verschiebt. Statische Destillationsziele werden suboptimal oder instabil, sobald sich der Student von der ursprünglichen Verteilung des Lehrers entfernt.
Zielkonflikt (Objective Interference): Methoden, die KD in den RL-Loop integrieren (z. B. KDRL), fügen typischerweise einen Term der KL-Divergenz zwischen dem Studenten und dem Lehrer als Regularisierungsstrafe hinzu. Dies erzeugt ein Multi-Ziel-Optimierungsproblem, bei dem das Ziel der Belohnungsmaximierung mit dem Ziel der Imitation konkurriert. Dieser Wettbewerb erfordert eine sorgfältige Hyperparameter-Abstimmung (Loss-Balancing) und kann zu instabilen Trainingsdynamiken führen, da die Aufsicht durch den Lehrer möglicherweise nicht mit den aktuellen Advantage-Schätzungen des Studenten übereinstimmt.

2. Methodik: RL-Aware Distillation (RLAD)

Die Autoren schlagen RLAD vor, ein Framework, das darauf ausgelegt ist, während des RL Post-Trainings eine selektive Imitation durchzuführen. Das Kernprinzip besteht darin, dass der Student nur dann durch den Lehrer geleitet werden sollte, wenn diese Anleitung die aktuelle Policy-Aktualisierung unter der RL-Zielsetzung verbessert.

Kernkomponente: Trust Region Ratio Distillation (TRRD)
Anstatt eine eigenständige KL-Regularisierung zu verwenden, führt RLAD die TRRD ein, welche das Standard-Importance-Sampling-Verhältnis in der Group Relative Policy Optimization (GRPO) durch ein Lehrer-Student-Gemisch ersetzt.

Mechanismus: TRRD definiert ein neues Likelihood-Verhältnis $r^{TRBD}_{i,t}$ für das $t$ -te Token der $i$ -ten Antwort:
$r^{TRRD}_{i,t}(\theta_S) = \left( \frac{\pi_{\theta_S}(y_t | x, y_{<t})}{\pi_{\theta_S,old}(y_t | x, y_{<t})} \right)^\alpha \left( \frac{\pi_{\theta_S}(y_t | x, y_{<t})}{\pi_{\theta_T}(y_t | x, y_{<t})} \right)^{1-\alpha}$
Hierbei ist $\pi_{\theta_S}$ die aktuelle Studenten-Policy, $\pi_{\theta_S,old}$ die vorherige Studenten-Policy und $\pi_{\theta_T}$ die Lehrer-Policy. $\alpha \in [0, 1]$ ist ein Mischkoeffizient.
Interpretation der Trust Region: Dieses Verhältnis kann als PPO-ähnliche Aktualisierung betrachtet werden, bei der die Trust Region an ein Gemisch aus der alten Studenten-Policy und dem Lehrer verankert ist ( $r_{\pi_{mix}}$ ), anstatt nur an die alte Studenten-Policy.
Advantage-bewusste Auswahl: Die Aktualisierung wird durch den gruppenspezifischen relativen Advantage $\hat{A}_{i,t}$ $\hat{A}_{i, t}$ gewichtet.
- Positiver Advantage: Wenn der Advantage positiv ist, wird der Student dazu ermutigt, die Wahrscheinlichkeit des Tokens zu erhöhen. Wenn der Lehrer ebenfalls eine hohe Wahrscheinlichkeit zuweist, ist der Mischungsanker höher, was es dem Studenten ermöglicht, seine Wahrscheinlichkeit stärker zu erhöhen, bevor die Clipping-Grenze erreicht wird (erlaubt größere Updates). Wenn der Lehrer eine niedrige Wahrscheinlichkeit zuweist, ist der Anker niedriger, was das Ausmaß der Aktualisierung einschränkt.
- Negativer Advantage: Wenn der Advantage negativ ist, wird der Student dazu ermutigt, die Wahrscheinlichkeit zu verringern. Wenn der Lehrer eine hohe Wahrscheinlichkeit zuweist, verhindert die Clipping-Grenze, dass der Student das Token aggressiv unterdrückt, wodurch lehrer-ausgerichtete Verhaltensweisen erhalten bleiben.
- Nahe Null liegender Advantage: Der Einfluss des Lehrers wird vernachlässigbar, um Interferenzen zu verhindern, wenn das Belohnungssignal nicht informativ ist.

Dieses Design balanciert implizit Exploration, Exploitation und Imitation, indem es sicherstellt, dass die Anleitung durch den Lehrer durch das Belohnungssignal (Advantage) moduliert und innerhalb einer Trust Region beschränkt wird.

3. Zentrale Beiträge

RLAD-Framework: Ein neues Destillations-Framework für RL Post-Training, das die Lehrer-Anleitung über die Trust Region Ratio Distillation (TRRD) integriert und die statische KL-Regularisierung durch ein geklipptes, advantage-gewichtetes Likelihood-Ratio-Ziel ersetzt.
Theoretische Analyse: Eine Analyse, die zeigt, dass TRRD eine belohnungsbedingte, selektive Imitation ermöglicht. Es bewahrt die durch eine Trust Region beschränkten Aktualisierungen und balanciert natürlich den Kompromiss zwischen dem Folgen des Lehrers und der Optimierung für Belohnungen, ohne dass ein feines Loss-Balancing erforderlich ist.
Empirische Validierung: Umfangreiche Experimente zu logischem Schließen (K&K Logistics) und komplexem mathematischem Schließen (AIME, AMC, MATH), die konsistente Verbesserungen gegenüber den Baselines zeigen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RLAD bei Aufgaben des logischen und komplexen mathematischen Schließens mit Studentenmodellen von 0,6B bis 8B Parametern und Lehrern bis zu 32B.

Logisches Schließen (K&K Logistics):
- Unter Verwendung eines Qwen3-8B Lehrers verbesserte RLAD die durchschnittliche Genauigkeit für Qwen3-0,6B (von 0,76 auf 0,94 bei 8K Kontext) und Qwen3-1,7B (von 0,95 auf 0,99 bei 8K Kontext) im Vergleich zu Standard-GRPO signifikant.
- Die Gewinne waren am deutlichsten bei den schwierigsten Teilmengen (PPL7 und PPL8), wo RLAD einen klaren Vorsprung gegenüber KDRL beibehielt.
- Die Trainingsdynamik zeigte eine schnellere Konvergenz und höhere Endbelohnungen im Vergleich zu sowohl GRPO als auch KDRL.
Mathematisches Schließen:
- Basismodelle (R1-Zero-Stil): Bei Qwen3-8B-Base verbesserte RLAD die durchschnittliche Leistung um +5,5 Punkte gegenüber GRPO bei Aufgaben mit langem Kontext (30K).
- Post-trainierte Modelle: RLAD übertraf die explizite KL-Destillation (KDRL) und die Offline-Destillation.
- Metrik-Spezifika: RLAD zeigte größere Gewinne bei Pass@1 (Mean@32) im Vergleich zu KDRL, welches tendenziell größere relative Gewinne bei Pass@32 erzielte. Die Autoren interpretieren dies so, dass RLAD erfolgreich die belohnungs-ausgerichtete Policy-Verbesserung (Exploitation) vorantreibt, während KDRLs Gewinne eher durch die reine Imitation diverser Lehrerlösungen getrieben wurden.
- Stabilität: RLAD wies im Vergleich zu KDRL, das unter Problemen der Zielkopplung litt, stabilere Trainingsdynamiken mit weniger Oszillationen auf.
Robustheit und Effizienz:
- Schwacher Lehrer: Wenn der Lehrer schwächer als der Student war, blieb RLAD nahe an der GRPO-Leistung, während KDRL stärker degradierte.
- Hyperparameter: RLAD erwies sich als weitgehend unempfindlich gegenüber dem Mischkoeffizienten $\alpha$ (festgesetzt auf 0,5), im Gegensatz zu KDRL, das empfindlich auf das KL-Gewicht $\lambda$ reagiert.
- Effizienz: Die Integration von RLAD fügte im Vergleich zu Standard-GRPO nur etwa 12 % Latenz beim Training hinzu, da der Lehrer nur für die Berechnung der Log-Wahrscheinlichkeiten verwendet wird, nicht für die Generierung von Trajektorien.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass RLAD das grundlegende Missalignment zwischen statischer Lehrer-Aufsicht und dynamischer RL-Policy-Aktualisierung adressiert. Durch die Einbettung der Lehrer-Anleitung in den Trust-Region-Update-Mechanismus vermeidet RLAD das „brüchige Tuning“, das bei der Multi-Objective-KL-Regularisierung erforderlich ist.

Die Autoren betonen, dass RLAD es dem Studenten ermöglicht, sich zu High-Advantage-Verhaltensweisen innerhalb einer Anker-Verteilung zu bewegen und gleichzeitig opportunistisch die Anleitung des Lehrers zu nutzen. Dies führt zu:

Überlegener Leistung: Konsistente Überlegenheit gegenüber GRPO, KDRL und Offline-Destillation, insbesondere bei anspruchsvollen Benchmarks.
Stabilität: Stabilere Trainingsdynamiken und bessere Konvergenz.
Wahre RL-Optimierung: Im Gegensatz zu Methoden, die stark auf Imitation beruhen (was zwar Pass@32 steigern kann, aber nicht Pass@1), priorisiert RLAD das belohnungs-ausgerichtete Verhalten, was zu stärkeren Gewinnen in den wahrscheinlichsten korrekten Antworten des Modells (Pass@1) führt.

Das Paper schließt damit, dass der Ansatz zwar auf Open-Weight-Lehrermodellen mit Zugriff auf Logits angewiesen ist, aber einen bedeutenden Schritt nach vorn darstellt, um die Destillation kompatibel mit der dynamischen Natur des RL Post-Trainings zu machen.