💬 NLP

Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning

Das Papier schlägt Temperature-Scaled On-Policy Self-Distillation (TS-OPSD) vor, eine leichtgewichtige Methode, die explorative Temperatureffekte in die Modellparameter internalisiert, um die Entropie wiederherzustellen und das logische Denken in großen Sprachmodellen nach einem Entropiekollaps zu verbessern, ohne externe Lehrer oder zusätzliche Inferenzkosten zu erfordern.

Ursprüngliche Autoren: Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „überhebliche“ Schüler

Stellen Sie sich vor, Sie trainieren einen brillanten Schüler (ein KI-Modell), um komplexe mathematische Probleme zu lösen. Sie verwenden eine Methode namens Reinforcement Learning (Bestärkendes Lernen), bei der der Schüler für richtige Antworten ein „Goldsternchen“ und für falsche Antworten ein „Daumen runter“ erhält.

Am Anfang ist der Schüler großartig. Er probiert viele verschiedene Wege aus, um ein Problem zu lösen, und lernt aus seinen Fehlern. Aber nach einer Weile passiert etwas Seltsames: Der Schüler wird zu selbstbewusst. Er hört auf, neue Ansätze auszuprobieren, und wiederholt nur noch die eine Lösung, von der er glaubt, dass sie perfekt ist.

In der Arbeit wird dies als Entropie-Kollaps bezeichnet.

Die Analogie: Stellen Sie sich das Gehirn des Schülers wie eine Bibliothek vor. Zu Beginn durchstöbert er viele verschiedene Gänge (er erkundet viele Ideen). Aber während er „trainiert“ wird, hört er auf, in den Regalen zu suchen, und starrt nur noch auf ein einziges Buch, von dem er glaubt, dass es die Antwort ist. Er hört auf zu explorieren.
Die Konsequenz: Da er aufhört, neue Dinge auszuprobieren, hört er auch auf zu lernen. Wenn er auf ein schwieriges Problem stößt, kann er keinen neuen Weg herausfinden, weil er vergessen hat, wie man exploriert. Er stößt an eine Decke und kann nicht mehr besser werden.

Die alten Lösungen: „Künstliche“ Exploration

Wissenschaftler versuchten, dies zu beheben, indem sie dem Schüler sagten: „Hey, versuch mal, ein bisschen zufälliger zu sein!“

Methode 1: Sie fügten eine Regel zum Bewertungssystem hinzu, um den Schüler dazu zu zwingen, weniger selbstbewusst zu sein.
Methode 2: Sie sagten dem Schüler: „Wenn du eine Antwort wählst, wirf eine Münze, um es etwas zufälliger zu machen.“

Der Fehler: Dies ist so, als würde man dem Schüler eine „Zufallsfilter-Brille“ aufsetzen. Der Schüler sieht so aus, als würde er explorieren, aber tief im Inneren ist sein Gehirn (die internen Gewichte des Modells) immer noch starr und festgefahren. Es ist ein vorübergehender Trick, keine echte Änderung in der Art und Weise, wie er denkt.

Die neue Lösung: „Policy Reheating“ (TS-OPSD)

Die Autoren schlagen eine neue Methode namens TS-OPSD vor. Anstatt dem Schüler nur zu sagen, er solle zufällig handeln, verändern sie die Struktur seines Gehirns, damit er von Natur aus wieder offener für Neues wird.

So funktioniert es, Schritt für Schritt:

Der „Selbst-Lehrer“-Trick:
Stellen Sie sich vor, der Schüler steckt in seiner starren Denkweise fest. Die Forscher bitten den Schüler, seine eigenen Gedanken zu betrachten, aber durch eine „beschlagene Linse“ (hohe Temperatur) zu sehen.
- Die Analogie: Wenn der Schüler denkt: „Die Antwort ist definitiv 42“, dann lässt die beschlagene Linse ihn denken: „Nun, 42 ist wahrscheinlich, aber vielleicht sind auch 41 oder 43 möglich.“
- Entscheidend ist: Der Schüler braucht keinen neuen Lehrer. Er bringt sich selbst bei, indem er seine eigenen Ideen durch diese beschlagene Linse betrachtet.
Der „Reheating“-Prozess (Wiederaufwärmen):
Der Schüler versucht dann, sein normales, starres Gehirn mit dieser „beschlagenen“, weltoffeneren Version seiner selbst in Einklang zu bringen.
- Die Analogie: Es ist wie das Wiederaufwärmen eines steifen Stücks Ton. Man sagt dem Ton nicht einfach, er solle weich sein; man erwärmt ihn tatsächlich, damit er wieder formbar wird. Die „Weichheit“ (Exploration) ist nun in den Ton selbst eingebacken, nicht nur ein vorübergehender Trick.
Das Ergebnis:
Sobald das Gehirn des Schülers „wiederaufgewärmt“ wurde, kehrt er zu seinem Training zurück. Da sein Gehirn nun von Natur aus flexibler ist, kann er wieder neue Wege erkunden, ohne externe Regeln oder Zufallszahlengeneratoren zu benötigen.

Warum das besser ist

Die Arbeit zeigt, dass dieses „Reheating“ aus zwei Gründen besser funktioniert als die alten Tricks:

Es ist permanent: Die Flexibilität ist nun Teil der DNA (der Parameter) des Modells, nicht nur eine Einstellung, die man ein- und ausschaltet.
Es wird nichts vergessen: Wenn sie das Modell „wiederaufwärmen“, verlieren sie nicht die mathematischen Fähigkeiten, die sie bereits gelernt haben.
- Die Analogie: Stellen Sie sich einen Koch vor, der vergessen hat, kreativ zu sein. Die alten Methoden sagten ihm nur, er solle „mehr raten“. Die neue Methode erwärmt sanft seine Kreativität, ohne dass er vergisst, wie man Zwiebeln schneidet oder Wasser kocht. Er ist immer noch ein großartiger Koch, aber jetzt kann er wieder neue Rezepte erfinden.

Die Überraschung des „Entropie-Sprungs“

Die Forscher bemerkten etwas Interessantes, das während dieses Reheatings geschah.

Zuerst wird das Modell etwas flexibler.
Dann gibt es plötzlich einen „Sprung“.
Die Analogie: Es ist wie ein Damm, der das Wasser zurückhält. Der Wasserdruck baut sich langsam auf (das Modell wird etwas offener), und dann bricht das Wasser plötzlich durch den Riss. Das Modell beginnt plötzlich, völlig neue, zuvor ignorierte Pfade zu erkunden.
Die gute Nachricht: Obwohl sie anfangen, wilde neue Pfade zu erkunden, machen sie keine schlechten Fehler. Sie finden lediglich bessere Lösungen, die sie zuvor übersehen hatten.

Zusammenfassung

Die Arbeit führt eine Methode ein, um KI-Modelle zu korrigieren, die „festgesteckt“ und zu selbstbewusst geworden sind. Anstatt sie zu zwingen, zufällig zu handeln, nutzen die Forscher einen Selbst-Lehr-Trick, um Flexibilität direkt in das Gehirn des Modells einzubacken. Dies ermöglicht es der KI, weiter zu lernen und schwierige mathematische Probleme zu lösen, lange nachdem sie normalerweise aufgegeben hätte.

Wichtigste Erkenntnis: Sagen Sie einer starren KI nicht einfach, sie solle „zufällig sein“. Bringen Sie ihr bei, wieder flexibel zu werden, damit sie von selbst weiterlernen kann.

Technisches Resümee: Temperatur-skalierte On-Policy Self-Distillation (TS-OPSD)

1. Problemstellung

Reinforcement Learning from Verifiable Rewards (RLVR) hat die Denkfähigkeiten von Large Language Models (LLMs) erheblich verbessert, insbesondere in mathematischen und logischen Domänen. Dieser Fortschritt stößt jedoch auf einen kritischen Engpass, der als Entropie-Kollaps bekannt ist. Während der Policy-Optimierung wird die Ausgabeverteilung des Modells zunehmend konzentrierter (schärfer), was zu Folgendem führt:

Reduzierte Rollout-Diversität: Das Modell generiert repetitive Trajektorien, was die Exploration des Lösungsraums einschränkt.
Verminderte Lernsignale: Effektive Gradienteninformationen konzentrieren sich auf einen kleinen Bruchteil von High-Entropy-Token an kritischen Entscheidungspunkten des Denkprozesses. Sobald die Policy kollabiert, verschwinden diese Signale, was den weiteren Fortschritt zum Erliegen bringt.

Bestehende Abhilfemaßnahmen versuchen dies zu mildern, indem sie entweder:

Das RL-Ziel modifizieren: Durch Verwendung von Entropie-Regularisierung oder adaptiver Clipping-Methoden. Diese Methoden erzwingen externe Beschränkungen, die möglicherweise im Konflikt mit der Maximierung der Belohnung stehen.
Die Sampling-Temperatur anpassen: Erhöhung der Temperatur während der Rollout-Erfassung. Dies verändert zwar die Behavior-Policy, aber nicht die zugrunde liegende parametrisierte Verteilung des Modells, wodurch eine Diskrepanz zwischen der Behavior-Policy und der optimierten Policy entsteht.

Diese Ansätze bleiben extern zu den Modellparametern. Die Arbeit postuliert, dass der explorative Effekt der Temperatur direkt in die Modellgewichte internalisiert werden sollte, um eine bessere Initialisierung für fortgesetztes RL zu gewährleisten.

2. Methodik: TS-OPSD

Die Autoren schlagen Temperature-Scaled On-Policy Self-Distillation (TS-OPSD) vor, eine leichtgewichtige „Policy-Reheating“-Methode, die darauf ausgelegt ist, Entropie ohne externe Lehrer, privilegierte Daten oder zusätzliche Inferenzkosten wiederherzustellen.

Kernmechanismus

TS-OPSD agiert als Intervention zwischen den RL-Stufen. Ausgehend von einem entropie-kollabierten Checkpoint ( $\theta_{RL-collapse}$ ) konstruiert die Methode einen Selbst-Lehrer und destilliert eine glattere Verteilung zurück in das Studentenmodell ( $\theta_{reheat}$ ).

Konstruktion des Selbst-Lehrers: Gegeben die aktuellen Logits des Studenten $z_\theta$ , wird eine Selbst-Lehrer-Verteilung $p_T$ erzeugt, indem eine Hochtemperatur-Softmax-Transformation ( $T > 1$ ) auf die Logits angewendet wird. Entscheidend ist, dass die Lehrer-Logits einen Stop-Gradient besitzen und kein externes Modell verwendet wird.
$p_T(v | x_{<t}) = \frac{\exp(z_{\theta,v}/T)}{\sum_u \exp(z_{\theta,u}/T)}$
On-Policy Distillation: Der Student wird darauf trainiert, die Kullback-Leibler-Divergenz zwischen seiner aktuellen Verteilung $q_\theta$ und dem Hochtemperatur-Selbst-Lehrer $p_T$ zu minimieren, wobei On-Policy Rollouts verwendet werden, die aus $q_\theta$ selbst gesampelt wurden.
$\mathcal{L} = D_{KL}(p_T \parallel q_\theta) \quad \text{(Forward KL)}$
$\mathcal{L} = D_{KL}(q_\theta \parallel p_T) \quad \text{(Reverse KL)}$

Strukturelle Eigenschaften

Rang-Erhaltung: Da $p_T$ eine monotone Potenztransformation von $q_\theta$ ist ( $p_T(v) \propto q_\theta(v)^{1/T}$ ), bleibt die Token-Rangfolge erhalten. Der Lehrer und der Student teilen dieselbe lokale Unterstützung (Support) und semantische Präferenzordnung; nur die Schärfe der Verteilung unterscheidet sich.
Internalisierung: Im Gegensatz zu Standard-Decoding-Temperaturanpassungen aktualisiert TS-OPSD die Modellgewichte, um das glattere, höher-entropische Verhalten dauerhaft zu kodieren. Dies eliminiert die Trainings-Inferenz-Diskrepanz.
Gradientendynamik:
- Forward KL (FKL): Der Gradient nimmt die Form $q_\theta(v) - p_T(v)$ an. Dies bewirkt ein „strukturiertes Glätten“, indem unterdrückte Alternativen basierend auf den eigenen Vorurteilen des Modells neu gewichtet werden.
- Reverse KL (RKL): Unter Selbst-Temperatur-Kopplung ist die Minimierung von RKL lokal äquivalent zur Maximierung der Entropie des Studenten, wobei die Temperatur lediglich als Skalarfaktor auf die Gradientenmagnitude wirkt.

3. Kernbeiträge

Policy-Reheating-Framework: Einführung von TS-OPSD, einer Methode zur Internalisierung des explorativen Effekts der Temperatur in die Modellparameter, die als post-kollapsale Intervention dient.
Theoretische Einsicht: Nachweis, dass unter Selbst-Temperatur-Kopplung die Lehrer-Student-Diskrepanz minimiert wird (rang-erhaltend) und RKL zu einem direkten Entropie-Maximierungs-Update reduziert.
Empirische Validierung: Zeigt, dass das Reheating eines entropie-kollabierten Checkpoints eine überlegene Initialisierung für fortgesetztes RL bietet im Vergleich zu Standard-Kontinuierlichem Training oder Rollout-Level-Temperaturanpassungen.
Analyse der Dynamik: Charakterisierung des „Entropie-Sprung“-Phänomens, bei dem die Entropie-Wiederherstellung in zwei Phasen erfolgt (langsames Glätten gefolgt von einem scharfen diskontinuierlichen Sprung), sowie Analyse der Reversibilität dieser Parameter-Updates.

4. Experimentelle Ergebnisse

Experimente wurden auf Qwen3-4B-Base und Qwen3-8B-Base unter Verwendung des DAPO-Math-17K Datensatzes durchgeführt und auf MATH-500, AIME24/25/26 und OlymMATH evaluiert.

Leistungssteigerungen: TS-OPSD (speziell mit Forward KL, PR-FKL) übertraf konsistent sowohl die Standard-DAPO-Baseline als auch Rollout Reheating (DAPO w/ RR).
- Auf Qwen3-8B-Base erreichte PR-FKL ein Avg pass@8 von 54,74, verglichen mit 51,60 für Standard-DAPO und 52,66 für Rollout Reheating.
- Die Gewinne waren bei schwierigeren Benchmarks (AIME, OlymMATH) am ausgeprägtesten.
Entropie-Wiederherstellung: Nach dem Reheating konnten Modelle das RL von einer höher-entropischen Initialisierung aus fortsetzen und erreichten höhere finale Belohnungen als Standard-DAPO, welches unterdrückt blieb.
Vergleich mit Rollout Reheating: Während die Erhöhung der Sampling-Temperatur während der Rollouts (RR) nicht unerhebliche Gewinne brachte, lieferte Policy Reheating (PR) überlegene Ergebnisse. Dies deutet darauf hin, dass der Nutzen aus der glatteren Policy-Verteilung selbst als besseres Fundament für die Optimierung resultiert, und nicht bloß aus verrauschterem Sampling.
Erhalt der Fähigkeiten: Analysen zeigten, dass TS-OPSD eine support-erhaltende Wahrscheinlichkeitsumverteilung durchführt:
- Intermediäre Repräsentationen: Lineare CKA-Scores zwischen Base- und Reheated-Layern blieben nahe bei 1,0, was zeigt, dass die internen Repräsentationen weitgehend unverändert blieben.
- Denkfähigkeit: Die Aufgaben-Genauigkeit auf MATH-500 und GPQA blieb während des gesamten Distillationsprozesses stabil, was bestätigt, dass die Entropie-Wiederherstellung die Denkfähigkeiten nicht beeinträchtigte.
- Kandidaten-Sets: Die Überlappung der Top-10-Token und der Erhalt der Wahrscheinlichkeitsmasse lagen nahe bei 1,0, was darauf hindeutet, dass die semantischen Präferenzen des Modells bewahrt wurden, während die Margen geglättet wurden.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Entropie-Wiederherstellung von der RL-Zielsetzung entkoppelt und als modulare Inter-Stage-Operation eingefügt werden kann, wenn eine Policy zu deterministisch wird.

Modulare Intervention: TS-OPSD bietet einen einfachen, leichtgewichtigen Mechanismus, um die explorative Kapazität kollabierter Policies über den RL-Algorithmus hinaus zu erweitern, ohne den Kern des RL-Algorithmus zu verändern.
Stabilität in datenarmen Settings: In Experimenten mit reduzierter Datenmenge (2048 Prompts) wurde das Standard-RL-Training aufgrund schwerer Entropie-Kollapse instabil (Gradientenspitzen, Belohnungsdegradation). TS-OPSD fungierte als Stabilisierungsmechanismus, der ein längeres, stabileres Training ermöglichte.
Recheneffizienz: Die Reheating-Intervention fügt dem gesamten RL-Training etwa 15–17 % der Zeit hinzu. Wenn auf die Batchgröße normiert, sind die Kosten pro Sample vergleichbar mit oder sogar niedriger als bei Standard-RL-Schritten.
Limitierungen: Die Autoren merken an, dass die Experimente auf spezifische Modellskalen (4B/8B) beschränkt sind und dass das Stoppkriterium für das Reheating (Entropie-Schwellenwert) derzeit empirisch statt prinzipienbasiert ist. Sie schlagen vor, zukünftige Arbeiten könnten kaskadierte Zeitpläne untersuchen, die zwischen OPSD und RL alternieren.

Zusammenfassend zeigt TS-OPSD, dass die „Internalisierung“ der Temperatur mittels Selbst-Distillation effektiv die explorative Kapazität kollabierter Policies wiederherstellt, was es dem fortgesetzten RL ermöglicht, höhere Leistungs-Obergrenzen zu erreichen und gleichzeitig die während des Trainings erworbenen Denkstrukturen zu bewahren.