🤖 machine learning

OISD: On-Policy Internal Self-Distillation of Language Models

Das Papier stellt OISD vor, ein neuartiges on-policy-Interne-Selbst-Distillation-Framework, das das Schlussfolgern von Sprachmodellen verbessert, indem es durch Logit- und Aufmerksamkeitsausrichtung während der GRPO-Optimierung die Zwischendarstellungen mit den Vorhersagesignalen der letzten Schicht in Einklang bringt und dabei signifikante Verbesserungen gegenüber bestehenden RL-Baselines bei mathematischen Schlussfolgerungsaufgaben erzielt, ohne dass externe privilegierte Informationen erforderlich sind.

Ursprüngliche Autoren: Xinyu Liu, Darryl Cherian Jacob, Yang Zhou, Jindong Wang, Pan He

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xinyu Liu, Darryl Cherian Jacob, Yang Zhou, Jindong Wang, Pan He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler bei der Lösung eines komplexen mathematischen Problems. Auf die traditionelle Weise lassen Sie den Schüler seinen gesamten Denkprozess aufschreiben und geben ihm erst am allerEnde eine Note: „Richtig" oder „Falsch". Wenn er einen Fehler macht, sagen Sie ihm nicht, wo er vom Weg abgekommen ist oder wie er anders hätte denken sollen; Sie sagen ihm einfach, er solle es noch einmal versuchen. So funktioniert das Training der meisten aktuellen KI-Modelle: Es konzentriert sich stark auf die endgültige Antwort und ignoriert den chaotischen Denkprozess, der in der Mitte stattgefunden hat.

Der Artikel „OISD: On-Policy Internal Self-Distillation of Language Models" schlägt einen intelligenteren Weg vor, KI-Modelle zu unterrichten. Hier ist die Aufschlüsselung mit einfachen Analogien:

Die Kernidee: Der „interne Mentor"

Normalerweise holen wir, wenn wir das Denken einer KI verbessern wollen, ein externes „Lehrer"-Modell (eine intelligentere KI) hinzu, um dem Schüler-KI-Modell zu zeigen, wie es denken soll. Doch dieser Artikel sagt: „Warum einen externen Lehrer holen, wenn die KI bereits einen in sich selbst hat?"

Die Autoren erkannten, dass ein großes KI-Modell wie ein mehrstöckiges Gebäude ist.

Das Erdgeschoss (frühe Schichten): Hier beginnt die KI zu denken. Es ist etwas verschwommen, sie betrachtet das Problem aus vielen Winkeln.
Das Penthouse (letzte Schicht): Hier wird die endgültige Antwort entschieden. Bis die KI die Spitze erreicht hat, hat sie alle Informationen verarbeitet und weiß genau, was die Antwort sein sollte.

OISD (On-Policy Internal Self-Distillation) ist eine Methode, bei der die KI ihre eigene „Penthouse"-Schicht (die letzte Schicht) nutzt, um ihre eigene „Erdgeschoss"-Schicht (eine mittlere Schicht) zu unterrichten, während sie das Problem löst.

Wie es funktioniert: Zwei Arten von Lektionen

Der Artikel führt zwei spezifische Wege ein, wie das „Penthouse" das „Erdgeschoss" unterrichtet:

„Wie man denkt" (Logit-Ausrichtung):
- Die Analogie: Stellen Sie sich vor, das Erdgeschoss rät: „Vielleicht ist die Antwort 4, vielleicht 5?" Das Penthouse schaut herab und sagt: „Nein, ich bin zu 99 % sicher, dass es 4 ist. Hören Sie auf, 5 zu raten."
- Was es bewirkt: Es zwingt die frühen Denkphasen, sich mit dem Vertrauen und der Logik der endgültigen Antwort abzugleichen. Es lehrt das Modell, wie man eine korrekte Überzeugung bildet.
„Wohin man schaut" (Aufmerksamkeitsausrichtung):
- Die Analogie: Stellen Sie sich vor, das Erdgeschoss liest eine lange Geschichte, wird aber von den falschen Worten abgelenkt. Das Penthouse zeigt und sagt: „Schauen Sie nicht auf dieses Wort; schauen Sie auf diese spezifische Zahl hier. Das ist der Hinweis, den Sie brauchen."
- Was es bewirkt: Es zwingt die frühen Schichten, ihre Aufmerksamkeit auf dieselben wichtigen Teile des Problems zu richten, die die letzte Schicht nutzt, um ihre Entscheidung zu treffen. Es lehrt das Modell, wo es die Beweise findet.

Warum dies besonders ist (Der „On-Policy"-Teil)

In der Vergangenheit mussten Sie, wenn Sie eine KI mit einem „Lehrer" unterrichten wollten, oft ein anderes, vortrainiertes Modell verwenden. Dies erzeugte eine Diskrepanz, da der Schüler von jemandes anderem Stil lernte, nicht von seinem eigenen.

OISD ist „On-Policy", was bedeutet:

Die KI generiert ihre eigenen Gedanken (den „Rollout").
Die eigene endgültige Antwort der KI fungiert als Lehrer für ihre eigenen frühen Gedanken.
Es gibt keinen externen Lehrer, keine speziellen „privilegierten" Hinweise und keine Diskrepanz. Es ist ein sich selbst verbessernder Kreislauf, der vollständig innerhalb eines einzigen Modells stattfindet.

Die Ergebnisse

Die Forscher testeten dies an mathematischen Problemen (wie denen, die in Schulwettbewerben vorkommen). Sie verglichen ihre Methode (OISD) mit anderen starken Methoden.

Das Ergebnis: Die OISD-Modelle erzielten deutlich bessere Scores. Sie bekamen nicht nur öfter die richtige Antwort; sie entwickelten einen konsistenteren und logischeren „Denkprozess" vom allerBeginn des Problems bis zum Ende.
Die Erkenntnis: Indem man die frühen Teile des Gehirns lehrt, wie die letzten Teile des Gehirns zu denken, wird das gesamte System intelligenter und zuverlässiger.

Zusammenfassung

Stellen Sie sich OISD als ein Modell vor, das nicht bis zum Ende eines Tests wartet, um zu sehen, ob es gescheitert ist. Stattdessen hat es einen eingebauten Coach (seine eigene letzte Schicht), der flüstert: „Sie schauen auf den falschen Hinweis" und „Sie sollten bei diesem Schritt selbstbewusster sein", während es das Problem noch löst. Dies hilft dem Modell, besser zu denken, nicht nur besser zu raten.

Technische Zusammenfassung: OISD – On-Policy Internal Self-Distillation von Sprachmodellen

1. Problemstellung

Kürzlich entwickelte Reinforcement-Learning-(RL-)Nachtrainierungsansätze für Large Language Models (LLMs), insbesondere solche, die Group Relative Policy Optimization (GRPO) mit verifizierbaren Belohnungen nutzen, haben das mathematische Schlussfolgern erheblich vorangebracht. Diese Methoden sind jedoch vorwiegend ergebnisorientiert. Sie optimieren die finale Aktionspolitik mittels sparsamer, ergebnisebenenbezogener Belohnungen (z. B. Richtigkeit der finalen Antwort), während sie weitgehend die prädiktiven Signale, Schlussfolgerungsprozesse und internen Repräsentationen, die in den Zwischenschichten kodiert sind, außer Acht lassen.

Während Knowledge Distillation (KD) einen Mechanismus zur Bereitstellung dichter Token-Level-Supervision bietet, leiden bestehende Paradigmen unter spezifischen Einschränkungen:

Off-Policy-Distillation: Erzeugt eine Verteilungsinkonsistenz, da der Schüler auf Trajektorien trainiert wird, die von einem festen Lehrer generiert wurden, nicht auf seinen eigenen Generierungen.
On-Policy-Distillation: Verringert die Inkonsistenz, beruht jedoch typischerweise auf externen Lehrermodellen.
On-Policy-Selbstdistillation: Neuere Methoden entfernen externe Lehrer, sind jedoch abhängig von extern injizierten privilegierten Informationen (z. B. privilegierte Prompts, Ground-Truth-Lösungen oder zusätzliche Rückmeldungen), um das Modell zu überwachen.

Es besteht eine Lücke bei der Nutzung der eigenen internen Berechnungen des Modells als Supervisionsquelle, ohne externe privilegierte Daten oder mehrere Aktionspolitiken zu benötigen. Darüber hinaus deuten frühere Forschungen darauf hin, dass Schlussfolgerungsrepräsentationen sich systematisch über die Schichten hinweg entwickeln (von breiten Kandidatenvorhersagen in frühen Schichten bis hin zu konvergierten Entscheidungen in tiefen Schichten), was nahelegt, dass Zwischenschichten durch tiefere Schichten geleitet werden könnten, um die Kohärenz des Schlussfolgerns zu verbessern.

2. Methodik: OISD-Rahmenwerk

Die Autoren schlagen OISD (On-Policy Internal Self-Distillation) vor, ein Rahmenwerk, das die finale Schicht des Modells als „abgekoppelten internen Lehrer" und eine ausgewählte Zwischenschicht als „hilfsinternen Schüler" behandelt. Dies erfolgt innerhalb eines einzigen Vorwärtspasses während des Rollouts und des GRPO-Optimierungsprozesses.

Kernarchitektur

Einzelne Aktionspolitik: Die finale Schicht ( $L$ ) bleibt die einzige Politik zur Generierung von Rollouts und zur Optimierung der GRPO-Zielfunktion.
Interner Lehrer-Schüler: Während desselben Vorwärtspasses wird der verborgene Zustand einer ausgewählten Zwischenschicht ( $l < L$ ) unter Verwendung der Unembedding-Matrix in den Token-Raum projiziert (im Einklang mit dem Logit-Lens-Rahmenwerk). Dies erzeugt eine vorläufige „Schüler"-Verteilung, die aus demselben Kontext wie der „Lehrer" (finale Schicht) abgeleitet ist.
Kein externer Privilegienzugriff: Die Supervisionssignale werden vollständig aus den eigenen internen Zuständen des Modells auf demselben On-Policy-Rollout abgeleitet und erfordern keine externen Ground-Truth-Lösungen oder privilegierten Prompts.

Ausrichtungsziele

OISD employs zwei komplementäre interne Ausrichtungsmechanismen, um prädiktive Signale von der finalen Schicht auf die Zwischenschicht zu übertragen:

Logit-Ausrichtung („Wie zu denken"):
- Ziel: Übertragung von hochrangigen Schlussfolgerungsverhalten und prädiktiven Überzeugungen.
- Mechanismus: Die Jensen-Shannon-(JS)-Divergenz wird zwischen den temperatur-skalierten Token-Verteilungen der Zwischenschicht ( $p^l_t$ ) und der finalen Schicht ( $q^L_t$ ) berechnet.
- Gewichtung: Der Verlust wird mit dem signierten GRPO-Vorteil ( $A_t$ ) gewichtet. Tokens mit hohem Vorteil ziehen die Zwischenschicht in Richtung der Verteilung der finalen Schicht, während Tokens mit niedrigem Vorteil sie wegdrücken, um die Verstärkung schlechter Fortsetzungen zu vermeiden.
- Formel: $\mathcal{L}^{(l)}_{\text{think}} = \mathbb{E}_t [ A_t \cdot \text{JS}(p^{l,\tau}_t, \text{sg}(q^{L,\tau}_t)) ]$
Aufmerksamkeitsausrichtung („Worauf zu schauen"):
- Ziel: Erzwingung konsistenter Aufmerksamkeitsmuster und Verhaltensweisen beim Routing von Evidenz.
- Mechanismus: Die JS-Divergenz wird zwischen den Aufmerksamkeitsgewichten der Zwischenschicht und der finalen Schicht über eine Stichprobe kausaler Schlüssel berechnet (Kombination aus lokalen Fenstern und globalen gestreiften Positionen zur Verwaltung des Speichers).
- Gewichtung: Ähnlich wie bei der Logit-Ausrichtung wird der Verlust mit dem signierten Vorteil gewichtet. Positive Vorteile ermutigen die Zwischenschicht, dieselben Evidenzen wie die finale Schicht zu beachten; negative Vorteile verringern die Übereinstimmung mit Mustern niedriger Belohnung.
- Formel: $\mathcal{L}^{(l)}_{\text{attn}} = \mathbb{E}_t [ A_t \cdot \frac{1}{H} \sum_{h=1}^H \text{JS}(\tilde{a}^l_{t,h}, \text{sg}(\tilde{a}^L_{t,h})) ]$

Trainingsziel

Der Gesamtverlust kombiniert den Standard-GRPO-Verlust mit den beiden internen Ausrichtungsverlusten:
$\mathcal{L}_{\text{OISD}} = \mathcal{L}_{\text{GRPO}} + \lambda_{\text{think}} \mathcal{L}_{\text{think}} + \lambda_{\text{attn}} \mathcal{L}_{\text{attn}}$
wobei $\lambda_{\text{think}}$ und $\lambda_{\text{attn}}$ die Stärke der Distillation steuern.

3. Hauptbeiträge

Neues Paradigma: Einführung der On-Policy Internal Self-Distillation, eines Schlussfolgerungs-RL-Paradigmas, das die eigenen internen Berechnungen des Modells für die Supervision nutzt, während eine einzelne Aktionspolitik beibehalten wird.
OISD-Rahmenwerk: Eine spezifische Implementierung, die die finale Schicht als abgekoppelten Lehrer und eine Zwischenschicht als Schüler verwendet und On-Policy-prädiktive Signale ohne externe privilegierte Informationen überträgt.
Duale Ausrichtungsmechanismen: Entwicklung zweier komplementärer Ziele:
- Logit-Ausrichtung: Überwacht den Schlussfolgerungsprozess („wie zu denken").
- Aufmerksamkeitsausrichtung: Überwacht das Evidenz-Routing („worauf zu schauen").
Empirische Validierung: Nachweis erheblicher und konsistenter Verbesserungen gegenüber starken Schlussfolgerungs-RL-Baselines (einschließlich GRPO und BuPO) über vier mathematische Schlussfolgerungs-Benchmarks hinweg.

4. Experimentelle Ergebnisse

Die Autoren bewerteten OISD an den Modellen Qwen3-4B, Qwen3-8B und OctoThinker über vier Benchmarks hinweg: AMC23, MATH500, AIME24 und AIME25.

Leistungssteigerungen:
- Bei Qwen3-4B erreichte OISD einen Durchschnittswert von 64,75 und übertraf GRPO (55,08) um 9,67 Punkte sowie BuPO (58,51) um 6,24 Punkte.
- Die Verbesserungen waren insbesondere bei AIME-Benchmarks signifikant (z. B. +14,31 Punkte gegenüber GRPO bei AIME24).
- Bei Qwen3-8B erreichte OISD den besten Gesamtdurchschnitt von 66,72 und übertraf GRPO (64,23) sowie BuPO (66,36).
Pass@K-Analyse: OISD erreichte konsistent höhere Pass@K-Raten über alle $K$ -Werte hinweg im Vergleich zu GRPO, was eine Verbesserung der Gesamtqualität der Stichprobenlösungsmenge und nicht nur der durchschnittlichen Genauigkeit anzeigt.
Ablationsstudien:
- Sowohl Logit- als auch Aufmerksamkeitsausrichtung trugen positiv bei. Die Logit-Ausrichtung zeigte den größten Gewinn bei AIME24, während die Aufmerksamkeitsausrichtung im Durchschnitt etwas besser abschnitt.
- Die Kombination beider lieferte die besten Ergebnisse und bestätigte ihren komplementären Charakter.
Vergleich mit OPSD: OISD (64,75) schnitt deutlich besser ab als OPSD (56,63), eine state-of-the-art On-Policy-Selbstdistillationsmethode, die auf privilegierten Ground-Truth-Lösungen beruht. Dies unterstreicht die Wirksamkeit der rein internen Supervision von OISD.
Qualitative Analyse:
- Trainingsdynamik: OISD zeigte eine stetige Verbesserung der Belohnung und einen anfänglichen Anstieg der Entropie (was auf eine breitere Exploration hindeutet), bevor es stabilisierte.
- Visualisierung der Aufmerksamkeit: Zwischenschichten in OISP passten sich während des Trainings allmählich der Aufmerksamkeit der finalen Schicht auf kritische Evidenz-Token (z. B. Endpunkte, Supremum) an.
- Logit-Lens-Visualisierung: OISD zeigte eine frühere Ausrichtung zwischen Zwischen- und Finalvorhersagen bei schlussfolgerungskritischen Tokens im Vergleich zu GRPO, das oft fragmentierte Zwischenvorhersagen produzierte.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass OISD die Untersuchung der On-Policy Internal Self-Distillation einleitet. Ihre primäre Bedeutung liegt in:

Beseitigung externer Abhängigkeit: Sie bietet dichte interne Supervision ohne die Notwendigkeit externer Lehrer, privilegierter Prompts oder Ground-Truth-Lösungen während des Trainings.
Politikkonsistenz: Sie bewahrt eine einzelne Aktionspolitik sowohl für die Rollout-Generierung als auch für die Optimierung und vermeidet so die Probleme der Verteilungsinkonsistenz off-policy-Methoden.
Verbessertes Schlussfolgern: Durch die Ausrichtung interner Repräsentationen mit den Schlussfolgerungs- und Aufmerksamkeitsmustern der finalen Schicht ermutigt OISD das Modell, stärkere und global konsistentere interne Repräsentationen zu lernen.

Die Autoren weisen auf Einschränkungen hin, darunter den Fokus auf mathematisches Schlussfolgern mit verifizierbaren Antworten und das Fehlen einer eingehenden Studie zur optimalen Schichtauswahl. Sie schlagen vor, dass zukünftige Arbeiten die Generalisierung auf komplexere Schlussfolgerungsaufgaben und die interne Supervision über mehrere Schichten hinweg untersuchen sollten.