🤖 AI

Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation

Dieser Artikel identifiziert „Rock Tokens" als eine persistente Teilmenge von High-Loss-Tokens in der On-Policy-Distillation, die erhebliche Optimierungsressourcen verbrauchen, obwohl sie nur vernachlässigbar zur Reasoning-Leistung beitragen, und zeigt, dass ihr strategisches Umgehen den Prozess der Modellalignment-Optimierung straffen kann.

Ursprüngliche Autoren: Yuxuan Jiang, Runchao Li, Shubhashis Roy Dipta, Dawei Li, Zhao Yang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Jiang, Runchao Li, Shubhashis Roy Dipta, Dawei Li, Zhao Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem talentierten, aber etwas ungeschickten Lehrling (dem Schülermodell) beizubringen, perfekte mathematische Beweise zu schreiben, indem Sie ihn einen Meisterarchitekten (das Lehrermodell) nachahmen lassen.

In der Welt der KI wird dieser Prozess als On-Policy-Distillation bezeichnet. Der Lehrling schreibt einen Beweis, der Lehrer korrigiert ihn, und der Lehrling versucht es erneut. Normalerweise gehen wir davon aus, dass jeder Fehler des Lehrlings eine wertvolle Lektion ist. Wenn der Lehrer sagt: „Das ist falsch", lernt der Lehrling daraus.

Diese Arbeit stellt eine überraschende Entdeckung vor: Nicht alle Fehler sind Lektionen. Tatsächlich sind einige der häufigsten „Fehler" eigentlich nur Hürden, die Zeit und Energie verschwenden, während nur eine winzige Minderheit die wahren Grundsteine sind, die die gesamte Struktur zusammenhalten.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die „Rock-Tokens": Die sturen Kieselsteine

Die Forscher stellten fest, dass selbst nachdem der Lehrling lange geübt hatte und die Materie zu beherrschen schien, bestimmte Wörter und Symbole weiterhin vom Lehrer „korrigiert" wurden. Sie nannten diese Rock-Tokens.

Was sind sie? Es sind nicht die komplexen mathematischen Formeln oder die tiefe Logik. Es ist der „langweilige" Teil: Leerzeichen, Zeilenumbrüche, Klammern, Satzzeichen und gängige Übergangswörter wie „Also", „Warte" oder „Lass uns".
Das Problem: Diese Tokens tauchen ständig auf (etwa 18 % des Textes). Jedes Mal, wenn der Lehrling sie etwas anders verwendet als der Lehrer, berechnet der Computer einen „hohen Loss" (einen großen Fehler).
Das Paradoxon: Obwohl der Computer bei diesen Tokens ständig „FEHLER!" schreit, lernt der Lehrling tatsächlich nie, sie zu korrigieren. Sie bleiben während des gesamten Trainingsprozesses stur falsch. Es ist wie ein Schüler, der bei jeder einzelnen Hausaufgabe das Datum falsch schreibt, und egal wie oft der Lehrer es umkreist, der Schüler macht es einfach immer wieder auf die gleiche Weise.

2. Die zwei großen Überraschungen

Die Forscher gruben tiefer und fanden zwei schockierende Wahrheiten über diese „Rock-Tokens":

Überraschung A: Das Gradienten-Paradoxon (Das Rauschen vs. Das Signal)
Normalerweise denken wir, ein großer Fehler bedeute eine große Lernchance. Aber bei Rock-Tokens gilt das Gegenteil.

Die Metapher: Stellen Sie sich vor, der Lehrer versucht, ein Schiff zu steuern. Die Rock-Tokens sind wie eine massive, konstante Welle, die auf die Seite des Bootes trifft. Sie drückt das Schiff stark (hoher „Gradient"), aber da die Welle so konstant und vorhersehbar ist, ignoriert das Steuerruder des Schiffes sie einfach. Das Schiff driftet weiterhin in die gleiche Richtung.
Die Realität: Diese Tokens erzeugen viel „Rauschen" in den Trainingsdaten. Sie beanspruchen einen enormen Teil der Rechenleistung des Computers, um sie zu korrigieren, helfen dem Modell aber nicht wirklich, beim Schlussfolgern schlauer zu werden. Es sind lediglich strukturelle Gewohnheiten, die der Lehrling zu stur ist, um sie zu durchbrechen.

Überraschung B: Der „Pfeiler" vs. die „Hürde"
Die Forscher fragten: „Wenn wir diese sturen Tokens entfernen, stürzt das Modell ab?"

Die Metapher: Stellen Sie sich ein Gebäude vor. Die meisten Ziegelsteine sind nur Füllmaterial. Aber ein paar spezifische Ziegelsteine sind Pfeiler – wenn man sie entfernt, stürzt das Dach ein. Der Rest sind nur Hürden – wenn man sie entfernt, steht das Gebäude genauso gut, vielleicht sogar besser, weil es leichter ist.
Die Realität: Sie testeten dies, indem sie diese Tokens während der Testphase „herausklopfen" ließen.
- Ergebnis: 96 % bis 98 % dieser sturen Tokens waren neutral. Ihr Entfernen schadete den mathematischen Fähigkeiten des Modells überhaupt nicht.
- Die Ausnahme: Nur ein winziger Bruchteil (etwa 1,5 % bis 3,5 %) waren wahre Pfeiler. Dies waren spezifische Wörter wie „gewiss", „strategisch" oder „initialisieren", die für die Logik tatsächlich kritisch waren.
- Kritische Erkenntnis: Es gab null „Hürden". Das Entfernen der sturen Tokens machte das Modell niemals schlechter. Sie waren lediglich tote Last.

3. Die Lösung: Die „Überspringen"-Taste

Da die meisten dieser „Rock-Tokens" nur Zeit verschwenden, versuchten die Forscher eine neue Strategie: Gradienten einfrieren.

Die Analogie: Anstatt den Lehrling zu zwingen, jedes Mal neu zu lernen, wie man das Datum schreibt oder ein Komma setzt, sagt der Lehrer: „Okay, wir sind uns einig, dass Sie das Datum auf Ihre Weise schreiben. Lassen Sie uns aufhören, Zeit mit der Korrektur dessen zu verschwenden, und uns auf die eigentliche Mathematik konzentrieren."
Das Ergebnis: Als sie aufhörten, diese sturen Tokens zu korrigieren:
- Die mathematische Leistung des Modells blieb exakt gleich.
- Der Trainingsprozess wurde 1,4- bis 1,7-mal schneller.

Das Fazit

Die Arbeit argumentiert, dass wir bei der aktuellen Art und Weise, wie wir KI-Modelle trainieren, obsessiv versuchen, jede einzelne winzige Diskrepanz zwischen Schüler und Lehrer zu beheben.

Dies ist jedoch ineffizient. Wir verbringen 18 % unserer Anstrengungen damit, die „langweiligen" strukturellen Teile des Textes (Leerzeichen, Satzzeichen, gängige Wörter) auszurichten, die das Modell einfach nicht ändern will und die es auch gar nicht ändern muss, um schlau zu sein.

Die Kernaussage:
Um das KI-Training schneller und effizienter zu gestalten, sollten wir aufhören, jeden „Fehler" als kritische Lektion zu behandeln. Wir sollten diese Rock-Tokens (die sturen, hochfrequenten strukturellen Fehler) identifizieren und überspringen. Indem wir die „Hürden" ignorieren und uns nur auf die seltenen „Grundsteine" (die eigentliche Logik) konzentrieren, können wir viel schneller intelligentere Modelle bauen, ohne dabei eine einzige Schlussfolgerungsfähigkeit zu verlieren.

Technische Zusammenfassung: Ecksteine oder Stolpersteine? Entschlüsselung der Rock-Tokens in der On-Policy-Distillation

1. Problemstellung

On-Policy-Distillation (OPD) hat sich zu einem Eckstein der Nachtrainings-Pipelines für Large Language Models (LLMs) entwickelt und ermöglicht eine Verfeinerung des Token-level-Reasonings, indem ein Schülermodell mit einem überlegenen Lehrermodell abgeglichen wird, wobei Trajektorien aus der eigenen Policy des Schülermodells gesampelt werden. Während neuere Arbeiten im Bereich Reinforcement Learning with Verifiable Rewards (RLVR) identifiziert haben, dass eine kleine Teilmenge kritischer Tokens (z. B. hoch-entropische „forking tokens") Reasoning-Gewinne unverhältnismäßig stark antreibt, bleibt ein analoges Token-level-Verständnis von OPD unerschlossen.

Bei OPD minimiert das Ziel die per-Token-reverse KL-Divergenz zwischen den Policies von Schüler und Lehrer. Intuitiv sollten bei konvergierendem Training Tokens mit hohem Verlust (die eine Diskrepanz zwischen Schüler und Lehrer anzeigen) abnehmen. Empirische Beobachtungen offenbaren jedoch ein Paradoxon: Selbst nachdem das Training eine scheinbare Sättigung erreicht hat, zeigt eine substantielle Teilmenge von Tokens weiterhin persistierend hohen Verlust. Die zentrale Frage, die von dieser Arbeit adressiert wird, lautet, ob diese persistierenden High-Loss-Tokens unverzichtbare „Ecksteine" (Pillars) für die Policy-Alignment sind oder lediglich „Stolpersteine", die unnötige Optimierungsredundanz erzeugen.

2. Methodik

2.1 Definition und Detektion von Rock-Tokens

Die Autoren definieren Rock-Tokens als Token-Typen, die ein persistierendes High-Loss-Verhalten aufweisen, das über ähnliche Kontexte hinweg stabil ist, anstatt isolierte Spitzen in langen Trajektorien zu sein. Der Detektionsprozess umfasst drei Stufen:

Berechnung der aggregierten Belastung: Berechnung eines „Rock-Scores" $R(v)$ für jeden Token-Typ $v$ , definiert als Produkt aus seinem mittleren Token-level-Verlust ( $\bar{\ell}_v$ ) und seiner Häufigkeit ($Freq(v)$) in vom Schüler generierten Trajektorien.
Persistenz-Filterung: Identifikation von Vorkommen, die sowohl vor als auch nach dem OPD-Training einen hohen Verlust aufweisen.
Kontext-Konsistenz-Filterung: Sicherstellung, dass High-Loss-Vorkommen in ähnlichen lokalen Kontexten wiederkehren (unter Verwendung einer Kontextfenster-Ähnlichkeitsmetrik). Dies unterscheidet genuine strukturelle Diskrepanzen von isoliertem Positionsrauschen.

Die finale Metrik, der kontextbewusste Rock-Score $R_{ctx}(v)$ , kombiniert die aggregierte Belastung mit der Kontextkonsistenz. Ein Cut-off $K=100$ wird gewählt, um die Auswahlstabilität (Reproduzierbarkeit) und die Verlustabdeckung (Erfassung von ~60 % der KL-Divergenz auf Korpus-Ebene) auszugleichen.

2.2 Gradientengeometrie und Persistenzanalyse

Um zu adressieren, ob Rock-Tokens nützliche Lernsignale liefern, analysieren die Autoren die Geometrie der per-Token-Gradienten:

Magnitude vs. Häufigkeit: Vergleich der Gradientenmagnitude pro Vorkommen von Rock-Tokens mit seltenen High-KL-Tokens.
Ausrichtung: Messung der kosinusförmigen Ausrichtung der Gradienten von Rock-Tokens mit einer frequenzbalancierten globalen Abstiegrichtung ( $G_{balanced}$ ).
Stagnation: Verfolgung der Änderung der per-Token-KL-Divergenz zwischen frühen und späten Trainings-Checkpoints, um festzustellen, ob der Verlust tatsächlich abnimmt.

2.3 Kausale Intervention: Knockout-Experimente

Um die funktionale Notwendigkeit dieser Tokens zu bestimmen, wenden die Autoren ein Knockout-Verfahren zur Inferenzzeit an. Sie bilden eine Policy $\pi_{\theta}^{\setminus v}$ , indem sie den Logit eines Kandidaten-Tokens $v$ bei jedem Decodierschritt auf $-\infty$ setzen. Der kausale Einfluss wird als Änderung der Benchmark-Genauigkeit ( $\Delta_B(v)$ ) gemessen. Tokens werden kategorisiert als:

Starke Pillare: Entfernung verschlechtert die Genauigkeit signifikant.
Starke Stolpersteine: Entfernung verbessert die Genauigkeit.
Neutral: Entfernung hat einen vernachlässigbaren Effekt.

2.4 Selektive Distillation (Einfrieren der Gradienten)

Um den Einfluss von Rock-Tokens auf den Trainingsprozess zu bewerten, führen die Autoren einen kontextfensterbewussten Token-Neugewichtung ein. Sie frieren die Gradienten von Rock-Tokens und ihren zugehörigen lokalen Hochdivergenz-Fenstern während des OPD-Trainings ein (Setzen des Gewichts $\lambda=0$ ). Diese „Just Not Train"-Strategie ermöglicht es ihnen, zu isolieren, ob diese Tokens essentielle funktionale Anker oder unproduktive Optimierungsbelastungen sind.

3. Wichtige Erkenntnisse

3.1 Identität und Durchdringung

Zusammensetzung: Rock-Tokens sind primär syntaktische und strukturelle Gerüste, einschließlich LaTeX/Mathematik-Delimiter, Markdown/Whitespace-Strukturen, Diskursmarker (z. B. „So", „Wait") und Ziffern. Sie markieren Grenzen im Reasoning, keine inhalts tragenden Wörter.
Verbreitung: Obwohl sie nur etwa 6 % des Vokabulars ausmachen, entfallen auf Rock-Tokens ungefähr 18 % der gesamten Token-Häufigkeit in generierten Ausgaben.

3.2 Das Gradienten-Paradoxon

Ausrichtung: Im Gegensatz zur Annahme, dass sie Rauschen sind, weisen Rock-Tokens eine nicht-triviale positive gerichtete Ausrichtung mit dem globalen Optimierungsziel auf. Sie liefern Gradienten, die in Richtung des korrekten Optimierungspfads zeigen.
Stagnation: Trotz dieser Ausrichtung bleiben Rock-Tokens während des gesamten Trainings stagnierend. Ihre KL-Divergenz nimmt nicht signifikant ab (Median $\Delta KL \approx 0$ ), im Gegensatz zu seltenen High-KL-Tokens, die eine substantielle Reduktion zeigen.
Ursache: Die Autoren hypothesieren, dass adaptive Optimierer (wie Adam) die effektive Lernrate für diese allgegenwärtigen Tokens aufgrund schwerer Klassenungleichgewichte unterdrücken, wodurch der Schüler trotz vorhandener korrekter Richtungssignale in vorbestehenden strukturellen Gewohnheiten gefangen bleibt.

3.4 Kausale Notwendigkeit (Pillare vs. Stolpersteine)

Seltenheit von Pillaren: Nur ein winziger Bruchteil (1,5 %–3,5 %) der Rock-Tokens fungiert als „Starke Pillare", deren Entfernung die Reasoning-Leistung verschlechtert.
Fehlen von Stolpersteinen: Es wurden keine „Starken Stolpersteine" gefunden; das Entfernen von Rock-Tokens verbesserte die Leistung niemals.
Orthogonalität: Die kausale Bedeutung eines Tokens (Pillarhood) ist orthogonal zu Standardmetriken wie Entropie, Häufigkeit oder residueller KL. Bestehende Taxonomien der Wichtigkeit können nicht vorhersagen, welche Tokens kausal notwendig sind.
Pufferzone: Das Schülermodell scheint eine „Pufferzone" persistenter Residuen aufrechtzuerhalten, um ein paar kritische semantische Anker zu schützen, anstatt sich auf die gesamte High-Loss-Menge zu verlassen.

3.4 Trainingseffizienz

Selektives Einfrieren: Durch das Einfrieren der Gradienten von Rock-Tokens (und ihrer lokalen Fenster) während des Trainings erreichten die Autoren eine 1,4- bis 1,7-fache Steigerung der Trainings-Wandzeit-Geschwindigkeit.
Leistungsimpact: Diese Beschleunigung führte zu einem vernachlässigbaren Verlust in der nachgelagerten Reasoning-Leistung (gemessen an den Benchmarks AIME, HMMT und MATH). Dies legt nahe, dass ein erheblicher Teil der für Rock-Tokens aufgewendeten Optimierungsbandbreite redundant ist.

4. Bedeutung und Behauptungen

Die Arbeit stellt das konventionelle Wissen in Frage, dass das Abgleichen jedes High-Loss-Tokens für das Lernen in der On-Policy-Distillation unverzichtbar ist. Die Autoren behaupten:

Identifikation einer versteckten Dynamik: Sie identifizieren „Rock-Tokens" als ein persistierendes High-Loss-Phänomen, das einen verborgenen Aspekt der OPD-Optimierungsdynamik aufdeckt, der sich von den in RLVR beobachteten „forking tokens" unterscheidet.
Ineffizienz in aktuellen Pipelines: Ein substantieller Teil der Trainingssignale in OPD liefert signifikant geringere Beiträge zur ultimativen Reasoning-Leistung des Modells als erwartet.
Effizienz-Leistungs-Frontier: Die Arbeit zeigt, dass das strategische Umgehen dieser „Stolpersteine" (via Gradienteneinfrieren) den Abgleichprozess erheblich straffen kann. Dies bietet ein effizienteres Paradigma für die großskalige Modell-Distillation, ohne die Reasoning-Integrität zu beeinträchtigen.

Die Arbeit schließt, dass Rock-Tokens zwar nicht vollständig entbehrlich sind (da eine kleine Teilmenge als notwendige Pillare fungiert), eine nicht-uniforme Gradientenzuweisung jedoch Rechenredundanz effektiv umgehen und die Effizienz-Leistungs-Frontier in der On-Policy-Alignment optimieren kann.

5. Einschränkungen

Die Autoren stellen fest, dass ihre empirischen Evaluierungen überwiegend auf kompetitivem mathematischem Reasoning basieren und die Rolle von Rock-Tokens in offen-ended Generation oder Coding-Aufgaben unterschiedlich sein könnte. Darüber hinaus nutzt die Studie ein spezifisches 30B-zu-4B-Distillation-Paar, wodurch die Generalisierbarkeit über verschiedene Architekturfamilien oder Skalen hinweg eine offene Frage bleibt. Schließlich setzt die Minderungsstrategie eine strikte binäre Gradient-Freeze-Maske ein, die die Autoren vorschlagen, in zukünftigen Arbeiten mit dynamischen Neugewichtungsschemata verfeinert werden könnte.