💬 NLP

Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

Diese Studie zeigt, dass RLVR-Feinabstimmung von Sprachmodellen durch hochgradig spärliche, aber kritische tokenweise Verteilungsverschiebungen wirkt, bei denen nur eine kleine Menge spezifischer Token-Entscheidungen für die signifikanten Verbesserungen in der logischen Schlussfolgerung verantwortlich ist.

Ursprüngliche Autoren: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Die feine Nadel statt des großen Hammers: Wie KI durch winzige Korrekturen brillanter wird

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal etwas chaotischen Schüler (das Grundmodell). Er kann Mathematikaufgaben lösen, aber er macht oft kleine Fehler in der Logik oder verliert den Faden. Um ihn zu verbessern, setzen Sie einen strengen, aber weisen Lehrer ein, der mit Verstärkendem Lernen (RLVR) arbeitet.

Die große Frage der Forscher war bisher: Verändert dieser Lehrer den Schüler komplett? Schreibt er sein ganzes Gehirn um?

Die Antwort dieser neuen Studie ist überraschend: Nein. Der Lehrer benutzt keinen großen Hammer, um das Gehirn des Schülers zu zertrümmern. Stattdessen benutzt er eine feine chirurgische Nadel.

Hier ist die Erklärung der Studie in einfachen Bildern:

1. Das "Sparsamkeits-Prinzip" (Die winzigen Änderungen)

Stellen Sie sich vor, der Schüler schreibt eine lange Geschichte (eine Antwort auf eine Frage). Der Lehrer liest den Text und findet, dass an 98 % der Stellen alles perfekt ist. Der Schüler benutzt die richtigen Wörter, die richtige Grammatik und den richtigen Stil.

Der Lehrer ändert also fast gar nichts. Aber an 2 % der Stellen (ein paar ganz bestimmte Wörter) greift er ein.

Die Analogie: Es ist wie bei einem hochpräzisen Uhrwerk. Wenn die Uhr falsch läuft, müssen Sie nicht alle Zahnräder austauschen. Oft reicht es, ein einziges, winziges Zahnrad an einer ganz bestimmten Stelle zu justieren, damit die ganze Uhr wieder perfekt tickt.
Das Ergebnis: Das RL-Modell (der Schüler nach dem Training) sieht fast genauso aus wie das Grundmodell, aber an diesen wenigen kritischen Punkten sind die Entscheidungen so viel besser, dass die gesamte Antwort jetzt korrekt ist.

2. Der "Tausch-Test" (Was passiert, wenn wir die Wörter tauschen?)

Um zu beweisen, dass diese wenigen Wörter wirklich der Schlüssel sind, haben die Forscher ein spannendes Experiment gemacht:

Experiment A (Der "Rettungsversuch"): Sie nahmen eine Antwort des schwachen Grundmodells und tauschten nur die wenigen kritischen Wörter gegen die Wörter des starken RL-Modells aus.
- Ergebnis: Plötzlich war die Antwort des schwachen Modells so gut wie die des starken! Schon das Tauschen von weniger als 5 % der Wörter reichte aus, um die Leistung zu verdoppeln oder zu verdreifachen.
Experiment B (Der "Sabotage-Versuch"): Sie nahmen eine perfekte Antwort des starken RL-Modells und tauschten die gleichen wenigen Wörter zurück gegen die des schwachen Modells.
- Ergebnis: Die perfekte Antwort brach sofort zusammen. Die Logik war weg, die Antwort wurde falsch.

Die Lehre: Die gesamte Intelligenz des RL-Modells steckt in diesen wenigen, winzigen "Schlüsselwörtern". Wenn man diese wegnimmt, ist die Magie weg.

3. Was genau passiert bei diesen Änderungen?

Die Forscher haben sich genauer angesehen, was der Lehrer bei diesen Änderungen macht.

Kein Erfinden, sondern Umordnen: Der Lehrer erfindet keine völlig neuen, fremden Wörter. Er nimmt Wörter, die der Schüler ohnehin schon kannte und die in der Nähe waren (wie "vielleicht" statt "sicher" oder "deshalb" statt "trotzdem").
Die Analogie: Stellen Sie sich vor, der Schüler hat eine Auswahl an 10 möglichen Wegen, eine Aufgabe zu lösen. Das Grundmodell wählt oft Weg 3, der zwar möglich, aber nicht der beste ist. Der Lehrer sagt: "Nein, nimm Weg 1." Er ändert nicht die Landkarte, er ändert nur die Priorität auf der Landkarte.
Wann passiert das? Meistens am Anfang der Antwort (wo die Richtung festgelegt wird) und am Ende (wo die Antwort zusammengefasst wird). In der Mitte ist der Schüler oft schon sehr sicher und braucht keine Hilfe.

4. Warum ist das wichtig?

Früher dachte man, KI-Training sei wie das Umräumen eines ganzen Hauses. Diese Studie zeigt: Es ist eher wie das Justieren einer einzigen Schraube, damit das ganze Haus stabil steht.

Für die Zukunft: Wenn wir verstehen, dass nur wenige Wörter den Unterschied machen, können wir KI-Modelle effizienter trainieren. Wir müssen nicht alles neu lernen lassen, sondern uns auf diese "kritischen Punkte" konzentrieren.
Für das Verständnis: Es zeigt uns, dass KI nicht immer "magisch" denkt. Sie folgt oft einem klaren Pfad, und wenn wir diesen Pfad an ein oder zwei Stellen korrigieren, wird sie plötzlich zum Genie.

Zusammenfassung in einem Satz:

Das Verstärkende Lernen (RLVR) macht KI nicht dümmer oder komplett neu, sondern es ist wie ein feiner Korrekturstift, der an genau den richtigen, wenigen Stellen im Text nachbessert, um aus einer guten Antwort eine perfekte zu machen.

Titel: Sparse but Critical: Eine Token-Level-Analyse von Verteilungsverschiebungen beim RLVR-Fine-Tuning von LLMs

1. Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR), insbesondere Methoden wie Group Relative Policy Optimization (GRPO) und DAPO, hat die reasoning-Fähigkeiten (Schlussfolgerungsvermögen) von Large Language Models (LLMs) erheblich verbessert. Trotz dieses empirischen Erfolgs bleibt die Frage offen, wie RLVR das Verhalten des Modells auf mechanischer Ebene verändert.
Bisherige Evaluierungen konzentrieren sich meist auf aggregierte Metriken auf Antwortebene (z. B. Genauigkeit, Belohnung, Länge). Es fehlt jedoch ein tiefes Verständnis der Token-Level-Mechanismen:

Wie verändert RLVR die Vorhersageverteilungen (Next-Token-Distributions) des Basis-Modells?
Sind diese Veränderungen global (über den gesamten Text verteilt) oder lokal (auf spezifische Token beschränkt)?
Welche Token-Entscheidungen sind tatsächlich für die Leistungssteigerung verantwortlich?

2. Methodik

Die Autoren führen eine systematische empirische Studie durch, die sich auf drei Hauptanalysen stützt:

Charakterisierung von Verteilungsverschiebungen:
- Vergleich der bedingten Next-Token-Verteilungen ( $\pi_{base}$ vs. $\pi_{RL}$ ) unter identischen Kontexten.
- Verwendung der Jensen-Shannon-Divergenz (JS-Divergenz) als symmetrisches und beschränktes Maß für die Unterschiede zwischen den Verteilungen.
- Analyse von Entropie, Positionalität und der Neuverteilung von Wahrscheinlichkeitsmasse.
Cross-Sampling-Interventionen (Funktionaler Test):
- Um die kausale Rolle der divergenten Token zu testen, führen die Autoren gezielte Eingriffe durch:
  - Forward Cross-Sampling: Generierung primär durch das Basis-Modell, wobei an hoch-divergenten Stellen Token vom RL-Modell eingefügt werden.
  - Reverse Cross-Sampling: Generierung primär durch das RL-Modell, wobei an hoch-divergenten Stellen Token durch das Basis-Modell ersetzt werden.
- Dies erlaubt die Messung, wie viele Token-Änderungen nötig sind, um die RL-Leistung wiederherzustellen oder zu zerstören.
Feinmechanik der Verteilungsverschiebungen:
- Untersuchung, ob RLVR neue Token "erfindet" oder nur bestehende Kandidaten neu priorisiert (Ranking).
- Analyse der Top-k-Überlappung, der Rangverschiebungen und der Wahrscheinlichkeiten von Token mit geringer Basis-Wahrscheinlichkeit.
- Untersuchung der Entwicklung dieser Verschiebungen während des Trainings.
Erweiterung:
- Vergleich mit Supervised Fine-Tuning (SFT).
- Experimente mit divergenz-gewichteten Advantage-Signalen als diagnostisches Werkzeug.

Die Studie verwendet Modelle wie Qwen2.5-32B, Qwen2.5-Math-7B und Mistral-Small-24B sowie Datensätze wie AIME 2024/2025 und GPQA.

3. Wichtige Beiträge und Ergebnisse

A. Extreme Sparsamkeit der Veränderungen (Token-Level Sparsity)

RLVR induziert hochgradig spärliche Änderungen. In den meisten Fällen (oft >80% bis >98% der Token-Positionen) bleibt die Verteilung zwischen Basis- und RL-Modell nahezu identisch (JS-Divergenz nahe Null).
Nur eine kleine Teilmenge von Token-Positionen zeigt signifikante Divergenz. Diese "kritischen" Token tragen überproportional zur Leistungssteigerung bei.
Im Gegensatz dazu führt SFT zu viel dichteren und globaler verteilten Änderungen.

B. Funktionale Bedeutung durch Cross-Sampling

Forward-Experiment: Das Einfügen eines sehr kleinen Bruchteils von RL-Token (z. B. < 4% bei SimpleRL, < 10% bei DAPO) in die Generierung des Basis-Modells reicht aus, um die RL-Leistung (Genauigkeit) fast vollständig wiederherzustellen oder sogar zu übertreffen.
Reverse-Experiment: Das Ersetzen eines ebenso kleinen Bruchteils von RL-Token durch Basis-Token in einer RL-Generierung lässt die Leistung sofort auf das Niveau des Basis-Modells (oder darunter) kollabieren.
Schlussfolgerung: Die Leistungssteigerung hängt nicht von einer globalen Verhaltensänderung ab, sondern von einer kleinen Menge kritischer, hoch-impact Token-Entscheidungen, die den Reasoning-Pfad steuern.

C. Feinmechanik: Neuordnung statt Neuerfindung

Selbst an hoch-divergenten Positionen führt RLVR selten zur Einführung völlig neuer Token.
Stattdessen findet eine Neuverteilung der Wahrscheinlichkeitsmasse innerhalb eines bereits plausiblen Kandidatensatzes statt.
Das RL-Modell priorisiert Token neu, die bereits im Top-k des Basis-Modells vorhanden waren (hohe Top-k-Überlappung).
Token mit sehr geringer Basis-Wahrscheinlichkeit werden selten gefördert, obwohl dies bei explorativeren Methoden (wie DAPO mit "clip-higher") etwas häufiger vorkommt als bei konservativeren Methoden (SimpleRL).

D. Positionale Konzentration und Entropie

Die Divergenzen konzentrieren sich oft am Anfang der Antwort (für strategische Verzweigungsentscheidungen) und am Ende (für Formatierung und Abschluss).
RLVR kann auch Token mit niedriger Entropie (selbstsichere Vorhersagen des Basis-Modells) überschreiben, was zeigt, dass es nicht nur unsichere Bereiche korrigiert.

E. Vergleich mit SFT

SFT zeigt eine deutlich breitere Verteilung von Divergenzen über den gesamten Text und fördert häufiger Token, die im Basis-Modell eine sehr geringe Wahrscheinlichkeit hatten. Dies unterstreicht, dass die beobachtete Sparsamkeit ein spezifisches Merkmal von RLVR und kein generelles Fine-Tuning-Phänomen ist.

F. Divergenz-gewichtete Advantage-Signale

Als explorativer Ansatz wurde untersucht, ob das Gewichten des Lernsignals (Advantage) basierend auf der Token-Divergenz die Leistung verbessert.
Ergebnisse zeigen, dass sowohl das Fokussieren auf hoch-divergente als auch auf niedrig-divergente Token zu Verbesserungen gegenüber dem Baseline führen kann, was darauf hindeutet, dass die Steuerung des Lernsignals auf Token-Ebene vielversprechend ist.

4. Bedeutung und Implikationen

Paradigmenwechsel im Verständnis: RLVR wirkt nicht wie ein "Hammer", der das Modell global umschreibt, sondern wie ein "Skalpell", das gezielt an wenigen kritischen Punkten nachjustiert. Es handelt sich um einen zielgerichteten Verfeinerungsprozess.
Effizienz: Da nur wenige Token entscheidend sind, könnten zukünftige Trainingsmethoden oder Inferenz-Strategien (z. B. spekulatives Decoding) darauf optimiert werden, diese kritischen Punkte zu identifizieren und zu schützen.
Interpretierbarkeit: Die Arbeit bietet einen feingranularen Blick darauf, warum RLVR funktioniert: Es entsperre Reasoning-Pfade, die dem Basis-Modell theoretisch zugänglich waren, aber durch falsche lokale Entscheidungen blockiert wurden.
Zukünftige Forschung: Die Ergebnisse legen nahe, dass zukünftige RL-Objektive und Diagnosewerkzeuge die Struktur der Verteilungsverschiebungen (Sparsamkeit, Entropie-Kontext) explizit berücksichtigen sollten, um effizienteres und kontrollierbares Post-Training zu ermöglichen.

Zusammenfassend zeigt das Paper, dass der Erfolg von RLVR in der Fähigkeit liegt, eine kleine, hoch-impact Menge von Token-Entscheidungen präzise zu steuern, um komplexe Reasoning-Trajektorien zu ermöglichen, ohne das gesamte Sprachmodellverhalten grundlegend zu verändern.