💻 computer science

Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation

Dieser Artikel schlägt eine Perspektive der Zustandsverteilung für das Nachtrainieren von LLMs vor und zeigt durch kontrollierte Experimente, dass Quelle und Lokalität der Trainingszustände ebenso entscheidend sind wie das Überwachungssignal selbst, was sich darin zeigt, dass on-Policy-Methoden gestresst trainierte Lehrer übertreffen und eine bessere Behaltensleistung erzielen als das standardmäßige überwachte Feinabstimmen.

Ursprüngliche Autoren: Dong Nie

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dong Nie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber unerfahrenen Roboter darin, mathematische Probleme zu lösen. Sie möchten, dass er besser in Mathematik wird, ohne dass er vergisst, wie man die Wahrheit sagt oder allgemeine Wissensfragen beantwortet.

Lange Zeit glaubten Forscher, dass die Art der Lektion (das mathematische Problem selbst) das Wichtigste sei. Diese Arbeit argumentiert, dass dies nur die halbe Wahrheit ist. Das eigentliche Geheimnis liegt wo der Roboter steht, wenn er die Lektion erhält.

Der Autor nennt dies die Sichtweise der „Zustandsverteilung" (State Distribution). Hier ist die einfache Aufschlüsselung mit alltäglichen Analogien:

1. Die drei Wege zu lehren (Das „Wo" ist entscheidend)

Stellen Sie sich den „Zustand" des Roboters als den spezifischen Moment in einem Gespräch vor. Es ist die gestellte Frage plus alles, was der Roboter bisher gesagt hat.

Methode A: Der „Lehrbuch"-Ansatz (SFT)
- Funktionsweise: Sie zeigen dem Roboter ein perfektes Lehrbuch mit Fragen und perfekten Antworten. Sie zwingen ihn, die Antworten für diese spezifischen Fragen auswendig zu lernen.
- Der Haken: Der Roboter lernt nur, zu antworten, wenn die Frage genau wie im Lehrbuch aussieht. Wenn der Roboter mitten in einem Gespräch einen winzigen Fehler macht, gerät er in Verwirrung, weil er nie geübt hat, sich von seinen eigenen Fehlern zu erholen.
- Ergebnis der Arbeit: Wenn Sie sanft vorgehen, lernt der Roboter Mathematik gut und behält alles andere im Gedächtnis. Aber wenn Sie ihn zu sehr drängen (stress SFT), konzentriert er sich so sehr auf das Lehrbuch, dass er vergisst, wie man normal spricht, und wird tatsächlich schlechter in Mathematik, weil er die Unordnung der realen Welt nicht bewältigen kann.
Methode B: Der „Versuch und Irrtum"-Ansatz (RL)
- Funktionsweise: Sie lassen den Roboter frei sprechen. Wenn er ein mathematisches Problem korrekt löst, geben Sie ihm ein High-Five (Belohnung). Wenn er scheitert, tun Sie es nicht.
- Der Haken: Der Roboter erhält Feedback nur zu den spezifischen Sätzen, die er tatsächlich geschrieben hat.
- Ergebnis der Arbeit: Dies ist sehr sicher. Der Roboter lernt, seine eigenen Fehler zu korrigieren, weil die Lektionen auf die exakten Pfade angewendet werden, die er geht. Er wird besser in Mathematik, ohne zu vergessen, wie man die Wahrheit sagt.
Methode C: Der „Mentor am Arbeitsplatz"-Ansatz (OPD)
- Funktionsweise: Dies ist die große Entdeckung der Arbeit. Sie lassen den Roboter seine eigenen Sätze generieren (seinen eigenen „Zustand"). Dann bitten Sie einen „Lehrer" (der möglicherweise ein leicht defekter oder verwirrter Roboter ist), dem Roboter zu zeigen, was der nächste Schritt sein sollte.
- Die Magie: Selbst wenn der Lehrer schlecht in Mathematik ist oder Dinge vergisst, kann der Schüler-Roboter trotzdem lernen. Warum? Weil der Schüler den Lehrer fragt: „Angesichts meines aktuellen Satzes, was sollte ich als Nächstes tun?" Der Schüler kopiert nicht die gesamte Lebensgeschichte des Lehrers; er bittet nur um lokale Ratschläge für den Pfad, auf dem der Schüler tatsächlich wandert.
- Ergebnis der Arbeit: Ein so trainierter Schüler-Roboter kann tatsächlich klüger als sein eigener Lehrer werden, selbst wenn der Lehrer kämpft. Der Schüler vermeidet die schlechten Gewohnheiten des Lehrers, weil er nur Ratschläge zu den Pfaden anhört, die der Schüler tatsächlich geht.

2. Die große Überraschung: „Drift" ist nicht die ganze Geschichte

Normalerweise messen Wissenschaftler, wie sehr sich ein Roboter verändert, indem sie eine einzelne Zahl betrachten: „Wie unterschiedlich ist das neue Verhalten des Roboters im Vergleich zum alten?" (Sie nennen dies „Drift").

Der alte Glaube: Wenn die Zahl hoch ist, hat der Roboter Dinge vergessen.
Die Entdeckung der Arbeit: Diese Zahl ist irreführend.
- In den Experimenten hatten ein „Stress-Lehrbuch"-Roboter und ein „Mentor"-Roboter fast die gleiche Menge an „Drift" (sie sahen gleich unterschiedlich vom Original aus).
- Aber: Der „Stress-Lehrbuch"-Roboter vergaß alles und wurde schlechter in Mathematik. Der „Mentor"-Roboter behielt sein Gedächtnis und wurde besser in Mathematik.
- Warum? Es ging nicht darum, wie weit sie sich bewegten, sondern wohin sie sich bewegten. Der Mentor-Roboter bewegte sich in sicheren, lokalen Richtungen, die er kontrollieren konnte. Der Lehrbuch-Roboter wurde in gefährliches Terrain gedrängt, das er nicht navigieren konnte.

3. Die wichtigste Erkenntnis

Die Arbeit kommt zu dem Schluss, dass wir beim Training von KI nicht nur auf die Lektion (das mathematische Problem oder die Belohnung) schauen sollten. Wir müssen auf den Kontext (den spezifischen Zustand, in dem sich die KI befindet) schauen.

SFT ist wie ein Schüler zu zwingen, ein Skript auswendig zu lernen, das er im echten Leben nie tatsächlich verwenden wird.
RL ist wie ein Trainer, der zusieht, wie der Spieler sein eigenes Spiel spielt, und unterwegs Tipps gibt.
OPD ist wie ein Schüler, der einen leicht verwirrten Mentor um Ratschläge zu den spezifischen Schritten bittet, die der Schüler gerade macht.

Die wichtigste Lektion? Wo Sie das Training anwenden, ist genauso wichtig wie das Training selbst. Ein Schüler kann von einem fehlerhaften Lehrer lernen, wenn er nur Hilfe auf den Pfaden bittet, auf denen er tatsächlich wandert, anstatt zu versuchen, die gesamte Reise des Lehrers zu kopieren.

Technische Zusammenfassung: Post-Training als Formung von Zustandsverteilungen

Problemstellung

Aktuelle Analysen von Post-Training-Methoden für Large Language Models (LLMs) – insbesondere Supervised Fine-Tuning (SFT), Reinforcement Learning (RL) und Distillation – konzentrieren sich primär auf die Optimierungsziele (z. B. Maximum Likelihood, Policy Gradients, KL-Divergenz). Dieser zielorientierte Blickwinkel hat jedoch Schwierigkeiten, mehrere empirische Phänomene zu erklären:

Warum mildes SFT die Leistung mit minimalem Vergessen verbessern kann, während aggressives („Stress")-SFT zu katastrophalem Vergessen und verschlechterter Zielleistung führt.
Warum RL trotz spärlicher oder verrauschter Belohnungen oft stabile Verbesserungen liefert.
Warum ein Schülermodell bei der Distillation manchmal einen degradierten Lehrer übertreffen kann, selbst wenn der Lehrer die einzige Überwachungsquelle ist.

Die Arbeit argumentiert, dass diese Diskrepanzen daher rühren, dass Standardanalysen eine kritische Variationsachse übersehen: die Zustandsverteilung, auf die die Überwachung angewendet wird. Bei autoregressiven Modellen wird ein „Zustand" als Prompt plus generiertes Präfix definiert ( $s_t = (x, y_{<t})$ ). Unterschiedliche Post-Training-Methoden wenden ihre Signale auf grundlegend verschiedene Zustandsverteilungen an (fixe Datenpräfixe vs. vom Lernenden induzierte Rollouts), was das Modellverhalten, die Lokalität und die Retention erheblich beeinflusst.

Methodik

Die Autoren schlagen einen einheitlichen Rahmen vor, der Post-Training als Formung von Zustandsverteilungen betrachtet. Sie zerlegen jede Post-Training-Methode in zwei unterschiedliche Achsen:

Zustandsquelle ( $q_k$ ): Woher die Trainingskontexte (Zustände) stammen.
Signalquelle ( $S$ ): Welche Überwachung (Tokens, Belohnungen, Logits) an diesen Zuständen bereitgestellt wird.

Theoretische Formulierung:

SFT: Off-Policy-Zustandsanpassung. Das Modell minimiert den Token-Verlust auf festen Datenzuständen ( $d_{data}$ ). Dies erzeugt eine Diskrepanz, wenn Datenpfade von den eigenen Rollouts des Modells abweichen, was zu Exposure Bias und potenzieller Instabilität unter Stress führt.
RL: On-Policy-lokale Verbesserung. Das Modell sampelt Trajektorien aus seiner aktuellen Policy ( $d_{\pi_\theta}$ ) und aktualisiert basierend auf Belohnungen. Updates sind natürlicherweise auf Zustände lokalisiert, die das Modell tatsächlich besucht.
On-Policy-Distillation (OPD): Ein Hybrid, bei dem der Schüler Zustände sampelt ( $d_{\pi_S}$ ), der Lehrer jedoch das Signal (Logits oder Fortsetzungen) bereitstellt. Dies entkoppelt die Zustandsquelle von der Signalquelle und ermöglicht dem Schüler, lokale Reparaturen zu erlernen, ohne die globale Trajektorienverteilung des Lehrers zu erben.

Experimentelles Setup:

Modell: Qwen3-0.6B-Base mit LoRA-Adaptern.
Hardware: Einzelne RTX 3090 GPU.
Aufgaben:
- Ziel: GSM8K (mathematisches Schlussfolgern).
- Retention: TruthfulQA und MMLU (zur Messung von katastrophalem Vergessen).
Metriken: Zielgenauigkeit, Retention-Ratio, Vergessen-Magnitude und Zustandsdrift (gemessen via Maximum Mean Discrepancy, MMD, auf lexikalischen Merkmalen von Rollout-Zuständen).

Experimentelle Bedingungen:

Mildes SFT: Standardtraining auf GSM8K.
Stress-SFT: Aggressives Training (5 Epochen, hohe Lernrate, hoher LoRA-Rang), um Degradierung zu induzieren.
OPD: Training eines Schülers unter Verwendung eines degradierten „Stress-SFT"-Lehrers als Signalquelle, jedoch mit Zustandsproben aus der eigenen Policy des Schülers.
On-Policy-RL: Leichtgewichtiges RL unter Verwendung gruppenspezifischer exakter Antwort-Belohnungen auf GSM8K.

Wichtige Ergebnisse

SFT ist kontextabhängig: Mildes SFT verbesserte GSM8K (0,448 $\to$ 0,512) mit vernachlässigbarem Retentionsverlust. Umgekehrt degradierte Stress-SFT sowohl die Zielaufgabe (0,420) als auch die Retention-Aufgaben (TruthfulQA/MMLU sanken signifikant), was zeigt, dass SFT nicht inhärent destruktiv ist, sondern dies unter off-Policy-Druck wird, der mit der natürlichen Zustandsverteilung des Modells in Konflikt gerät.
OPD übertrifft degradierte Lehrer: Ein Schüler, der via OPD unter Verwendung des „Stress-SFT"-Modells als Lehrer trainiert wurde, übertraf den Lehrer in allen Metriken (GSM8K: 0,466 vs. 0,420; MMLU: 0,430 vs. 0,364). Dies bestätigt, dass Schüler die globalen Trajektorienfehler des Lehrers nicht erben, wenn sie auf ihren eigenen Zuständen trainiert werden und nur lokale konditionale Anleitung erhalten.
RL bewahrt Lokalität: Leichtgewichtiges on-Policy-RL verbesserte GSM8K (0,472) bei gleichzeitiger Aufrechterhaltung von Retentionsniveaus nahe dem Basisniveau. Dies stützt die Ansicht, dass RL als lokale Verbesserungsprozedur wirkt, die auf den erreichbaren Zuständen des Lernenden basiert.
Drift-Metriken sind unzureichend: Methoden mit nahezu identischem skalarem Zustandsdrift (MMD) zeigten völlig unterschiedliche Retention-Ergebnisse. Beispielsweise hatten Stress-SFT und OPD vom Stress-Lehrer ähnliche MMD-Werte (~0,0109), aber völlig unterschiedliche Retention-Ratios (0,82 vs. 0,95). Dies zeigt, dass die Quelle und Lokalität der Trainingszustände wichtiger sind als die Magnitude der Verteilungsverschiebung allein.

Beiträge

Einheitlicher Rahmen: Formulierung von SFT, RL und OPD unter einer gemeinsamen „Zustandsverteilungs-Perspektive", die die Zustandsquelle explizit von der Signalquelle trennt.
Kontrollierte empirische Pipeline: Implementierung eines Single-GPU-Experimentaufbaus zur Messung von Zielgenauigkeit, Retention, Vergessen und Rollout-Zustandsdrift, um die Effekte der Zustandsverteilung zu isolieren.
Evidenz für zustandszentrierte Behauptungen: Bereitstellung empirischer Belege dafür, dass:
- OPD die Leistung wiederherstellen und einen degradierten Lehrer übertreffen kann, indem es das Zustands-Sampling von der Signalgenerierung entkoppelt.
- On-Policy-RL die Zielleistung mit minimalem Retentionsverlust verbessert, aufgrund seiner Lokalität.
- Skalare Drift-Metriken (wie MMD) die Post-Training-Dynamik nicht vollständig charakterisieren können, ohne die Zustandsquelle zu berücksichtigen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Post-Training-Verhalten durch die Interaktion zwischen dem Überwachungssignal und der Trainingszustandsverteilung bestimmt wird. Die Autoren argumentieren, dass die „Quelle, Lokalität und Lernenden-Abhängigkeit der Trainingszustände" ebenso kritisch sind wie die Form des Überwachungssignals selbst.

Neuformulierung von SFT: Katastrophales Vergessen ist nicht allein eine Funktion der Maximum-Likelihood, sondern entsteht, wenn dichte off-Policy-Updates das Modell in Regionen drängen, die mit seiner eigenen zukünftigen Zustandsverteilung unvereinbar sind.
Neuformulierung der Distillation: Ein Schüler kann einen Lehrer übertreffen, weil die Fehler des Lehrers oft mit der eigenen Trajektorienverteilung des Lehrers gekoppelt sind. Durch Abfragen des Lehrers auf den Zuständen des Schülers erhält der Schüler nützliche lokale Reparaturen, ohne globale Trajektorienfehler zu erben.
Neuformulierung von RL: Die Stabilität von RL wird teilweise seiner On-Policy-Natur zugeschrieben, die sicherstellt, dass Updates nur auf Zustände angewendet werden, die das Modell tatsächlich erreichen und von denen es sich erholen kann.

Die Arbeit schließt, dass eine zustandszentrierte Sichtweise notwendig ist, um Stabilität und Leistungsumkehrungen zu erklären, die eine Analyse auf Ziel-Ebene allein nicht erfassen kann. Die Autoren betonen, dass diese Erkenntnisse auf einer Kleinstudie basieren und als Evidenz für eine mechanistische Hypothese und nicht als definitive Benchmark-Behauptung zu betrachten sind.