🤖 machine learning

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Diese Arbeit stellt die Annahme infrage, dass On-Policy Self-Distillation ein überlegener Ansatz für kontinuierliches Post-Training ist, und zeigt durch SDPO-Experimente auf, dass diese zwar die In-Domain-Spezialisierung beschleunigt, aber im Vergleich zu On-Policy Reinforcement Learning Methoden aufgrund von erhöhtem Parameterdrift und verstärkten Formatierungsartefakten häufiger zu Vergessen und Modellkollaps führt.

Ursprüngliche Autoren: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Veröffentlicht 2026-07-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Warum „Mehr“ nicht immer „Besser“ ist

Stellen Sie sich vor, Sie bringen einem Schüler (einem Large Language Model) im Laufe der Zeit neue Fähigkeiten bei. Sie möchten, dass er Mathe, dann Naturwissenschaften und dann Programmieren lernt, ohne zu vergessen, wie man die vorherigen Fächer beherrscht.

Vor kuragen wurde eine populäre Methode namens Selbst-Distillation zum „Goldenen Ticket“. Die Idee war simpel: Lassen Sie den Schüler eine Antwort generieren und lassen Sie denselben Schüler (als Lehrer fungierend) jedes einzelne Wort dieser Antwort in Echtzeit bewerten. Da der Lehrer Feedback zu jedem einzelnen Wort gibt (dichte Supervision/Dense Supervision), schien es, als würde der Schüler super schnell lernen und niemals alte Lektionen vergessen.

Dieses Paper sagt: „Moment mal. So funktioniert das nicht.“

Die Autoren fanden heraus, dass diese „Wort-für-Wort“-Unterrichtsmethode zwar großartig ist, um ein spezifisches Thema schnell zu meistern, aber eigentlich gefährlich ist, wenn man versucht, dem Modell nacheinander viele verschiedene Dinge beizubringen. Sie führt oft dazu, dass das Modell alles vergisst, was es zuvor gelernt hat, und manchmal sogar komplett zusammenbricht.

Der Kernkonflikt: Der „Frenzy“ vs. die „ruhige Hand“

Das Paper vergleicht zwei Lehrstile:

Der „Wort-für-Wort“-Tutor (SDPO): Dies ist die Selbst-Distillationsmethode. Der Lehrer sieht sich den Entwurf des Schülers an und korrigiert jedes einzelne Wort sofort.
- Die Analogie: Stellen Sie sich einen Trainer vor, der neben einem Sprinter herläuft und bei jedem Schritt ruft: „Bewege deinen linken Fuß! Nein, schneller! Beuge dein Knie! Achte auf deinen Arm!“
- Das Ergebnis: Der Sprinter wird sehr schnell darin, genau diese eine Strecke im Hier und Jetzt zu laufen. Aber wenn der Trainer alle paar Sekunden seine Meinung über die Technik ändert oder wenn der Trainer beginnt, die Fehler des Sprinters nachzuahmen, wird der Sprinter verwirrt, verliert das Gleichgewicht und vergisst schließlich ganz, wie man läuft.
Der „Zielgeraden“-Coach (GRPO): Dies ist die traditionelle Reinforcement Learning Methode. Der Schüler läuft das ganze Rennen, und der Coach gibt erst ganz am Ende eine Note (z. B. „Gut gemacht, du bist in 10 Sekunden ins Ziel gekommen“).
- Die Analogie: Der Coach lässt den Läufer sein eigenes Rennen laufen. Er greift nicht bei jedem Schritt ein. Er gibt nur Feedback zum Endergebnis.
- Das Ergebnis: Der Läufer lernt etwas langsamer, entwickelt aber einen stabilen, natürlichen Stil. Wenn er zu einer neuen Strecke wechselt (ein neues Fach), verliert er nicht das Gleichgewicht. Er erinnert sich daran, wie man läuft.

Erklärungen der Kernergebnisse mit Metaphern

1. Das Problem des „zerbrechlichen Lehrers“

Bei der „Wort-für-Wort“-Methode ist der Lehrer das Modell selbst. Das Paper fand heraus, dass der Lehrer instabil wird, wenn er zu schnell aktualisiert wird (um „frisch“ zu sein).

Die Metapher: Stellen Sie sich einen Lehrer vor, der gleichzeitig auch Schüler ist. Wenn der Lehrer seine Meinung darüber, was die „richtige“ Antwort ist, alle 5 Minuten ändert – basierend auf dem, was der Schüler gerade gesagt hat –, bekommt der Schüler Kopfschmerzen. Er beginnt, die Verwirrung des Lehrers zu kopieren.
Die Lösung: Das Paper fand heraus, dass der Lehrer stabil sein muss. Es ist besser, einen Lehrer zu haben, der eine Weile gleich bleibt und dann nur gelegentlich aufgefrischt wird, anstatt einen, der ständig schwankt.

2. Die „Echokammer“ der Fehler

Wenn das Modell sich selbst Wort für Wort korrigiert, kann es versehentlich schlechte Gewohnheiten verstärken.

Die Metapher: Stellen Sie sich einen Schüler vor, der versehentlich ein seltsames Symbol (wie ein glitschiges Emoji) in seinen Aufsatz schreibt. Der „Wort-für-Wot“-Lehrer sieht es, denkt „Oh, das gehört wohl zum Stil“ und sagt dem Schüler, er solle es wieder schreiben. Der Schüler schreibt es wieder, der Lehrer lobt es wieder, und schon schreibt der Schüler nur noch seltsame Symbole.
Das Ergebnis: Das Modell „kollabiert“. Es hört auf, Fragen zu beantworten, und wiederholt stattdessen immer wieder Formatierungsfehler, weil die Feedbackschleife einen winzigen Fehler zu einer massiven Gewohnheit verstärkt hat.

3. Die „Mittelweg“-Falle (Vergessen)

Das Paper entdeckte ein seltsames Muster in dem, was das Modell vergisst.

Die Metapher: Stellen Sie sich vor, Sie lernen Klavier spielen.
- Wenn Sie ein Lied lernen, das sehr ähnlich zu dem ist, was Sie bereits können, werden Sie in beiden besser.
- Wenn Sie ein Lied lernen, das völlig anders ist (wie der Wechsel von Klavier zu Schlagzeug), bleiben Ihre Klavierkenntnisse sicher, weil sie so verschieden sind.
- Die Gefahr: Wenn Sie ein Lied lernen, das etwas ähnlich ist, aber ein paar andere Regeln hat, gerät Ihr Gehirn in Verwirrung. Sie versuchen, die alten Regeln auf das neue Lied anzuwenden, und vermasseln beides.
Das Ergebnis: Die „Wort-für-Wort“-Methode ist gut bei den „sehr ähnlichen“ Aufgaben, aber schlecht bei den „etwas ähnlichen“ Aufgaben. Sie verursacht, dass das Modell die alten Fähigkeiten vergisst, die zwar nah genug waren, um zu stören, aber nicht nah genug, um zu helfen.

4. Der „Drift“

Das Paper untersuchte das Innere des „Gehirns“ des Modells (seine Parameter), um zu sehen, was sich veränderte.

Die Metapher: Der „Zielgeraden“-Coach (GRPO) nimmt nur kleine, vorsichtige Anpassungen an den Schuhen des Läufers vor. Der „Wort-für-Wort“-Coach (SDPO) baut ständig die Beine des Läufers um und verändert seinen Schritt.
Das Ergebnis: Die „Wort-für-Wort“-Methode lässt das Modell so weit von seinem ursprünglichen Selbst abdriften, dass es die Fähigkeit verliert, neue, unerwartete Situationen zu bewältigen. Es wird zu einem Spezialisten, der nicht mehr über den Tellerrand hinausdenken kann.

Das Fazit

Das Paper kommt zu dem Schluss, dass dichte Supervision (das Korrigieren jedes Wortes) ein zweischneidiges Schwert ist.

Wann es funktioniert: Wenn Sie einen sehr stabilen Lehrer und eine sehr klare Aufgabe haben, hilft es dem Modell, schnell zu spezialisieren.
Wann es scheitert: In einem Szenario des „Kontinuierlichen Lernens“ (einem nach dem anderen lernen) ist es zu aggressiv. Es verstärkt Rauschen, festigt Formatierungsfehler und führt dazu, dass das Modell früheres Wissen vergisst.

Die Lehre daraus: Gehen Sie nicht davon aus, dass das Geben von mehr Feedback (jedes Wort) ein Modell intelligenter oder stabiler macht. Manchmal ist ein langsamerer, stetigerer Ansatz (wie der „Zielgeraden“-Coach) besser für das langfristige Lernen. Das Paper warnt uns davor, Selbst-Distillation als magischen Stabilisator zu betrachten; sie muss sorgfältig kontrolliert werden, um das Modell nicht zu beschädigen.

Technisches Resümee: DENSER ≠ BETTER: LIMITS OF ON-POLICY SELF-DISTILLATION FOR CONTINUAL POST-TRAINING

Problemstellung

Kontinuierliches Post-Training ist essenziell, um Fundamentmodelle zu befähigen, neues Wissen über verschiedene Domänen hinweg zu erwerben, während bestehende Fähigkeiten erhalten bleiben. Während die jüngere Literatur nahelegt, dass On-Policy Reinforcement Fine-Tuning (RFT) katastrophales Vergessen im Vergleich zu Supervised Fine-Tuning (SFT) besser abmildert, hat sich ein neueres Paradigma – die On-Policy Self-Distillation – als vielversprechende Alternative herauskristallisiert. Dieser Ansatz, exemplarisch verkörpert durch Self-Distillation Policy Optimization (SDPO), wandelt modellgenerierte Rollouts in dichte Token-Level-Supervision um, wobei das Modell selbst als Lehrer fungiert, der an privilegierten Kontext (z. B. Lösungen, Feedback oder Demonstrationen) konditioniert ist.

Das zentrale Problem, das in dieser Arbeit adressiert wird, ist die Frage, ob die optimistische Sichtweise auf On-Policy Self-Distillation in Szenarien des kontinuierlichen Lernens Bestand hat. Speziell untersuchen die Autoren, ob SDPO die bei On-Policy RL attestierten Vorteile der Erhaltung von Fähigkeiten übernimmt oder ob die Dichte der Token-Level-Supervision neue Fehlermodi wie Instabilität, Interferenz und Kollaps einführt, wenn diese über sequentielle Aufgaben hinweg angewendet wird.

Methodik

Die Studie verwendet ein vergleichendes experimentelles Framework, welches Self-Distillation Policy Optimization (SDPO) gegen Group Relative Policy Optimization (GRPO) analysiert, eine Methode zur Optimierung von Sequenz-basierten Belohnungen.

Experimenteller Aufbau:
- Modelle: Die Experimente nutzen Modelle der Qwen3-4B und Olmo-3-7B Serien.
- Aufgaben: Das Training erfolgt über vier Domänen: Mathematik (MATH), Naturwissenschaften (SCIENCE), Werkzeugnutzung (TOOLUSE) und Programmierung (CODING).
- Evaluierung: Die Leistung wird anhand von In-Distribution-Benchmarks und Out-of-Distribution (OOD) Aufgaben (z. B. AIME, GPQA, BFCLv4, MMLU-R) gemessen, um Spezialisierung, Retention und Transfer zu bewerten.
- Kontinuierliches Setting: Die Modelle werden sequentiell trainiert (MATH → SCIENCE → TOOLUSE → CODING), um kontinuierliches Post-Training zu simulieren.
Wichtige Variationen:
- Lehrer-Stabilität: Die Autoren variieren die Rate des Exponential Moving Average (EMA) Updates ( $\alpha$ ) des Lehrer-Modells, um den Trade-off zwischen „Frische“ und „temporaler Stabilität“ zu testen. Sie führen eine „Restart-and-Freeze“-Strategie (StableSDPO) ein, um diese Faktoren zu entkoppeln.
- Supervisions-Dichte: Die Studie vergleicht Standard-SDPO mit Varianten, die Chain-of-Thought (CoT) Tokens destillieren, um zu evaluieren, ob dichtere Supervision (Token-Level vs. Sequenz-Level) das Lernen verbessert.
- Diagnostik: Die Autoren analysieren den Parameterdrift mittels Singularwertzerlegung (SVD)-Metriken (spektraler Shift, Hauptwinkel-Rotation, Masken-Überlappung) sowie Verschiebungen der Response-Manifolds über Embedding-Ähnlichkeit. Zudem liefern sie eine theoretische Analyse mittels eines „Excess-KL-Drift“-Frameworks.

Zentrale Beiträge

Die Arbeit leistet vier primäre Beiträge:

Entkopplung von Daten und Zielsetzung: Die Autoren trennen die Quelle der Daten (On-Policy) von der Trainingszielsetzung. Sie zeigen auf, dass On-Policy-Daten zwar vorteilhaft sind, die spezifische Zielsetzung der dichten Self-Distillation jedoch nicht automatisch die konservative Update-Bias von Sequenz-Level-On-Policy-RL erbt.
Fragilität dichter Signale: SDPO erweist sich als mächtige Methode zur Spezialisierung, aber als fragiles Signal für das kontinuierliche Lernen. Seine Wirksamkeit ist hochgradig abhängig von der Stabilität des Lehrers und der Zuverlässigkeit der Tokens. Die Studie zeigt, dass die Destillation von CoT-Tokens und schnelle Lehrer-Updates Rauschen und Formatierungsartefakte verstärken können.
Trade-offs beim kontinuierlichen Lernen: In kontinuierlichen Settings weisen SDPO-Varianten eine signifikant schwächere Retention auf als GRPO. Das Vergessen verläuft nicht uniform; es konzentriert sich auf „Intermediate-Distance“-Aufgaben – Aufgaben, die nah genug sind, um von Updates der Quell-Domäne betroffen zu sein, aber zu weit entfernt, um davon zu profitieren.
Mechanistische Diagnostik: Die Arbeit diagnostiziert die Ursachen des SDPO-Versagens durch:
- Parameter-/Response-Drift: SDPO induziert größere spektrale Shifts und Änderungen der Response-Manifolds als GRPO.
- Artefakt-Amplifikation: Ein „Confirmation Bias“-Loop, bei dem Formatierungsartefakte (z. B. wiederholte Tokens) durch den Lehrer-Schüler-Zyklus verstärkt werden, was zum Modell-Kollaps führt.
- Theoretischer Excess-KL: Ein Beweis, der zeigt, dass die Token-Level-Projektion von SDPO auf einen privilegierten Lehrer einen Excess-KL-Drift im Vergleich zur KL-minimalen Sequenz-Belohnungs-Projektion induziert, was zusätzliches Vergessen vorhersagt.

Ergebnisse

Spezialisierung vs. Retention: SDPO brilliert bei der unmittelbaren Spezialisierung (z. B. signifikante Verbesserung der Math500-Scores nach MATH-Training), versagt jedoch bei der Beibehaltung von Fähigkeiten über Domänenwechsel hinweg. In einer vierstufigen kontinuierlichen Trainingssequenz kollabierte SDPO mit einem schnellen Lehrer ( $\alpha=5\%$ ) auf eine nahezu Null-Performance, während GRPO die Fähigkeiten über alle Domänen hinweg beibehielt und verbesserte.
Lehrer-Stabilität: Es gibt keine global optimale EMA-Rate. Schnelle Updates ( $\alpha=5\%$ ) degradieren die Leistung oft aufgrund temporaler Instabilität. Die „Restart-and-Freeze“-Strategie schneidet signifikant besser ab als kontinuierliches EMA, was darauf hindeutet, dass stabile, periodische Lehrer-Updates entscheidend sind.
CoT-Destillation: Die Destillation von CoT-Tokens verbessert die Leistung bei strukturierten, kurzen Spuren (Tool Use), schadet jedoch der Leistung bei langen, verrauschten Reasoning-Aufgaben (Math, Science), bei denen intermediäre Tokens oft Artefakte oder redundante Selbst-Checks enthalten, die die Credit-Assignment verwässern.
Interferenz bei mittlerer Distanz: Die OOD-Generalisierung folgt einem nicht-monotonen Muster. Aufgaben, die sehr nah an der Trainingsdomäne oder sehr weit entfernt liegen, werden oft bewahrt oder verbessert. Aufgaben in einer mittleren Distanz leiden jedoch am stärksten unter Vergessen, ein Phänomen, das konsistent mit der Interferenz-Theorie in linearen Modellen ist.
Kollaps-Modi: Die Studie identifiziert einen spezifischen Versagensmodus, bei dem das Modell in das wiederholte Ausgeben von Formatierungs-Tokens (z. B. \boxed) kollabiert. Dies wird einem selbstverstärkenden Loop aus hochfrequenten Artefakten in der dichten Self-Distillation zugeschrieben.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass On-Policy Self-Distillation kein Standard-Stabilisator für kontinuierliches Post-Training ist. Während sie ein mächtiges Signal für die schnelle Spezialisierung bietet, sofern die Lehrer-Targets stabil und die Token-Level-Supervision zuverlässig sind, führt sie einen Trade-off ein: Dichtere Supervision stärkt lokale Lernsignale, erhöht aber gleichzeitig die Sensitivität gegenüber Rauschen, Domänen-Mismatch und akkumulierten Artefakten.

Die Autoren argumentieren, dass die Intuition „Dichter ist besser“ im Kontext des kontinuierlichen Lernens fehlerhaft ist. Im Gegensatz zu Sequenz-Level-Methoden wie GRPO, die konservativ adaptieren und vorangegangene Fähigkeiten bewahren, können die aggressiven Token-Level-Updates von SDPO zu katastrophalem Vergessen und Modell-Kollaps führen. Die Arbeit legt nahe, dass die Zukunft der On-Policy Self-Distillation im kontinuierlichen Lernen nicht in der Erhöhung der Signal-Dichte liegt, sondern in der Absicherung des Signals durch Token-Gewichtung, Lehrer-Kontrollen und Daten-Balancierung, um Stabilität und Artefakt-Bewusstsein zu gewährleisten.