💬 NLP

Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT

Die Arbeit stellt einen RL-basierten Agenten vor, der durch optimiertes Umschreiben von Trainingsdaten die Verteilungsmismatch zwischen Vorwissen und Downstream-Aufgaben reduziert, um das Katastrophen-Vergessen bei der überwachtem Feinabstimmung (SFT) zu minimieren und gleichzeitig die Vielfalt sowie Aufgabenkonsistenz zu erhalten.

Ursprüngliche Autoren: Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

Veröffentlicht 2026-02-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der "Koch", der sein Gedächtnis verliert

Stell dir vor, du hast einen Super-Koch (das ist unser großes KI-Modell). Dieser Koch kann alles kochen: von japanischem Sushi über italienische Pasta bis hin zu vegetarischen Gerichten. Er ist sehr vielseitig und kennt sich mit tausenden Rezepten aus.

Jetzt möchtest du, dass dieser Koch speziell auf "Schäferkuchen" (das ist die neue, spezifische Aufgabe, z. B. Mathe-Aufgaben) trainiert wird. Du gibst ihm also nur Rezepte für Schäferkuchen und lässt ihn üben.

Das Problem: Wenn der Koch zu viel Schäferkuchen übt, vergisst er plötzlich, wie man Sushi macht! Er wird so auf den Kuchen fixiert, dass er andere Fähigkeiten verliert. In der KI-Wissenschaft nennt man das "katastrophales Vergessen".

Warum passiert das? Weil die neuen Schäferkuchen-Rezepte oft ganz anders geschrieben sind als die alten, allgemeinen Kochbücher, aus denen der Koch gelernt hat. Wenn er versucht, die neuen Rezepte zu lernen, gerät er in Panik und verdrängt das Alte.

Die alte Lösung: "Umschreiben mit Schablone"

Bisher haben Forscher versucht, das Problem zu lösen, indem sie die neuen Rezepte vor dem Üben umschreiben.

Die alte Methode: Man nahm ein Rezept und sagte dem Koch: "Schreib das hier bitte in deinen eigenen Worten um, aber benutze immer diesen festen Satzbaustein am Anfang."
Das Problem dabei: Der Koch lernt dann zwar den neuen Inhalt, aber er schreibt alles in einem steifen, roboterhaften Stil, der gar nicht zu seiner natürlichen Art zu kochen passt. Es ist, als würde man ihn zwingen, Sushi mit einer Gabel zu essen, nur weil das neue Rezept es so vorschreibt. Das hilft nicht wirklich, sein Gedächtnis zu schonen.

Die neue Lösung: Der "KI-Redakteur" (Der Rewriting Agent)

Die Autoren dieses Papers haben eine clevere Idee: Statt den Koch zu zwingen, starre Sätze zu benutzen, bauen wir einen intelligenten Redakteur (den Rewriting Agent).

Dieser Redakteur hat drei wichtige Regeln, die er befolgen muss, bevor er ein neues Rezept für den Koch vorbereitet:

Die Aufgabe muss stimmen (Task Consistency): Das Rezept muss am Ende genau den gleichen leckeren Schäferkuchen ergeben wie das Original. Wenn das Rezept falsch ist, wird es sofort verworfen.
Es muss sich natürlich anfühlen (Distributional Alignment): Das ist der wichtigste Punkt! Der Redakteur muss das Rezept so umschreiben, als würde es der Koch selbst geschrieben haben. Es muss klingen wie ein natürlicher Gedanke des Kochs, nicht wie ein fremdes, steifes Skript. So bleibt der Koch in seiner gewohnten "Koch-Stimmung".
Es muss vielfältig sein (Diversity): Der Redakteur darf nicht immer das exakt gleiche Rezept umschreiben. Er muss verschiedene Wege finden, zum Ziel zu kommen, damit der Koch nicht nur einen einzigen, starren Weg lernt (sonst würde er "eintönig" werden).

Wie lernt der Redakteur das? (Belohnung statt Strafe)

Der Redakteur ist wie ein Schüler, der durch Versuch und Irrtum lernt (das nennt man Reinforcement Learning oder Verstärkungslernen).

Er versucht, ein Rezept umzuschreiben.
Ein Prüfer schaut: "Ist das Ergebnis richtig? Klingt es natürlich? Ist es kreativ?"
Wenn ja: Belohnung! (Der Redakteur bekommt Punkte).
Wenn nein: Keine Punkte.

Nach vielen Versuchen lernt der Redakteur genau, wie man Rezepte umschreibt, die der Koch am liebsten mag und die ihm am leichtesten fallen.

Das Ergebnis: Ein glücklicher Koch

Wenn der Koch dann endlich mit diesen perfekt umgeschriebenen Rezepten trainiert:

Lernt er den Schäferkuchen schneller und besser.
Vergisst er aber nicht, wie man Sushi macht!

Zusammenfassung in einem Satz:
Anstatt den KI-Koch zu zwingen, fremde, steife Rezepte zu lernen, bauen wir einen intelligenten Assistenten, der die neuen Aufgaben so umformuliert, dass sie sich für den Koch wie "alte Freunde" anfühlen – dadurch lernt er Neues, ohne das Alte zu vergessen.

Die Forscher haben bewiesen, dass diese Methode funktioniert: Die KIs wurden in Mathe fast so gut wie bei herkömmlichem Training, vergaßen aber viel weniger von ihren allgemeinen Fähigkeiten.

1. Problemstellung

Große Sprachmodelle (LLMs) haben zwar schnelle Fortschritte gemacht, doch ihre Anpassung an spezifische Downstream-Szenarien erfolgt häufig durch Supervised Fine-Tuning (SFT). Ein zentrales Problem hierbei ist das katastrophische Vergessen (Catastrophic Forgetting): Wenn die Downstream-Daten eine signifikante Verteilungsverschiebung (Distribution Shift) gegenüber den ursprünglichen Trainingsdaten des Modells aufweisen, führt das SFT oft dazu, dass das Modell allgemeine Fähigkeiten verliert.

Der Hauptgrund liegt in der off-policy-Natur des SFT: Die Demonstrationen (Expert-Lösungen) haben unter der aktualisierten Policy oft eine sehr geringe Wahrscheinlichkeit (Low Likelihood). Dies führt zu instabilen Gradientenupdates und einer Überanpassung an die Downstream-Verteilung.

Bisherige Ansätze zur Datenkorrektur (Data Rewriting) versuchen, die Trainingsdaten vor dem SFT umzuschreiben, um sie besser an das Modell anzupassen. Diese Methoden leiden jedoch unter zwei wesentlichen Mängeln:

Verteilungs-Mismatch: Die umgeschriebenen Daten werden oft aus einer prompt-induzierten bedingten Verteilung (z. B. π(· | x, y*, xprompt)) gesampelt. Das eigentliche SFT-Training erfolgt jedoch meist unter einer reinen QA-Verteilung (π(· | x)). Die Umformulierung passt also nicht perfekt zur natürlichen Generierungsweise des Modells.
Diversity Collapse: Starre Prompt-Templates führen zu einer Homogenisierung der Ausgaben, was die Vielfalt der Trainingsdaten einschränkt und die Leistung mindert.

2. Methodik

Die Autoren schlagen einen RL-basierten Rewriting-Agenten vor, der das Umschreiben von Daten als Policy-Lernproblem formuliert. Das Ziel ist es, eine Policy zu lernen, die Umschreibungen erzeugt, die sowohl aufgabenkonsistent sind als auch besser zur natürlichen QA-Generierungsverteilung des Basis-Modells passen.

Der Ansatz besteht aus zwei Hauptphasen:

A. RL-Training des Rewriting-Agenten (Stage I)

Architektur: Ein eingefrorenes, instruction-getuntes Basis-Modell ( $\pi_0$ ) dient als Backbone. Der Rewriting-Agent ( $R_\phi$ ) wird als leichtgewichtiges LoRA-Adapter-Modell (Low-Rank Adaptation) darauf trainiert. Dies ermöglicht eine präzise, lokale Korrektur ohne Drift des gesamten Modells.
Optimierung: Es wird Group Relative Policy Optimization (GRPO) verwendet, eine PPO-ähnliche Methode, die keine separate Value-Funktion benötigt.
Unified Objective (Belohnungsfunktion): Die Belohnung setzt sich aus drei Komponenten zusammen, die durch einen harten Gate-Mechanismus gesteuert werden:
1. Task Consistency (Harter Gate): Eine binäre Prüfung (Answer-Correctness + Reasoning-Validity). Nur wenn eine Umschreibung diese Prüfung besteht, werden die anderen Belohnungen berechnet. Dies verhindert, dass falsche Lösungen optimiert werden.
2. Distributional Alignment: Die Umschreibung wird auf ihre Wahrscheinlichkeit unter der reinen QA-Verteilung des Basis-Modells ( $\pi_0(\cdot | x)$ ) geprüft. Eine höhere Likelihood (bessere Generierbarkeit) führt zu einer höheren Belohnung. Dies schließt die Lücke zur natürlichen Generierungsverteilung.
3. Diversity Reward: Um Mode Collapse zu verhindern, wird die semantische Vielfalt innerhalb einer Gruppe von Kandidaten-Umschreibungen für denselben Input maximiert. Dies wird durch Embedding-Distanzen gemessen.

B. Datensatz-Konstruktion und Downstream SFT (Stage II)

Der trainierte Agent generiert Umschreibungen für den Expert-Datensatz.
Ein Generate-Verify-Fallback-Pipeline wird angewendet: Wenn eine Umschreibung die Task-Consistency-Prüfung besteht, wird sie als Trainingsziel verwendet. Scheitert sie, wird auf die originale Expert-Lösung zurückgegriffen (Fallback), um keine Supervision zu verlieren.
Der resultierende, hochwertige Datensatz wird für das finale SFT des Zielmodells verwendet.

3. Schlüsselbeiträge

Erkenntnis zum Verteilungs-Mismatch: Die Autoren identifizieren, dass bestehende Rewriting-Pipelines oft nur an die Prompt-Verteilung angepasst sind, nicht aber an die eigentliche QA-Generierungsverteilung des Modells, was die Wirksamkeit gegen Vergessen begrenzt.
Einheitliches Optimierungsziel: Einführung eines RL-Frameworks, das Aufgabenkonsistenz (als harte Bedingung), Verteilungsalignment und Diversität gleichzeitig optimiert.
Effiziente Implementierung: Nutzung von LoRA auf einem eingefrorenen Backbone, um eine kontrollierte, lokale Anpassung ohne Over-Correction zu ermöglichen.
Robustheit: Der Ansatz funktioniert über verschiedene Modellgrößen (1B bis 7B Parameter) hinweg stabil.

4. Ergebnisse

Die Methode wurde auf mathematischen Reasoning-Datensätzen (NuminaMath, OpenMathReasoning) und verschiedenen Backbones (Llama-3.2-1B/3B, Mistral-7B) evaluiert.

Downstream-Leistung: Der Rewriting-Agent erreicht Verbesserungen im mathematischen Reasoning, die mit dem Standard-SFT vergleichbar oder sogar leicht überlegen sind (z. B. +55,23% Verbesserung bei Mistral-7B vs. +54,19% bei Standard-SFT).
Reduktion des Vergessens: Im Gegensatz zum Standard-SFT, das zu einem starken Abfall der allgemeinen Fähigkeiten führt (z. B. -19,17% bei Mistral-7B auf General-Benchmarks), reduziert die vorgeschlagene Methode diesen Verlust drastisch (nur -7,35%).
Gesamteffizienz: Die Methode verbessert den Trade-off zwischen Gewinn in der Downstream-Aufgabe und Erhalt der allgemeinen Fähigkeiten signifikant.
Training-Stabilität: Die Trainingsverlustkurven zeigen, dass das Modell auf den umgeschriebenen Daten schneller konvergiert und stabilere Plateaus erreicht als bei Standard-SFT oder Template-basiertem Rewriting.

5. Bedeutung und Fazit

Das Paper adressiert ein fundamentales Problem beim Fine-Tuning von LLMs: die Instabilität durch Off-Policy-Daten. Durch die Einführung eines RL-basierten Rewriting-Agenten, der Daten nicht nur umformuliert, sondern aktiv an die natürliche Generierungsverteilung des Modells anpasst, wird das katastrophische Vergessen effektiv gemildert.

Die Bedeutung liegt darin, dass dieser Ansatz eine daten-zentrierte Lösung bietet, die ohne komplexe Architekturänderungen am Fine-Tuning-Prozess selbst auskommt. Stattdessen wird die Qualität der Eingabedaten durch eine lernende Policy optimiert. Dies ermöglicht es, spezialisierte Modelle zu trainieren, die ihre allgemeinen Fähigkeiten bewahren, was für den praktischen Einsatz von LLMs in dynamischen Umgebungen entscheidend ist. Die Methode ist skalierbar und zeigt, dass die Kombination aus RL, harten Constraints und Verteilungsalignment ein vielversprechender Weg für stabiles Continual Learning ist.