🤖 machine learning

RL Fine-Tuning Heals OOD Forgetting in SFT

Dieser Artikel stellt die Annahme in Frage, dass „SFT auswendig lernt und RL generalisiert", indem er durch checkpointweise und spektrale Analysen nachweist, dass SFT häufig ein Vergessen außerhalb der Trainingsverteilung verursacht, das anschließend durch RL wiederhergestellt wird, ein Wiederherstellungsprozess, der mit der Rotation der Singulärvektoren und nicht mit Änderungen der Singulärwerte verknüpft ist.

Ursprüngliche Autoren: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Hangzhan Jin, Sitao Luan, Tianwei Ni, Sicheng Lyu, Guillaume Rabusseau, Reihaneh Rabbany, Doina Precup, Mohammad Hamdaqa

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Zwei-Schritte"-Tanz des KI-Trainings

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber unerfahrenen Schüler (ein Large Language Model), wie er komplexe Rätsel löst. Das Standardrezept, um aus diesem Schüler einen Experten für logisches Schlussfolgern zu machen, umfasst zwei Schritte:

Schritt 1: Supervised Fine-Tuning (SFT) – Sie geben dem Schüler ein Lehrbuch mit Lösungen und sagen: „Lerne diese Muster auswendig und kopiere den Stil."
Schritt 2: Reinforcement Learning (RL) – Sie setzen den Schüler in ein Spiel, bei dem er Punkte für richtige Antworten erhält und Punkte für falsche verliert, und sagen: „Nun finde die Logik selbst heraus, um zu gewinnen."

Lange Zeit glaubte die KI-Community an eine einfache Geschichte: „SFT lässt den Schüler das Lehrbuch auswendig lernen (gut für bekannte Probleme), und RL lässt den Schüler verallgemeinern und kreativ denken (gut für neue Probleme)."

Dieses Papier besagt, dass diese Geschichte unvollständig ist. Die Autoren entdeckten, dass SFT zwar am Anfang großartig ist, aber tatsächlich die Fähigkeit des Schülers, neue Arten von Rätseln zu lösen, beeinträchtigt, wenn man ihn zu lange das Lehrbuch studieren lässt. Dann lehrt RL ihn nicht unbedingt neue Superkräfte; es repariert hauptsächlich nur die Schäden, die SFT verursacht hat.

Die Entdeckung: Der „Gipfel und Absturz"

Die Forscher beobachteten den Fortschritt des Schülers jeden einzelnen Tag während des Trainingsprozesses. Sie fanden ein überraschendes Muster:

Der frühe Sieg: Ganz am Anfang des „Lehrbuchstudiums" (SFT) wird der Schüler wirklich gut darin, neue Arten von Rätseln zu lösen (Out-of-Distribution oder OOD-Aufgaben). Es ist, als würde der Schüler plötzlich die zugrunde liegende Logik der Mathematik verstehen.
Der Absturz: Während der Schüler weiterhin das Lehrbuch studiert, wird er bei den neuen Rätseln schlechter, obwohl er bei den spezifischen Lehrbuchproblemen besser wird. Er wird so besessen vom exakten Format der Lehrbuchantworten, dass er vergisst, wie man die Logik auf leicht unterschiedliche Situationen anwendet.
Die Reparatur: Wenn sie schließlich in die „Spiel"-Phase (RL) wechseln, erholt sich die Leistung des Schülers bei neuen Rätseln wieder.

Die Analogie:
Stellen Sie sich einen Koch vor, der das Kochen lernt.

Frühes SFT: Der Koch lernt die Grundregeln des Geschmacks. Er kann mit beliebigen Zutaten ein großartiges Mahl zubereiten.
Spätes SFT: Der Koch wird gezwungen, ein bestimmtes Rezeptbuch auswendig zu lernen. Er wird fantastisch darin, genau dieses Gericht zuzubereiten, vergisst aber, wie man den Geschmack anpasst, wenn ihm andere Zutaten gegeben werden. Er hat seine allgemeine Kochintuition „vergessen".
RL: Der Koch wird in einen Wettbewerb gesetzt, bei dem er Punkte für leckeres Essen erhält, unabhängig vom Rezept. Dies zwingt ihn, aufzuhören, blind dem Buch zu folgen, und wieder seine Intuition zu nutzen. Er gewinnt seine allgemeinen Kochfähigkeiten zurück, wird aber nicht plötzlich zu einem besseren Koch als zu Beginn seines Trainings.

Die Schlüsselerkenntnis: RL ist ein „Wiederhersteller", kein „Schöpfer"

Das Papier stellt die Idee in Frage, dass RL neue Schlussfolgerungsfähigkeiten aus dem Nichts erschafft. Stattdessen stellten die Autoren fest:

SFT vergisst: Wenn man zu lange auf den spezifischen Daten trainiert, „vergisst" das Modell seine Fähigkeit, seltsame oder neue Situationen zu bewältigen.
RL stellt wieder her: RL wirkt wie ein Pflaster. Es stopft die Löcher, die SFT gerissen hat, und stellt das Modell auf das Leistungsniveau wieder her, das es am Höhepunkt der SFT-Phase hatte.
Die Obergrenze: RL macht das Modell selten besser als diesen frühen Höhepunkt. Es bringt es nur wieder auf das Niveau zurück, auf dem es war, bevor es zu spezialisiert wurde.

Die „Goldlöckchen"-Zone:
Die Forscher fanden heraus, dass RL nur funktioniert, wenn man es zum richtigen Zeitpunkt startet.

Startet man RL zu früh (bevor das Modell die Grundlagen kennt), scheitert es, weil das Modell zu verwirrt ist.
Startet man RL zu spät (nachdem das Modell alles vergessen hat), sind die „Spiel"-Signale zu chaotisch, als dass das Modell daraus lernen könnte.
Es gibt einen spezifischen „Sweet Spot" (eine Reihe von Checkpoints), in dem RL das Vergessen erfolgreich heilen kann.

Der geheime Mechanismus: Der „sich drehende Kompass"

Um zu verstehen, warum dies passiert, betrachteten die Autoren das Gehirn des Modells mit einem mathematischen Werkzeug namens Singulärwertzerlegung (SVD). Stellen Sie sich das Wissen des Modells als einen riesigen Kompass vor, dessen viele Nadeln in verschiedene Richtungen zeigen.

Die Größe der Nadeln (Singulärwerte): Die Forscher stellten fest, dass die Stärke dieser Nadeln (wie viel Wissen gespeichert ist) sich während des Trainings kaum ändert. Sie bleiben stabil.
Die Richtung der Nadeln (Singulärvektoren): Die Richtung, in die die Nadeln zeigen, ändert sich jedoch drastisch.

Die Analogie:
Stellen Sie sich das Wissen des Modells als eine Landkarte vor.

SFT löscht die Karte nicht (die Größe der Daten bleibt gleich), aber es dreht die Karte. Es dreht den Kompass so, dass „Nord" auf die spezifischen Lehrbuchbeispiele zeigt, was es schwierig macht, „Nord" für neue, unterschiedliche Orte zu finden.
RL dreht den Kompass zurück. Es fügt kein neues Land zur Karte hinzu; es richtet den Kompass nur wieder so aus, dass „Nord" wieder auf die allgemeine Logik zeigt, wodurch das Modell in der Lage ist, neues Terrain zu navigieren.

Zusammenfassung für den alltäglichen Leser

Alte Überzeugung: „SFT merkt sich Dinge auswendig, RL verallgemeinert."
Neue Realität: „SFT vergisst (durch Über-Spezialisierung), und RL stellt wieder her (durch Neuausrichtung)."
Die Lehre: Trainieren Sie Ihre KI nicht ewig auf denselben spezifischen Daten weiter. Sie wird ihre Fähigkeit verlieren, flexibel zu denken. Wenn Sie wollen, dass sie klug bei neuen Dingen ist, müssen Sie die Phase des „Auswendiglernens" zum richtigen Zeitpunkt beenden und die „Spiel"-Phase nutzen, um den Fokus zu korrigieren, anstatt zu erwarten, dass das Spiel ihr völlig neue Fähigkeiten von Grund auf beibringt.

Das Papier kommt zu dem Schluss, dass die beste Leistung beim Lösen neuer, kniffliger Probleme oft früh im Trainingsprozess auftritt, und die zweite Phase (RL) hauptsächlich dazu da ist, uns vor den Fehlern zu bewahren, die wir durch zu langes Training in der ersten Phase gemacht haben.

Technische Zusammenfassung: RL Fine-Tuning heilt OOD-Vergessen bei SFT

Problemstellung

Der Standard-Nachtrainings-Pipeline für Large Language Models (LLMs) umfasst typischerweise Supervised Fine-Tuning (SFT), gefolgt von Reinforcement Learning Fine-Tuning (RLFT). Eine vorherrschende Hypothese in diesem Bereich besagt, dass „SFT auswendig lernt, RL verallgemeinert", was darauf hindeutet, dass SFT zu einer Überanpassung an die Trainingsverteilung führt, während RL die Generalisierung für Out-of-Distribution (OOD)-Daten verbessert. Die zugrundeliegenden Dynamiken, wie sich die OOD-Leistung während dieser beiden Phasen entwickelt, bleiben jedoch unklar. Insbesondere ist nicht gut verstanden, ob RL neue Schlussfolgerungsfähigkeiten schafft oder lediglich verlorene wiederherstellt, und der Mechanismus hinter der OOD-Degradation während des SFT ist noch nicht vollständig charakterisiert.

Methodik

Die Autoren führen eine umfassende Analyse der zweistufigen Feinabstimmung auf Checkpoint-Ebene durch, wobei sie zwei Open-Source-Modelle verwenden: LLaMA-3.2-11B-Vision und Qwen-2.5-7B.

Experimentelles Setup:
- Aufgaben: Die Studie nutzt kontrollierte Schlussfolgerungsumgebungen, um In-Distribution (ID) und OOD-Aufteilungen explizit zu definieren: GeneralPoints (arithmetische Schlussfolgerung mit modifizierten Kartenregeln), Navigation (räumliche Schlussfolgerung mit Richtungsverschiebungen) und Rank-Determinant Computation (Lineare Algebra).
- Protokoll: Die Modelle durchlaufen ein vollparametrisches SFT, gefolgt von RL (unter Verwendung von PPO oder GRPO). Entscheidend ist, dass die Autoren nicht nur den finalen SFT-Checkpoint mit dem finalen RL-Checkpoint vergleichen. Stattdessen wenden sie RL ausgehend von verschiedenen intermediären SFT-Checkpoints an, um die Entwicklung der Leistung nachzuverfolgen.
- Evaluation: Die Leistung wird sowohl bei ID- als auch bei OOD-Aufgaben über die gesamte Trainingskurve hinweg verfolgt.
Mechanistische Analyse:
- SVD-Analyse: Die Autoren führen eine Singulärwertzerlegung (SVD) an Schlüssel-Parametermatrizen durch (Self-Attention $W_Q, W_K, W_V$ und MLP-Schichten). Sie führen Ablationsstudien durch, bei denen sie Singulärwerte oder Singulärvektoren aus spezifischen Checkpoints wiederherstellen (z. B. durch Austausch der Singulärvektoren eines späten SFT-Checkpoints mit denen eines frühen „Peak"-Checkpoints), um den Einfluss spektraler Veränderungen auf die Leistung zu isolieren.
- Advantage-Verteilungsanalyse: Sie analysieren die Verteilung der Advantage-Schätzungen während RL-Rollouts, um die Bedingungen zu verstehen, unter denen RL erfolgreich OOD-Leistung wiederherstellt.

Hauptergebnisse

1. Das Phänomen „SFT vergisst, RL stellt wieder her"

Im Gegensatz zur simplen Erzählung „SFT lernt auswendig, RL verallgemeinert" beobachten die Autoren eine nuanciertere Dynamik:

Früher SFT-Peak: Die OOD-Schlussfolgerungsleistung erreicht oft sehr früh im SFT-Prozess ihren Höhepunkt (bezeichnet als $SFT_{MaxOOD}$ ).
OOD-Vergessen: Wenn das SFT über diesen Peak hinaus fortgesetzt wird, verschlechtert sich die OOD-Leistung erheblich, selbst wenn die ID-Leistung (Trainings-/Testverlust) weiter verbessert wird. Dies deutet darauf hin, dass sich das Modell zu stark auf das spezifische Format oder die Regeln der Trainingsdaten spezialisiert und effektiv die für OOD-Aufgaben erforderliche allgemeine Schlussfolgerungsfähigkeit „vergisst".
RL als Wiederhersteller: RL übertrifft die beste OOD-Leistung, die durch frühes SFT erreicht wurde, typischerweise nicht. Stattdessen wirkt RL als Wiederherstellungsmechanismus, der die während der späteren Phasen des SFT verlorene OOD-Fähigkeit wiederherstellt. Diese Wiederherstellung ist nur innerhalb eines begrenzten Bereichs von SFT-Checkpoints effektiv (z. B. dort, wo die ID-Genauigkeit grob zwischen 40 % und 80 % liegt).

2. Mechanismus: Rotation der Singulärvektoren

Die spektrale Analyse zeigt die Ursache dieser Dynamiken auf:

Stabile Singulärwerte: Die Singulärwerte der Parametermatrizen bleiben sowohl während der SFT- als auch der RL-Phasen weitgehend stabil. Die Feinabstimmung verstärkt oder vermindert die Größe dieser Werte nicht signifikant.
Rotierende Singulärvektoren: Die Degradation und Wiederherstellung der OOD-Leistung korrelieren stark mit der Rotation der Singulärvektoren.
- Während der „Vergessens"-Phase des SFT rotieren die Singulärvektoren weg von den Richtungen, die mit OOD-Robustheit verbunden sind.
- Während des RL rotieren die Singulärvektoren zurück und stellen die ursprüngliche Unterraum-Ausrichtung teilweise wieder her.
Evidenz durch Ablation: Die Wiederherstellung der Singulärvektoren eines frühen SFT-Checkpoints (als OOD hoch war) zu einem späten SFT-Checkpoint (als OOD niedrig war) stellt die OOD-Leistung wieder her. Dies bestätigt, dass die Vektorrotation der Haupttreiber des Vergessens ist.

3. Einschränkungen der Advantage-Verteilung

Die Wirksamkeit von RL bei der Wiederherstellung der OOD-Leistung hängt von der Verteilung der Advantage-Signale ab. RL ist am effektivsten, wenn die Advantage-Verteilung ausgeglichen ist (niedrige Schiefe, hohe Entropie und niedrige KL-Divergenz zu einer Normalverteilung). Wenn der SFT-Checkpoint zu weit fortgeschritten ist (Kollaps der Policy-Entropie) oder zu früh ist (fehlende Aufgabenkompetenz), werden die Advantage-Signale verzerrt oder instabil, was eine effektive Wiederherstellung verhindert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, ein präziseres und mechanistisches Verständnis der Nachtrainings-Dynamiken zu liefern:

Verfeinerung des Paradigmas: Sie stellt die binäre Sichtweise von SFT vs. RL in Frage und schlägt vor, dass SFT vergessen kann und RL wiederherstellen kann. Die beste OOD-Leistung findet sich oft in frühen SFT-Checkpoints, nicht unbedingt nach dem RL.
Diagnostischer Wert: Die Studie hebt hervor, dass herkömmliche Methoden zur Überanpassungserkennung (Überwachung des ID-Verlusts) das OOD-Vergessen nicht erfassen, da der ID-Verlust weiter sinken kann, während die OOD-Leistung abfällt.
Algorithmische Implikation: Die Ergebnisse deuten auf eine potenzielle Richtung für Protected SFT hin, bei dem Updates gegen die Top-Rang-Singulärvektor-Richtungen, die mit OOD-Fähigkeiten verbunden sind, orthogonalisiert werden, um deren Rotation und das daraus resultierende Vergessen zu verhindern. Vorläufige Experimente mit diesem Ansatz zeigen vielversprechende Ergebnisse bei der Bewahrung der OOD-Genauigkeit unter Beibehaltung der ID-Leistung.
Generalisierbarkeit: Das Muster des „Vergessens und der Wiederherstellung" wird bei verschiedenen Modellen (LLaMA, Qwen), verschiedenen Schlussfolgerungsaufgaben und verschiedenen RL-Algorithmen (PPO, GRPO, DAPO) beobachtet, was darauf hindeutet, dass es eine fundamentale Eigenschaft des zweistufigen Feinabstimmungsprozesses ist.

Zusammenfassend argumentieren die Autoren, dass RL kein universeller Generator neuer Schlussfolgerungsfähigkeiten ist, sondern vielmehr ein leistungsfähiges Werkzeug zur Abschwächung des durch verlängertes SFT verursachten OOD-Vergessens, vorausgesetzt, es wird von einem Checkpoint mit einer ausgeglichenen Advantage-Verteilung initialisiert.