🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

Diese Arbeit zeigt, dass die herkömmliche „SFT-dann-RL“-Pipeline herkömmlichen Mixed-Policy-Methoden überlegen ist, da neu entdeckte Softwarefehler in gängigen Frameworks (DeepSpeed und OpenRLHF) die Leistung der Standardmethode in bisherigen Studien fälschlicherweise unterschätzt haben.

Ursprüngliche Autoren: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Veröffentlicht 2026-04-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Rätsel der „überlegenen“ Lernmethode: Warum die Experten sich verguckt haben

Stell dir vor, es gibt zwei Arten, wie man einem Kind (unserem KI-Modell) beibringen kann, extrem schwierige Matheaufgaben zu lösen.

Die klassische Methode (SFT-then-RL): Zuerst gibst du dem Kind ein perfektes Lehrbuch mit allen Lösungen. Das Kind lernt erst einmal auswendig, wie man rechnet (das ist das „SFT“). Wenn es das Prinzip verstanden hat, lässt du es alleine Aufgaben lösen und gibst ihm nur noch ein „Richtig“ oder „Falsch“ als Feedback (das ist das „RL“).
Die neue „Turbo-Methode“ (Mixed-Policy): Hier versuchst du, beides gleichzeitig zu machen. Du lässt das Kind gleichzeitig im Lehrbuch lesen und Aufgaben lösen, um die Zeit zu sparen und die Theorie direkt in der Praxis zu testen.

In der letzten Zeit haben viele Forscher behauptet: „Hey, die Turbo-Methode ist viel besser! Die klassische Methode ist viel zu langsam und macht das Kind nicht so schlau!“

Aber dieser neue Forschungsbericht sagt: „Moment mal! Das stimmt gar nicht. Ihr habt nur verglichen, weil eure Basis-Methode kaputt war!“

Das Problem: Der „kaputte Taschenrechner“ (Die Bugs)

Die Forscher haben herausgefunden, dass die Wissenschaftler, die die Turbo-Methode gepriesen haben, einen riesigen Fehler gemacht haben. Sie haben die klassische Methode mit einem „kaputten Werkzeug“ getestet. Es gab zwei entscheidende Fehler in der Software, die fast alle benutzen:

1. Der „vergessliche Assistent“ (Der Optimizer-Bug)

Stell dir vor, ein Schüler rechnet zehn Aufgaben hintereinander. Er schreibt alle Zwischenschritte auf ein Blatt Papier. Aber der Assistent, der die Notizen am Ende korrigieren soll, ist extrem schlampig: Er schaut sich nur die allererste Aufgabe an und wirft den Rest des Blattes einfach in den Müll.
Das Ergebnis: Der Schüler lernt fast nichts, weil er nur von einer einzigen Aufgabe profitiert. Das ist genau das, was in der Software passiert ist. Die KI hat beim Lernen fast alle Informationen „vergessen“.

2. Der „falsche Notenschnitt“ (Der Loss-Aggregation-Bug)

Stell dir vor, ein Lehrer gibt Noten. In einer Gruppe sind die Aufgaben sehr kurz, in der anderen sehr lang. Der Lehrer macht aber den Fehler, jede Gruppe gleich schwer zu gewichten, egal ob sie 5 oder 500 Wörter umfasst. Das verzerrt das gesamte Verständnis davon, was „gut“ oder „schlecht“ ist. Die KI bekommt also ein völlig falsches Bild von ihrem Fortschritt.

Die Entdeckung: Die klassische Methode ist der wahre Champion

Als die Forscher diese beiden Fehler behoben haben, passierte etwas Erstaunliches: Die „langweilige“ klassische Methode (erst Lehrbuch, dann Übung) hat die „moderne“ Turbo-Methode plötzlich haushoch geschlagen!

Bei einem Modell namens Qwen war die klassische Methode um fast 4 Punkte besser.
Bei einem Modell namens Llama war der Vorsprung sogar gigantisch: über 22 Punkte!

Warum ist das so?
Die Forscher erklären es so: Wenn du das Kind erst einmal mit einem guten Lehrbuch (SFT) auf ein solides Fundament stellst, weiß es schon, wie man den Stift hält. Wenn es dann in die Übungsphase (RL) geht, kann es sofort mit echtem Erfolg arbeiten.

Die „Turbo-Methode“ hingegen versucht, das Kind gleichzeitig das Alphabet beizubringen und es gleichzeitig ein ganzes Buch schreiben zu lassen. Das Kind ist am Anfang so überfordert, dass es nur „Rauschen“ produziert und kaum echte Erfolge feiert. Es verschwendet also massiv viel Energie (Rechenleistung), ohne wirklich schlau zu werden.

Das Fazit in drei Sätzen:

Die Wissenschaft hat sich geirrt: Die neuen, komplizierten Lernmethoden waren nur deshalb „besser“, weil die Standard-Methode durch Software-Fehler künstlich schlecht gemacht wurde.
Einfachheit siegt: Wenn man die Fehler korrigiert, ist der zweistufige Prozess (erst Wissen aufbauen, dann Wissen anwenden) viel effektiver und schneller.
Vorsicht bei Tools: Man kann sich nicht darauf verlassen, dass die Werkzeuge, die man benutzt, perfekt funktionieren – man muss sie immer selbst prüfen!

Zusammenfassung: SFT-then-RL übertrifft Mixed-Policy-Methoden für LLM-Reasoning

1. Problemstellung

In der aktuellen Forschung zum Training von Large Language Models (LLMs) für komplexes logisches Denken (Reasoning) hat sich ein Trend zu sogenannten "Mixed-Policy"-Methoden abgezeichnet. Diese versuchen, Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) zu mischen oder zu verschränken (z. B. durch das gleichzeitige Training auf Experten-Demonstrationen und On-Policy-Rollouts), um die Probleme von reinem RL (spärliche Belohnungen) und reinem SFT (mangelnde Selbstkorrektur) zu lösen.

Die Autoren des vorliegenden Papers stellen die Hypothese auf, dass die behaupteten Vorteile dieser neuen Methoden gegenüber der klassischen zweistufigen Pipeline (erst SFT, dann RL) nicht auf methodischer Überlegenheit beruhen, sondern auf fehlerhaften Baselines. Sie vermuten, dass die SFT-Leistung in den Vergleichsstudien durch Software-Bugs in weit verbreiteten Trainings-Frameworks künstlich gedrückt wurde.

2. Methodik und Identifikation der Bugs

Die Autoren untersuchten die SFT-Implementierungen in populären Frameworks wie DeepSpeed, OpenRLHF, TRL und Llama-Factory. Dabei identifizierten sie zwei kritische, "stille" Bugs, die die SFT-Qualität systematisch verschlechtern:

Der CPU-Offloaded Optimizer Bug (DeepSpeed): Bei der Verwendung von CPU-Offloading (um GPU-Speicher zu sparen) und Gradient Accumulation kopiert der Code die Gradienten nur beim ersten Micro-Batch auf die CPU. Die Gradienten der nachfolgenden Micro-Batches werden zwar auf der GPU akkumuliert, aber nie zur CPU übertragen. Der Optimizer sieht also nur die Gradienten des ersten Micro-Batches, was die Lernfähigkeit massiv einschränkt.
Der Loss Aggregation Bug (OpenRLHF/Llama-Factory): Anstatt den wahren Mittelwert über alle Token eines Batches zu berechnen, wird der Mittelwert der Mittelwerte pro Mini-Batch berechnet. Da Antworten in einem Batch unterschiedlich lang sind, werden Mini-Batches mit wenigen Tokens fälschlicherweise genauso stark gewichtet wie solche mit vielen Tokens. Dies verzerrt das Lernsignal.

Die Autoren korrigierten diese Bugs und implementierten eine saubere SFT-then-RL-Pipeline unter Verwendung des verl-Frameworks als Referenz.

3. Key Contributions (Hauptbeiträge)

Aufdeckung systematischer Fehler: Identifikation und Behebung von zwei schwer zu findenden Bugs in den Standard-Frameworks der KI-Industrie.
Validierung der SFT-then-RL-Pipeline: Nachweis, dass die klassische sequentielle Methode (erst SFT zur Wissensvermittlung, dann RL zur Verfeinerung) den Mixed-Policy-Methoden überlegen ist.
Effizienzbeweis: Zeigen, dass eine stark optimierte SFT-Initialisierung die RL-Phase drastisch verkürzen kann, ohne an Leistung zu verlieren.

4. Ergebnisse

Die Ergebnisse wurden an den Modellen Qwen2.5-Math-7B und Llama-3.1-8B auf mathematischen Benchmarks getestet:

Überlegenheit der Pipeline: Nach der Korrektur der Bugs übertrifft die SFT-then-RL-Pipeline alle veröffentlichten Mixed-Policy-Methoden. Bei Qwen2.5-Math-7B liegt sie um +3,8 Punkte über der besten Mixed-Policy-Methode (SRFT) und bei Llama-3.1-8B sogar um beeindruckende +22,2 Punkte.
Recheneffizienz: Eine stark verkürzte RL-Variante (nur 50 statt 500 Schritte) erzielt immer noch bessere Ergebnisse als Mixed-Policy-Methoden und verbraucht dabei deutlich weniger Rechenleistung (FLOPs).
Training-Dynamik: Die Autoren zeigen, dass SFT das Modell in einen Zustand versetzt, in dem RL sofort "dichte" Belohnungssignale erhält. Mixed-Policy-Methoden hingegen kämpfen in der frühen Phase mit extrem schwachen Signalen, da das Modell noch nicht in der Lage ist, korrekte Lösungen durch Exploration zu finden.

5. Signifikanz der Arbeit

Diese Arbeit hat weitreichende Bedeutung für die KI-Forschung:

Wissenschaftliche Integrität: Sie warnt davor, dass "State-of-the-Art"-Ergebnisse durch fehlerhafte Baselines (Baseline Deflation) verfälscht sein können.
Framework-Validierung: Sie unterstreicht die Notwendigkeit, Ergebnisse über verschiedene, unabhängig implementierte Frameworks hinweg zu validieren (Cross-Framework Validation).
Paradigma-Bestätigung: Sie bestätigt das einfache, sequentielle Paradigma (SFT $\rightarrow$ RL) als hocheffizienten und robusten Standard für das Training von Reasoning-Modellen, anstatt komplexe, hybride Trainingsmethoden zu forcieren.