🤖 machine learning

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

Dieses Paper stellt die gängige Praxis infrage, Reinforcement Learning (RL) erst nach dem Supervised Fine-Tuning (SFT) anzuwenden, indem es zeigt, dass die Integration von RL bereits früher im Pre-Training, die Optimierung der Datenzusammensetzung und das Verschmelzen von RL mit SFT-Zielen die Argumentationsfähigkeiten effektiv verbessern und die Modellverteilungen erweitern können, während allgemeine Fähigkeiten erhalten bleiben.

Ursprüngliche Autoren: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen brillanten, aber noch unerfahrenen Schüler (das KI-Modell), um mathematische Probleme zu lösen. Jahrelang war das Standardrezept aus drei Schritten bestehend:

Pre-training (Vortraining): Der Schüler liest Millionen von Büchern, um allgemeine Sprache und Fakten zu lernen.
SFT (Supervised Fine-Tuning/Überwachtes Feintuning): Ein Lehrer gibt dem Schüler ein Lehrbuch mit Aufgaben und deren exakten richtigen Antworten, wodurch der Schüler gezwungen wird, den Lösungsweg auswendig zu lernen.
RL (Reinforcement Learning/Bestärkendes Lernen): Der Schüler wird in ein Spiel gesetzt, bei dem er Punkte nur erhält, wenn er das Endergebnis richtig löst, was ihn dazu ermutigt, selbstständig neue Wege zu finden, um Probleme zu lösen.

Dieses Paper stellt die Frage: Müssen wir wirklich warten, bis der Schüler alle Bücher gelesen und das Lehrbuch auswendig gelernt hat, bevor wir ihn das Spiel spielen lassen?

Hier ist das, was die Forscher herausgefunden haben, einfach erklärt:

1. Man kann das Spiel früher beginnen

Die Standardregel besagt: „Warte, bis der Schüler vollständig trainiert ist, bevor du ihm das Spiel gibst.“ Die Forscher versuchten, dem Schüler das Spiel (RL) zu geben, während er noch seine ersten Kapitel las (früh in der Pre-training-Phase).

Das Ergebnis: Es funktionierte überraschend gut! Selbst als der Schüler erst einen winzigen Bruchteil der Bücher gelesen hatte, half ihm das Spielen des Spiels dabei, mathematische Probleme viel besser zu lösen, als es das bloße Lesen von mehr Büchern getan hätte. Tatsächlich war das frühe Spielen des Spiels oft genauso effektiv wie das Warten bis zum Ende und das Durchlaufen der gesamten „Lesen → Auswendiglernen → Spielen“-Routine.

2. Das „Spiel“ ist besser, wenn man kein Lehrbuch hat

Normalerweise erfordert der Schritt „Auswendiglernen“ (SFT) ein Lehrbuch mit den richtigen Antworten. Aber was, wenn man nicht genug Lehrbücher hat?

Die Erkenntnis: Wenn man nur ein oder zwei Beispiele dafür hat, wie man ein Problem löst, scheitert der Schritt „Auswendiglernen“ (SFT). Aber das „Spiel“ (RL) blüht auf. Der Schüler lernt, zu explorieren und Lösungen auf eigene Faust zu finden, ohne eine perfekte Antwortlösung zu benötigen. Das Spiel ist ein viel stärkerer Lehrer, wenn man nur wenige Beispiele zur Verfügung hat.

3. Die Geheimzutat ist die Art der Bücher, nicht die Größe des Schülers

Die Leute denken oft: „Wenn der Schüler größer (mächtiger) ist, wird er besser lernen.“ Die Forscher testeten dies, indem sie den Schüler größer machten.

Der Clou: Den Schüler größer zu machen, half ihm nicht, das Spiel schneller zu lernen. Ihm jedoch mehr Mathematikbücher speziell während seiner frühen Lesephase zu geben, half sehr wohl.
Die Lektion: Wenn Sie wollen, dass der Schüler gut in Mathematik wird, füttern Sie ihn frühzeitig mit mathematischen Geschichten. Der Inhalt dessen, was er liest, ist wichtiger als die Größe seines Gehirns.

4. Der „Schärfungs“-Mythos vs. „Expansion“

Es gibt eine aktuelle Debatte: Macht das „Spiel“ (RL) die bereits vorhandenen Antworten des Schülers nur schärfer und selbstbewusster, oder lehrt es ihn tatsächlich neue Denkweisen?

Die alte Sichtweise: Viele dachten, RL würde den Schüler nur „schärfen“, ihn also selbstbewusster, aber nicht unbedingt intelligenter machen.
Die neue Entdeckung: Die Forscher fanden heraus, dass der „Schärfungseffekt“ tatsächlich durch den Schritt „Auswendiglernen“ (SFT) entsteht. Wenn man den Schüler zuerst zwingt, ein Lehrbuch auswendig zu lernen, hört er auf zu explorieren.
Die wahre Magie: Wenn man den Schüler das Spiel direkt spielen lässt, ohne zuerst das Lehrbuch auswendig zu lernen, expandiert er tatsächlich sein Denken. Er probiert viele verschiedene Wege aus und entdeckt neue Lösungen, die er vorher noch gar nicht kannte. Der Schritt „Auswendiglernen“ ist das, was seine Kreativität einschränkt, nicht das Spiel selbst.

5. Das „Super-Schüler“-Rezept

Die Forscher kombinierten das Beste aus beiden Welten. Anstatt erst „Auswendiglernen“ und dann „Spielen“ zu machen, ließen sie den Schüler beides gleichzeitig tun.

Wie es funktioniert: Stellen Sie sich vor, der Schüler löst ein Problem. Ein Teil seines Gehirns prüft das Lehrbuch (SFT), und ein anderer Teil experimentiert mit neuen Ideen (RL). Er bildet den Durchschnitt aus den Ratschlägen beider Teile, um sein Gehirn zu aktualisieren.
Das Ergebnis: Dieser „Super-Schüler“ (Parallel Averaging) war am besten darin, Probleme zu lösen. Er erhielt häufiger die richtigen Antworten als alle anderen, und im Gegensatz zu den Schülern, die nur das Lehrbuch auswendig lernten, vergaß er nicht, wie man andere Dinge tut (wie allgemeine Konversation).

Zusammenfassung der wichtigsten Erkenntnisse

Nicht warten: Man kann Reinforcement Learning (das Spiel) sehr früh im Leben eines Modells einsetzen, sogar noch bevor es seine „Lesephase“ abgeschlossen hat.
Daten zählen mehr als Größe: Dem Modell während des Pre-trainings spezifische Arten von Daten (wie Mathematik) zu füttern, ist wichtiger, als das Modell einfach nur größer zu machen.
RL ist nicht der Bösewicht: RL ruiniert nicht die allgemeinen Fähigkeiten eines Modells oder macht es nur „schärfer“. Diese negativen Effekte kommen vom Schritt „Auswendiglernen“ (SFT). RL hilft Modellen tatsächlich dabei, zu explorieren und neue Lösungen zu finden.
Zusammen machen: Die besten Ergebnisse erzielt man, wenn man die Schritte „Auswendiglernen“ und „Spielen“ gleichzeitig durchführt, anstatt sie nacheinander abzuarbeiten.

Kurz gesagt legen die Forscher nahe, dass wir aufhören sollten, Reinforcement Learning als abschließendes Polieren ganz am Ende zu betrachten. Stattdessen sollten wir es viel früher in den Trainingsprozess einweben und es mit anderen Methoden mischen, um intelligentere und fähigere Modelle zu erhalten.

Technisches Resümee: RL-Exkursionen während des Pre-Trainings

Problemstellung

Die standardmäßige Trainingspipeline für Large Language Models (LLMs) beschränkt Reinforcement Learning (RL) typischerweise auf die Post-Training-Phase, die erst nach einem umfangreichen Next-Token-Prediction (NTP) Pre-Training und Supervised Fine-Tuning (SFT) angewendet wird. Dieser sequentielle Ansatz wirft zwei grundlegende Fragen auf:

Zeitpunkt: Ist es fundamental notwendig, bis zum Ende des Pre-Trainings zu warten, um RL anzuwenden, oder kann RL auch früher effektiv sein?
Mechanismus: Schärft RL inhärent die bestehende Output-Verteilung eines Modells (was die Exploration einschränkt), oder erweitert es die Fähigkeiten? Jüngere Literatur deutet darauf hin, dass RL primär Verteilungen schärft, aber es ist unklar, ob dies ein Artefakt der standardmäßigen SFT $\to$ RL-Pipeline ist oder eine Eigenschaft des RL-Ziels selbst.

Darüber hinaus gibt es eine Debatte darüber, ob RL die im Pre-Training erworbenen allgemeinen Fähigkeiten untergräbt.

Methodik

Die Autoren führen eine groß angelegte, kontrollierte Studie durch, um die Effekte von RL vom Standard-Trainingsregime zu isolieren.

Modell & Daten: Sie trainieren ein 1B-Parameter-Modell (basierend auf der OLMo2-Architektur) von Grund auf auf einem hochwertigen, reasoning-lastigen Korpus (DOLMino-Mix, 50B Tokens). Sie experimentieren zudem mit einem 4B-Modell und einem 1B-Modell, das auf 60B Tokens (mit zusätzlichen Mathe-Daten) trainiert wurde.
Checkpoints: Anstatt auf das finale Modell zu warten, speichern sie Checkpoints während des gesamten Pre-Training-Prozesses (von 4B bis 50B Tokens).
Trainings-Pipelines: Für jeden Checkpoint $M_t$ $M_{t}$ wenden sie vier verschiedene Post-Training-Strategien an:
1. Direktes RL ( $M^R_t$ ): Anwendung von RL (speziell GRPO mit verifizierbaren Belohnungen) direkt auf den Basis-Checkpoint ohne vorheriges SFT.
2. SFT ( $M^{SFT}_t$ ): Supervised Fine-Tuning unter Verwendung einer einzelnen Ground-Truth-Lösung pro Problem.
3. SFT-Gold ( $M^{SFT-Gold}_t$ ): SFT unter Verwendung aller verfügbaren Ground-Truth-Lösungen pro Problem (ein Setting, das in der Realität oft unpraktikabel ist).
4. Standard-Pipeline ( $M^{SFT \to RL}_t$ ): SFT gefolgt von RL, was dem aktuellen Industriestandard entspricht.
5. Paralleles Averaging ( $M^{Parallel}_t$ ): Eine vorgeschlagene Methode, bei der Gradienten von RL und SFT parallel aus demselben Parameter-Snapshot berechnet und zur Aktualisierung der Gewichte gemittelt werden.
Evaluierung: Die Leistung wird auf GSM8K (Grundschulniveau) und MATH (Wettbewerbsniveau) mittels Pass@k-Metriken ( $k=1, 8, 32$ ) gemessen. Allgemeine Fähigkeiten werden auf sechs Nicht-Mathe-Benchmarks (z. B. LAMBADA, HellaSwag) evaluiert.

Zentrale Beiträge & Ergebnisse

1. RL ist früh im Pre-Training effektiv

Entgegen der Annahme, dass RL ein hochfähiges Basismodell erfordert, stellen die Autoren fest, dass RL überraschend früh effektiv ist.

Frühe Gewinne: Direktes RL verbessert die Leistung auf GSM8K bereits ab nur 4B Pre-Training-Tokens, weit vor der Chinchilla-optimalen Token-Anzahl.
Wettbewerbsfähigkeit: Bei 10B Tokens erreicht direktes RL die Leistung der Standard-SFT $\to$ RL-Pipeline bei pass@1 und pass@32, obwohl es nie Ground-Truth-Reasoning-Traces gesehen hat.
Datenknappheit: Wenn Ground-Truth-Demonstrationen knapp sind (einzelne Lösung pro Prompt), übertrifft RL SFT signifikant. SFT übertrifft RL nur dann, wenn mehrere hochwertige Lösungen bereitgestellt werden (SFT-Gold) – eine Bedingung, die in der Praxis selten erfüllt ist.

2. Zusammensetzung der Pre-Training-Daten > Modellskalierung

Für schwierigere Reasoning-Aufgaben (MATH-Datensatz) hängt die Effektivität von RL stärker von der Zusammensetzung der Pre-Training-Daten als von der Modellskalierung ab.

Skalierung der Daten: Das Hinzufügen gezielter, mathematik-lastiger Daten zur Pre-Training-Mischung (Erhöhung von 50B auf 60B Tokens) steigert die durch direktes RL erzielbaren Gewinne signifikant.
Skalierung des Modells: Die Erhöhung der Modellgröße von 1B auf 4B verbessert die absolute Leistung des Basismodells, führt aber nicht zu einer wesentlichen Verbesserung des relativen Gewinns durch RL.
Diagnostik: Die pass@k-Genauigkeit des Basismodells auf dem Testset dient als leichtgewichtiger Prädiktor dafür, ob ein RL-Training nachgeschaltete Gewinne liefern wird.

3. RL erweitert vs. schärft Verteilungen

Das Paper stellt die Behauptung in Frage, dass RL inhärent Verteilungen schärft.

Erweiterung: Wenn es direkt auf Basis-Checkpoints angewendet wird, erweitert RL die Verteilung des Modells und verbessert sowohl pass@1 als auch pass@32. Das Modell entdeckt neue Reasoning-Pfade durch On-Policy-Learning.
Schärfungs-Artefakt: Der Effekt der „Schärfung“ (verbessertes pass@1 bei gleichzeitig degradiertem pass@32), der in jüngeren Arbeiten beobachtet wurde, tritt nur auf, wenn RL auf SFT folgt. Die Autoren hypothetisieren, dass SFT die Exploration einschränkt, indem es das Modell Ground-Truth-Lösungen aussetzt, was dazu führt, dass das anschließende RL lediglich bestehende Pfade verfeinert, anstatt neue zu entdecken.

4. Erhalt allgemeiner Fähigkeiten

SFT-Degradierung: SFT verschlechtert die allgemeinen (Nicht-Mathe) Fähigkeiten konsistent um 4–8 Prozentpunkte über verschiedene Benchmarks hinweg.
RL-Erhalt: Direktes RL lässt die allgemeinen Fähigkeiten im Wesentlichen unverändert.
Paralleles Averaging: Die vorgeschlagene Methode des parallelen Averaging ( $M^{Parallel}_t$ ) kombiniert die Stärken beider: Sie erzielt die stärksten pass@32-Scores (übertrifft die Standard-Pipeline) bei gleichzeitigem Erhalt der allgemeinen Fähigkeiten und vermeidet die Regression, die in SFT-basierten Regimen auftritt.

Bedeutung

Das Paper argumentiert, dass viele Annahmen über RL (z. B. dass es ein reifes Basismodell erfordert, dass es inhärent Verteilungen schärft oder dass es die allgemeine Intelligenz untergräbt) Artefakte des aktuellen SFT $\to$ RL-Trainingsregimes sind und keine inhärenten Eigenschaften des RL-Ziels darstellen.

Die Autoren kommen zu dem Schluss:

Machbarkeit: Die Einführung von RL früher im Trainingsprozess ist machbar und oft vorzuziehen.
Daten-Hebel: Die Zusammensetzung der gezielten Pre-Training-Daten ist ein stärkerer Hebel für die RL-Effektivität als die Modellskalierung.
Ziel-Synergie: RL- und SFT-Ziele sind komplementär. Der Ansatz des parallelen Averaging zeigt, dass die Kombination beider zu überlegenen Reasoning-Fähigkeiten (pass@32) führen kann, ohne die allgemeine Intelligenz zu opfern.

Die Arbeit legt einen Paradigmenwechsel nahe, bei dem RL als ein primäres Trainingsziel behandelt wird, das in den Pre-Training- und Fine-Tuning-Prozess integriert ist, anstatt nur als finaler Post-Training-Schritt.