🤖 machine learning

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL führt ein automatisiertes Mid-Training-Framework ein, das von Menschen geschriebene Lösungen als verborgene Belohnungsgerüste nutzt, um ein dichtes, prozessbasiertes Feedback für LLMs zu generieren und dadurch die Einschränkungen durch spärliche Belohnungen sowie manuelle Spezifikation von Fähigkeiten zu überwinden, um Modelle effektiver auf komplexe Denkaufgaben vorzubereiten.

Ursprüngliche Autoren: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Schüler (dem Basis-LLM) beizubringen, wie man unglaublich schwierige mathematische Rätsel löst.

Das Problem: Die „Alles-oder-Nichts“-Falle

Im Moment besteht die Standardmethode, diesen Schüler zu unterrichten, darin, ihm ein Rätsel zu geben und zu sagen: „Wenn du die endgültige Antwort richtig hast, bekommst du einen goldenen Stern. Wenn du sie falsch hast, bekommst du gar nichts.“

Dies wird als Sparse Reward Reinforcement Learning bezeichnet. Das Problem ist, dass dieser Schüler bei sehr schweren Rätseln selten beim ersten Versuch die endgültige Antwort richtig hat. Da er fast nie den goldenen Stern erhält, weiß er nicht, was er falsch gemacht hat. Hat er mit der richtigen Idee begonnen? Hat er einen kleinen Rechenfehler gemacht? Hat er sich in der Mitte verirrt? Ohne Feedback probiert der Schüler einfach immer wieder zufällige Lösungen aus, in der Hoffnung, durch Zufall auf die richtige Antwort zu stoßen. Ihm fehlt die Coverage – er hat nicht gelernt, genügend verschiedene Wege anzugehen, um eine gute Chance zu haben, das Problem schließlich zu lösen.

Die Lösung: ExpRL (Der „Coach mit dem Spickzettel“)

Die Autoren schlagen eine neue Trainingsmethode vor, die ExpRL (Exploratory Reinforcement Learning). Denken Sie an dies als eine „Mid-Training“-Phase, in der der Schüler vor der Abschlussprüfung einen speziellen Coach bekommt.

So funktioniert ExpRL, erklärt anhand einer einfachen Analogie:

Der Spickzettel (Referenzlösungen): Der Coach besitzt eine perfekte, schrittweise Lösung für das Rätsel (die „Referenzlösung“).
Die geheime Regel: Der Schüler sieht den Spickzettel nicht. Er muss versuchen, das Rätsel aus eigener Kraft zu lösen, genau wie in der realen Welt.
Das Bewertungsschema (Der Richter): Nachdem der Schüler seinen Versuch niedergeschrieben hat, vergleicht der Coach diesen mit der Referenzlösung. Aber anstatt nur „Falsch“ zu sagen, agiert der Coach wie ein strenger, aber hilfreicher Lehrer.
- Hast du mit der richtigen Formel begonnen? (Ja? +1 Punkt).
- Hast du die Gleichung korrekt vereinfacht? (Ja? +1 Punkt).
- Hast du dich in der Mitte verirrt? (Keine Punkte für diesen Teil).
- Hast du die endgültige Antwort falsch berechnet? (In Ordnung, aber du hast trotzdem Punkte für die guten Schritte erhalten, die du zuvor gemacht hast).

Dies ist die Kerninnovation: ExpRL belohnt Teilerfolge. Selbst wenn der Schüler die endgültige Antwort nicht erreicht, erhält er „Dense Rewards“ (viele kleine Punkte) für die korrekten Schritte, die er auf dem Weg dorthin vollzogen hat.

Zwei Arten der Bewertung

Das Paper testet zwei Wege, diese Punkte zu vergeben:

ExpRL-Outcome: Der Coach wartet bis zum Ende des Versuchs des Schülers, um eine Punktzahl basierend darauf zu vergeben, wie nah der gesamte Text zur perfekten Lösung war.
ExpRL-Process: Der Coach unterbricht den Schüler alle paar Sätze, um sofortiges Feedback zu geben. „Gute Arbeit bei diesem ersten Schritt! Aber der nächste Schritt sieht etwas unsicher aus.“ Dies hilft dem Schüler zu lernen, wie man eine Lösung aufbaut, und nicht nur, wie das Endergebnis aussieht.

Die Ergebnisse: Ein besseres Fundament bauen

Nach dieser „Mid-Training“-Phase ist der Schüler viel besser auf die Abschlussprüfung (das echte Sparse-Reward-RL) vorbereitet.

Bessere Coverage: Der Schüler hat gelernt, viele verschiedene Strategien auszuprobieren. Er rät nicht einfach nur; er weiß, wie man ein Problem zerlegt, seine Arbeit überprüft und sich selbst korrigiert.
Stärkerer Start: Wenn der Schüler schließlich die Abschlussprüfung ablegt (bei der er nur einen goldenen Stern für die perfekte Antwort erhält), hat er bereits eine viel höhere Erfolgschance, weil er zuvor den Prozess des Lösens schwieriger Probleme geübt hat.
Den Wettbewerb schlagen: Das Paper zeigt, dass diese Methode besser funktioniert als:
- SFT (Supervised Fine-Tuning): Den Schüler einfach dazu zu zwingen, den Spickzettel auswendig zu lernen (was ihn starr und weniger kreativ macht).
- Standard RL: Nur auf den goldenen Stern zu warten (was zu langsam und frustrierend ist).
- Self-Distillation: Zu versuchen, von den eigenen besten Vermutungen zu lernen (was unzuverlässig sein kann).

Der „Mixed Domain“-Test

Die Forscher haben dies auch an einer Mischung aus Mathematik-, Wissenschafts- und Programmieraufgaben getestet.

Mathematik & Naturwissenschaften: Es funktionierte hervorragend. Der „Spickzettel“ half dem Schüler, die Logik und die Schritte zu verstehen.
Programmierung (Coding): Es half ein wenig, aber nicht so viel. Warum? Weil man beim Programmieren den Code einfach ausführen kann, um zu sehen, ob er funktioniert (ein klares „Bestanden/Nicht bestanden“-Signal). Der „Spickzettel“ ist nicht so notwendig, wenn der Computer selbst anzeigt, ob man recht hat oder nicht.

Das Fazste

ExpRL ist wie eine Übungsprüfung für einen Schüler, bei der er für jeden guten Schritt Teilpunkte erhält, geleitet von einem perfekten Lösungsschlüssel, den er nicht sehen kann. Dies baut ein starkes Fundament an Problemlösungskompetenz auf, was ihn viel wahrscheinlicher erfolgreich macht, wenn er sich der echten, hochkarätigen Prüfung stellt, bei der nur die endgültige Antwort zählt. Es verwandelt das „Alles-oder-Nichts“-Glücksspiel in eine strukturierte Lernreise.

Technisches Resümee: ExpRL: Explorative RL für das LLM-Mid-Training

1. Problemstellung

Reinforcement Learning (RL) hat sich zu einem Standardmechanismus zur Verbesserung des Denkvermögens von Large Language Models (LLMs) entwickelt, insbesondere für Aufgaben mit spärlichen binären Belohnungen (z. B. Korrektheit der Endantwort). Der Erfolg von Sparse-Reward-RL hängt jedoch entscheidend von der Coverage (Abdeckung) des Basismodells ab: der Wahrscheinlichkeitsmasse, die das Modell vor Beginn des Trainings auf produktive Denkpfade verteilt.

Wenn ein Basemodell seltene nützliche Zwischenschritte oder diverse Lösungsstrategien für schwierige Probleme sampelt, liefern spärliche Belohnungen unzureichende Lernsignale. Das Modell läuft Gefahr, über seine ursprünglichen, oft suboptimalen Denkprozesse hinaus nicht zu explorieren. Aktuelle Mid-Training-Strategien zur Bewältigung dieses Problems – wie etwa Supervised Fine-Tuning (SFT) auf kuratierten Pfaden oder Selbst-Distillation – erfordern oft die manuelle Spezifikation von Fähigkeiten oder verlassen sich auf Token-Level-Imitation. Diese Ansätze können die nativen Denkfähigkeiten des Modells stören oder daran scheitern, zu einer breiteren Problemlösungsstrategie zu generalisieren, die für komplexe kombinatorische oder mathematische Aufgaben erforderlich ist.

Die Kernherausforderung besteht darin, das „Priming“ eines Basemodells zu automatisieren, um dessen Coverage über produktive Denkpfade (gemessen an $pass@k$) zu erhöhen, ohne auf Imitation zurückzugreifen, um so eine stärkere Initialisierung für nachfolgendes Sparse-Reward-RL zu schaffen.

2. Methodik: Exploratory RL (ExpRL)

ExpRL ist ein On-Policy-RL-basierter Mid-Training-Ansatz, der Referenzlösungen nicht als Ziele zur Imitation, sondern als Reward Scaffolds (Belohnungsgerüste) nutzt. Die Methode arbeitet mit einem Datensatz schwieriger Probleme $\mathcal{D}_{mid}$ mit den dazugehörigen Referenzlösungen $y^*$ .

Kernprinzip des Designs

Anstatt die Referenzlösungen der Policy als Demonstrationen zu präsentieren (was die Policy zur Imitation verzerren würde), verbirgt ExpRL die Referenzen vor der Policy. Die Policy sampelt Trajektorien $y$ ausschließlich aus dem Problem-Prompt $x$ . Ein LLM-Judge vergleicht anschließend die gesampelte Trajektorie mit der verborgenen Referenz $y^*$ , um dichte Belohnungen (dense rewards) zuzuweisen. Dies nutzt die „Verifikations-Generations-Lücke“ (verification-generation gap) aus, in der LLMs oft besser darin sind, den Fortschritt eines Teilpfades gegen eine Referenz zu verifizieren, als eine korrekte Lösung aus dem Nichts zu generieren.

Belohnungsmechanismen

ExpRL definiert zwei Varianten dichter Belohnungen:

ExpRL-Outcome: Weist der vollständigen Rollout eine dichte, gestufte Punktzahl zu, die auf der Übereinstimmung mit der Referenzlösung basiert. Der Judge evaluiert den gesamten Pfad anhand einer Rubrik und liefert Feedback, selbst wenn die Endantwort falsch ist. Dies belohnt Teilkorrektheit und nützliche Zwischenreduktionen.
ExpRL-Process: Weist dichte Scores an Zwischenpräfixen des Rollouts zu. Um das Credit Assignment zu verbessern, berechnet die Methode segmentweise Advantages $A_t$ . Ein Segment erhält nur dann einen positiven Advantage, wenn es die Übereinstimmung des Judges im Vergleich zum vorherigen Präfix verbessert ( $s_t - s_{t-1}$ ), was die Policy dazu ermutigt, auf Zwischenfortschritten aufzubauen, und Regression bestraft.

Optimierung

Die Policy $\pi_\theta$ wird mittels On-Policy-RL optimiert (GRPO für Outcome-Belohnungen, REINFORCE für Process-Belohnungen) mit einem KL-Regularisierungsterm gegenüber der Basis-Policy $\pi_0$ . Das Ziel ist die Maximierung der erwarteten dichten Belohnung unter Einhaltung eines erreichbaren KL-Raums des Basemodells:
$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$

Downstream-Anwendung

Nach dem Mid-Training dient die geprimte Policy als Initialisierung für eine Standard-Stage-II-Sparse-Reward-RL-Phase auf einem Downstream-Datensatz $\mathcal{D}'$ . In dieser Phase werden alle Referenzinformationen entfernt, und das Modell wird ausschließlich mittels binärer Belohnungen für die Endantwort trainiert.

3. Wichtigste Beiträge

Automatisierte Aufbau der Coverage: ExpRL schlägt eine Methode vor, um die Coverage eines Modells über produktive Denkpfade automatisch zu erweitern, indem Referenzlösungen als Reward Scaffolds statt als Imitationsziele verwendet werden.
Dichte Belohnungsgerüste (Dense Reward Scaffolding): Die Arbeit führt einen Mechanismus ein, um Referenzlösungen via LLM-Judge in dichte, problemspezifische Bewertungsrubriken umzuwandeln, was die Verstärkung von Teilfortschritten und Zwischenreduktionen ermöglicht, die spärliche Belohnungen übersehen.
Prozessgesteuertes Credit Assignment: Durch die Nutzung von präfixbasierten Scoring-Verfahren und segmentweisen Advantages bietet ExpRL granulares Feedback auf die Qualität von Denk-Schritten und fördert Verhaltensweisen wie Dekomposition und Selbstkorrektur.
Empirische Validierung des Primings: Die Arbeit zeigt, dass ExpRL eine überlegene Initialisierung für nachfolgendes Sparse-Reward-RL bietet im Vergleich zu SFT, Sparse-Reward-GRPO und Selbst-Distillations-Baselines.

4. Experimentelle Ergebnisse

Die Experimente wurden auf anspruchsvollen mathematischen Denkaufgaben (AIME, HMMT, IMO-AnswerBench) durchgeführt und auf gemischte Domänen (Wissenschaft, Coding) ausgeweitet.

Downstream-Performance: Modelle, die mit ExpRL initialisiert wurden, erreichten nach der Stage-II-Sparse-RL-Phase höhere $pass@1$- und $pass@k$-Werte auf Held-out-Benchmarks als alle Baselines. Bemerkenswerterweise erreichte ExpRL-Process auf AIME 2026 eine Genauigkeit von 63,41 % und übertraf damit die beste Baseline (GRPO) mit 58,75 %.
Verbesserungen in Stage-I: Selbst vor dem Downstream-RL zeigten ExpRL-geprimte Modelle signifikante Verbesserungen bei $pass@1$ und $pass@16$ auf der Mid-Training-Distribution, was darauf hindeutet, dass die Methode erfolgreich die Menge der lösbaren Probleme erweitert, die das Modell sampeln kann.
Verhaltensänderungen: Analysen der Denkprozesse zeigten, dass ExpRL die Häufigkeit von suchorientierten Verhaltensweisen wie Verifikation, Selbstkorrektur und Backtracking im Vergleich zum Basemodell erhöht. Im Gegensatz dazu neigte SFT dazu, Verifikationsverhalten zu reduzieren.
Mixed-Domain und Judge-Skalierbarkeit:
- ExpRL-Outcome konnte erfolgreich eine größere 8B-Policy mithilfe eines kleineren 4B-Judges über Mathematik-, Wissenschafts- und Coding-Domänen hinweg verbessern, was darauf hindeutet, dass der Judge nicht die gleiche Skala wie die Policy besitzen muss, sofern er referenzkonditioniert ist.
- Einschränkung in Coding: ExpRL zeigte gemischte Ergebnisse bei Coding-Aufgaben (LiveCodeBench). Während es die Basis-Policy verbesserte, blieb die exekutionsbasierte sparse GRPO stärker. Die Autoren führen dies darauf zurück, dass Coding-Belohnungen stark auf funktionaler Korrektheit (Exekution) basieren und weniger auf der durch eine Referenzlösung gestützten Struktur, bei der Teilfortschritte schwerer zu definieren sind.
Zuverlässigkeit der Belohnung: Kalibrierungstests bestätigten, dass das dichte Belohnungssignal von der Anwesenheit einer korrekten, problemangemessenen Referenz abhängt. Das Entfernen der Referenz oder die Verwendung einer falschen Referenz verschlechterte die Fähigkeit des Judges erheblich, zwischen korrekten und inkorrekten Rollouts zu diskriminieren.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass ExpRL den „Explorations-Engpass“ im LLM-RL adressiert, indem es die Last der Exploration in die Mid-Training-Phase verschiebt. Durch die Belohnung von Teilfortschritten und diversen Denkstrategien via referenzgestützter dichter Belohnungen baut ExpRL einen stärkeren „Explorations-Prior“ auf.

Die Autoren argumentieren, dass dieser Ansatz einer imitationsbasierten Mid-Training-Methode (SFT) überlegen ist, da er die Fallstricke des Klonens von Pfaden vermeidet, die das Basemodell nicht natürlich generieren würde, was zu distributional shift und Instabilität führen kann. Stattdessen hält ExpRL die Policy innerhalb ihrer eigenen Distribution und leitet sie gleichzeitig in produktive Regionen des Lösungsraums.

Die Arbeit positioniert ExpRL als allgemeine Priming-Schnittstelle, die mit anderen Explorationsstrategien (z. B. Prefix-Guided Generation) kombiniert werden kann, und legt nahe, dass der Schlüssel zur Skalierung von RL auf schwierigen Problemen darin liegt, sicherzustellen, dass das Basemodell vor der Sparse-Reward-Optimierung über eine ausreichende Coverage über produktive Denkpfade verfügt. Das Paper bleibt bescheiden und merkt an, dass die Methode zusätzliche Referenzdaten erfordert und die Effektivität je nach Domäne variiert (z. B. weniger kritisch für Coding, wo Exekutions-Feedback verfügbar ist).