💬 NLP

Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes

PrefixRL adressiert die Ineffizienz von Reinforcement Learning bei schwierigen Denkaufgaben, indem es auf Off-Policy-Präfixen erfolgreicher Spuren konditioniert, um das Training zu stabilisieren und die Stichproben-Effizienz zu steigern, wodurch eine schnellere Konvergenz sowie eine überlegene Leistung im Vergleich zu Standard-Baselines erreicht wird, während gleichzeitig durch Rejection Sampling eine Selbstverbesserungsschleife ermöglicht wird.

Ursprüngliche Autoren: Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amrith Setlur, Zijian Wang, Andrew Cohen, Paria Rashidinejad, Sang Michael Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (einem KI-Modell) beizubringen, wie man unglaublich schwierige mathematische Probleme löst. Der Schüler ist klug, aber wenn er mit einer wirklich schweren Frage konfrontiert wird, rät er meistens nur und liegt falsch. Tatsächlich liegt er so oft falsch, dass er aufhört zu lernen, weil er nie eine „richtige“ Antwort zum Studieren erhält. Dies ist das Problem, das die Arbeit adressiert: Reinforcement Learning (RL) bei schwierigen Problemen stagniert oft, weil die KI niemals einen gewinnbringenden Zug sieht.

Die Autoren schlagen eine clevere neue Methode namens PrefixRL vor. So funktioniert sie, unter Verwendung einfacher Analogien:

1. Das Problem: Das Szenario „Gefangen in der Dunkelheit“

Stellen Sie sich vor, der Schüler befindet sich in einem dunklen Labyrinth und versucht, den Ausgang zu finden. Jedes Mal, wenn er einen Schritt macht, stößt er gegen eine Wand und erhält ein Signal von „0 Punkten“. Er läuft immer wieder im Kreis und verschwendet dabei Energie (Rechenleistung), findet aber nie den Weg zum Ausgang. Da er den Ausgang nie sieht, weiß er nicht, in welche Richtung er gehen soll, und sein Lernen kommt zum Stillstand.

In der Welt der KI passiert dies, wenn das Modell versucht, ein schwieriges Problem zu lösen, und von sich aus fast nie eine korrekte Antwort generiert. Die „Belohnung“ (das Signal, das sagt: „Du hast es geschafft!“) ist so selten, dass die KI stecken bleibt.

2. Der alte Weg: „Einfach die Antwort auswendig lernen“

Früher, wenn Forscher über einige korrekte Antworten aus einem vorherigen Versuch verfügten (Off-Policy-Daten), versuchten sie, den Schüler erst dazu zu bringen, diese Antworten auswendig zu lernen (Supervised Fine-Tuning), bevor sie ihn wieder probieren ließen.

Der Fehler: Dies ist so, als würde man den Schüler zwingen, eine bestimmte Route durch das Labyrinth auswendig zu lernen. Sobald er sie auswendig kennt, hört er auf, zu explorieren. Wenn sich das Labyrinth leicht verändert oder wenn er einen besseren Weg finden muss, ist er festgefahren, weil er seine Neugier und Kreativität verloren hat. Er wird zu starr.

3. Der neue Weg: PrefixRL (Die „Vorsprung-Strategie“)

PrefixRL ändert das Spiel. Anstatt den Schüler die ganze Antwort auswendig lernen zu lassen, gibt man ihm einen Vorsprung.

Die Analogie: Stellen Sie sich vor, der Schüler steckt wieder in dem dunklen Labyrinth fest. Dieses Mal reicht ihm ein Freund, der das Labyrinth bereits gelöst hat, ein Stück Papier, auf dem steht: „Du befindest dich gerade an der Ecke, wo die rote Tür ist. Von hier aus biege links ab.“
Der Schüler muss nicht herausfinden, wie er zur roten Tür kommt; er beginnt einfach ab diesem Punkt.
Entscheidend: Der Schüler ist dennoch selbst dafür verantwortlich, den Rest des Labyrinths auf eigene Faust zu bewältigen. Er kopiert nicht einfach den gesamten Pfad; er nutzt diesen „Vorsprung“, um den Rest der Reise zu üben.

In technischer Sprache nimmt die KI eine korrekte Lösung aus der Vergangenheit, schneidet den Anfangsteil (den „Prefix“) ab und hängt diesen an das Problem an. Die KI versucht dann, den Rest der Lösung zu vervollständigen. Da sie an einem „guten“ Punkt startet, ist es viel wahrscheinlicher, dass sie eine Belohnung erhält (eine korrekte Antwort) und lernt.

4. Der magische Trick: „Back-Generalization“

Die überraschendste Entdeckung in der Arbeit ist etwas, das die Autoren Back-Generalization nennen.

Die Analogie: Stellen Sie sich vor, Sie üben das Autofahren nur auf einem bestimmten, leichten Autobahnstück (dem „prefixed“ Teil). Sie lernen dort perfekt, einzuordnen, zu beschleunigen und zu lenken.
Die Überraschung: Obwohl Sie auf den schwierigen, kurvenreichen Bergstraßen (dem ursprünglichen, unprefixed Problem) niemals geübt haben, machen Ihre Fahrkünste auf der Autobahn Sie irgendwie auch zu einem besseren Fahrer auf den Bergstraßen.
Warum? Die Arbeit legt nahe, dass die KI durch das Üben auf den „Vorsprung-Problemen“ die zugrunde liegende Logik und die Strategien lernt, die nötig sind, um das Problem zu lösen. Sie lernt, wie man denkt, nicht nur, was man denkt. Wenn sie also zum ursprünglichen schwierigen Problem ohne den Vorsprung zurückkehrt, kann sie diese neuen Strategien anwenden und es besser lösen als zuvor.

5. Warum es besser ist (Die Ergebnisse)

Die Autoren testeten dies an sehr schwierigen Mathe- und Programmieraufgaben.

Geschwindigkeit: PrefixRL lernte doppelt so schnell wie die besten bisherigen Methoden. Es verschwendete weniger Rechenleistung, da es nicht ständig in der Dunkelheit herumraten musste.
Qualität: Die fertige KI war bei der Lösung der schwierigen Probleme dreimal besser als die alten Methoden.
Flexibilität: Es funktionierte sogar, wenn der „Vorsprung“ von einer völlig anderen Art von KI kam (z. B. die Nutzung von Hinweisen eines Qwen-Modells, um ein Llama-Modell zu trainieren). Das bedeutet, man benötigt nicht exakt dasselbe KI-Modell, um die Hinweise zu generieren; jede kluge KI kann den „Vorsprung“ liefern.

Zusammenfassung

PrefixRL ist wie ein Hinweis für einen kämpfenden Schüler, der ihn an der schwierigsten Stelle einer Frage vorbeileitet, damit er den Rest der Aufgabe üben kann. Überraschenderweise wird der Schüler durch das Üben mit dem Hinweis so gut in der Logik des Problems, dass er die ursprüngliche Version ohne Hinweis sogar noch besser lösen kann. Es nutzt alte Computerarbeit, um neues Lernen schneller und intelligenter zu machen, ohne die KI dazu zu zwingen, nur Antworten auswendig zu lernen.

Technisches Resümee: Nutzen Sie Ihre FLOPs effizient: Skalierung von RL auf schwierigen Problemen durch Konditionierung auf sehr Off-Policy-Präfixe

1. Problemstellung

Reinforcement Learning (RL) ist zur De-facto-Methode für die Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) geworden, insbesondere in den Bereichen Mathematik und Programmierung. Standardmäßige On-Policy-RL-Methoden stehen jedoch vor einem kritischen Engpass, wenn sie auf schwierige Probleme angewendet werden, bei denen die Erfolgsrate des Basismodells nahe Null liegt (z. B. pass@2k ≈ 0).

In diesem Regime sampelt die RL-Policy selten einen korrekten Reasoning-Pfad. Infolgedessen kommt es zu:

Verschwindenden Lernsignalen: Die Policy-Gradienten-Schätzungen werden Null oder nahe Null, da alle gesampelten Trajektorien eine Belohnung von Null erhalten.
Rechenverschwendung: Das System verbraucht massive Mengen an FLOPs für das Sampling, ohne ein Lernsignal zu erhalten, was das Training zum Stillstand bringt und die Belohnungen stagnieren lässt.
Ineffizienz bestehender Lösungen:
- Supervised Fine-Tuning (SFT) auf Off-Policy-Trajektorien: Dies kann das Modell zwar bootstrappen, führt aber oft zu Entropiekollaps und Auswendiglernen (Memorization), was die anschließende Exploration behindert.
- Direktes Off-Policy RL: Die Verwendung von Off-Policy-Trajektorien mittels Importance Weighting führt zu hochvarianten Gradientenschätzungen und Instabilität.

Die zentrale Herausforderung besteht darin, wie die „verschwendete“ Rechenleistung aus vorherigen Inferenz- oder RL-Läufen (die seltene korrekte Pfade enthalten können) wiederverwenden kann, um die Online-RL-Policy zu leiten, ohne die mit direkter Off-Policy-Supervision verbundenen Instabilitäten einzuführen.

2. Methodik: PrefixRL

Die Autoren schlagen PrefixRL vor, ein Framework, das den On-Policy-RL-Prozess auf Präfixe erfolgreicher Off-Policy-Trajektorien konditioniert, anstatt diese Trajektorien als direkte Supervisionsziele zu verwenden.

Kernmechanismus

Datenerhebung: Ein Datensatz von Off-Policy-Trajektorien ( $D_{off}$ ) wird gesammelt, typischerweise durch groß angelegtes Rejection Sampling auf dem Basismodell, bis für jedes Problem ein korrekter Pfad gefunden wurde.
Problem-Augmentierung: Für jedes ursprüngliche Problem $x$ extrahiert das System ein Präfix (die ersten $h$ Token) aus einer korrekten Off-Policy-Trajektorie $y_x$ . Dieses Präfix wird an den ursprünglichen Problem-Prompt angehängt, um ein präfixiertes Problem zu erstellen: $\text{concat}(x, y_{x, 1:h})$ .
Trainingsziel: Das Modell wird mittels On-Policy-RL auf einer Mischung trainiert aus:
- Originalen (ohne Präfix) Problemen.
- Präfixierten Problemen.
- Entscheidend: Die Gradienten werden auf den Off-Policy-Präfix-Token maskiert. Das Modell wird nur auf den Tokens aktualisiert, die es nach dem Präfix generiert.

Theoretische Garantien

Das Paper liefert theoretische Beweise für das PrefixRL-Ziel:

Konsistenz: Wenn die Off-Policy-Präfixe korrekt und durch eine Policy innerhalb der Modellklasse realisierbar sind, ist jeder Maximierer des PrefixRL-Ziels auch ein Maximierer des Standard-RL-Ziels. Die Methode führt nicht zu einem Bias der optimalen Lösung.
Sampeleffizienz: PrefixRL reduziert die Suboptimalitätslücke im Vergleich zu Standard-RL. Indem die Policy in Zustände mit höherer Belohnung versetzt wird (Zustände, in denen eine korrekte Lösung bereits teilweise geformt ist), wird die Explorationslast reduziert. Theoretische Schranken deuten auf eine Reduktion der benötigten On-Policy-Samples hin, die sich günstig mit der Kontextlänge skaliert.

Schlüsselphänomen: Back-Generalization

Empirisch entdecken die Autoren Back-Generalization: Das Training nur auf präfixierten Problemen steigert die Performance auf den ursprünglichen, unpräfixierten Problemen signifikant, obwohl das Modell während dieser Phase nie explizit auf die unpräfixierten Versionen trainiert wurde.

Mechanismus: Das Modell imitiert nicht einfach das Präfix. Stattdessen lernt es Strategien, die auf den unpräfixierten Zustand generalisieren.
Strategieentdeckung: Das Modell kann suboptimale Strategien, die im Präfix vorhanden sind, „verlernen“ und neue, bessere Strategien entdecken. Es verändert die Next-Token-Distribution auf ungesehenen Zuständen und findet effektiv Wege zurück („backtracking“) von den hochbelohnten Zuständen, die durch das Präfix bereitgestellt werden, um bessere Pfade im unpräfixierten Raum zu finden.
Verwandtschaft: Back-Generalization ist am effektivsten, wenn das Präfix (oder das In-Context-Problem) semantisch mit dem Zielproblem verwandt ist.

3. Zentrale Beiträge

PrefixRL-Framework: Eine neuartige Methode zur Wiederverwendung von Off-Policy FLOPs durch Konditionierung auf korrekte Präfixe, wodurch die Instabilitäten von direktem Off-Policy RL oder SFT-induziertem Entropiekollaps vermieden werden.
Theoretische Analyse: Beweis, dass PrefixRL konsistent mit Standard-RL-Zielen ist und nachweisbare Gewinne bei der Sampeleffizienz bietet, indem es die Explorationslast reduziert.
Entdeckung der Back-Generalization: Identifizierung eines Phänomens, bei dem das Training auf augmentierten (präfixierten) Problemen die Performance auf unpräfixierten Aufgaben verbessert und oft die Standard-Generalisierung über verwandte Aufgaben hinaus übertrifft.
Self-Improvement-Loop: Demonstration einer praktischen Pipeline, in der Off-Policy-Trajektorien via Rejection Sampling aus dem Basismodell selbst generiert werden, was einen selbstverbessernden Zyklus ohne externe Lehrer-Modelle schafft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PrefixRL auf schwierigen mathematischen Reasoning-Benchmarks (DAPO, OMNI-MATH, AIME '25, HMMT '25) unter Verwendung von Llama-3.1-8B und Qwen-3-4B Modellen.

Recheneffizienz: PrefixRL erreicht die gleiche Trainingsbelohnung 2× schneller als die stärkste Baseline (SFT auf Off-Policy-Daten gefolgt von RL), selbst unter Berücksung der Rechenkosten des initialen Rejection Samplings.
Genauigkeitsgewinne:
- Bei schwierigen Trainingsproblemen erhöht PrefixRL die finale Genauigkeit um >45 % (mehr als das Dreifache relativ zur Baseline) im Vergleich zur Baseline.
- Auf Held-out Benchmarks wie AIME '25 verbessert PrefixRL den pass@1 um 12 % gegenüber der stärksten Baseline in einem rechen-angepassten Vergleich.
Robustheit der Quelle: Die Methode bleibt effektiv, selbst wenn Off-Policy-Präfixe aus einer anderen Modellfamilie stammen (z. B. Nutzung von Qwen-Präfixen zum Trainieren einer Llama-Policy), was ihre Flexibilität in praktischen Szenarien demonstriert.
Trainingsdynamik:
- Stabilität: Im Gegensatz zu SFT+RL bewahrt PrefixRL die Token-Level-Entropie und verhindert so den Explorationskollaps.
- Gradientenqualität: PrefixRL weist höhere Gradientennormen und eine geringere Varianz auf als Standard-Off-Policy-RL (welches unter hochvarianten Importance Weights leidet).
- Effizienz: Das Modell generiert im Durchschnitt kürzere Antworten, was darauf hindeutet, dass es entscheidende Schritte früher erreicht und „unproduktives Umherwandern“ reduziert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass PrefixRL den Ansatz zur Skalierung von RL auf schwierige Probleme grundlegend verändert. Anstatt Off-Policy-Daten als Ziel für Imitation zu betrachten (was zu Instabilität oder Kollaps führt) oder sie als Rauschen zu verwerfen, behandelt PrefixRL sie als Konditionierungsmechanismus, um die Exploration zu leiten.

Die Bedeutung liegt in:

Wiederverwendung von FLOPs: Es transformiert zuvor verschwendete Rechenleistung (fehlgeschlagene Versuche, die letztlich über Rejection Sampling zu einem korrekten Pfad führten) in ein direktes Signal für das Lernen.
Lösung des „Hard Problem“-Regimes: Es ermöglicht das RL-Training auf Problemen, bei denen On-Policy-Rollouts fast nie erfolgreich sind – ein Regime, in dem Standard-RL stagniert.
Back-Generalization: Die Entdeckung, dass die Konditionierung auf Präfixe zu einer überlegenen Performance auf unpräfixierten Aufgaben führen kann, deutet auf einen mächtigen Mechanismus zur Nutzung vorangegangener Rechenleistung hin, der über einfache Generalisierung hinausgeht und die Art und Weise verändern könnte, wie zukünftige RL-Algorithmen historische Daten integrieren.

Die Autoren kommen zu dem Schluss, dass die Nutzung von Back-Generalization eine entscheidende Zutat ist, um die vorangegangene Rechenleistung zu bootstrappen und eine kontinuierliche Selbstverbesserung in Reasoning-LLMs zu ermöglichen.