🤖 machine learning

Spend Your Rollouts Where It Counts: Rollout Allocation for Group-Based RL Post-Training

Dieser Beitrag stellt Pilot-Commit vor, ein budgetbewusstes Rollout-Allokationsframework, das während des gruppenbasierten RL-Nachtrainings hochvarianze Prompts dynamisch identifiziert und priorisiert, wodurch die Sampling-Kosten im Vergleich zu bestehenden Methoden wie GRPO und DAPO erheblich reduziert und die Konvergenz beschleunigt werden.

Ursprüngliche Autoren: Woojeong Kim, Ziyi Yang, Jing Nathan Yan, Jialu Liu

Veröffentlicht 2026-05-27

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Woojeong Kim, Ziyi Yang, Jing Nathan Yan, Jialu Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Lehrkraft, die versucht, einem Schüler beim Lernen von Mathematik zu helfen. Sie haben eine begrenzte Menge an Zeit und Energie (Ihr „Budget"), um dem Schüler Übungsaufgaben zu geben.

In der Welt der Künstlichen Intelligenz, speziell beim Trainieren von Large Language Models (LLMs), um ihre Fähigkeiten im logischen Schlussfolgern zu verbessern, ist der „Schüler" die KI, und die „Übungsaufgaben" werden Rollouts genannt. Ein Rollout ist einfach die KI, die versucht, ein Problem zu lösen und eine Antwort zu generieren.

Das Problem: Zeitverschwendung bei zu leichten oder unmöglichen Fragen

Derzeit funktionieren die meisten KI-Trainingsmethoden wie eine Lehrkraft, die blindlings jedem Schüler die gleiche Anzahl von Übungsaufgaben gibt, unabhängig davon, ob der Schüler die Antwort bereits kennt oder die Frage für unmöglich hält.

Das „Zu Leicht"-Problem: Wenn ein Problem so einfach ist, dass die KI es jedes Mal richtig löst, gibt es nichts Neues zu lernen. Doch der Computer verschwendet dennoch Zeit damit, Antworten dafür zu generieren.
Das „Zu Schwer"-Problem: Wenn ein Problem so schwierig ist, dass die KI es jedes Mal falsch löst, lernt sie ebenfalls wenig, da das Signal zu verrauscht ist.
Die „Genau Richtige"-Zone: Die KI lernt am besten, wenn eine Aufgabe herausfordernd genug ist, sodass sie sie manchmal richtig und manchmal falsch löst. Diese „Unsicherheit" erzeugt ein starkes Lernsignal.

Bestehende Methoden (wie GRPO und DAPO) behandeln jedes Problem gleich und verschwenden teure Rechenleistung bei den „zu leichten" und „zu schweren" Fragen.

Die Lösung: Pilot-Commit

Die Autoren dieses Papiers schlagen eine neue Strategie namens Pilot-Commit vor. Betrachten Sie dies wie eine clevere Lehrkraft, die einen zweistufigen Prozess nutzt, um zu entscheiden, welche Aufgaben die Zeit des Schülers wert sind.

Schritt 1: Der Pilot (Der „Probier-Test")

Bevor sie sich auf einen vollständigen Unterricht festlegt, gibt die Lehrkraft dem Schüler eine winzige „Probe" des Problems (ein paar schnelle Versuche).

Wenn der Schüler es jedes Mal richtig löst? Die Lehrkraft markiert es als „Zu Leicht" und überspringt es vorerst.
Wenn der Schüler es jedes Mal falsch löst? Die Lehrkraft markiert es als „Zu Schwer" und legt es für später beiseite.
Wenn der Schüler kämpft, aber manchmal richtig liegt? Die Lehrkraft markiert es als „Goldilocks" (genau richtig).

Schritt 2: Das Commit (Die „Hauptstunde")

Die Lehrkraft nutzt die verbleibende Zeit und Energie und verbringt sie nur mit den im Pilot-Schritt identifizierten „Goldilocks"-Aufgaben. Sie ignoriert die leichten und die unmöglichen.

Warum das wichtig ist

Das Papier behauptet, dass die KI durch die Anwendung dieser „Pilot-Commit"-Methode viel schneller lernt, weil sie aufhört, Geld für Aufgaben zu verschwenden, die ihr nichts Neues beibringen.

Die Ergebnisse: In Tests mit Mathematikaufgaben erreichte diese Methode das gleiche Genauigkeitsniveau wie ältere Methoden, nutzte jedoch deutlich weniger Übungsdurchläufe (Rollouts).
- Sie war bis zu 1,9-mal schneller als eine Standardmethode (GRPO).
- Sie war bis zu 4,0-mal schneller als eine andere Methode (DAPO).

Die Analogie der „Räumung"

Das Papier erwähnt auch eine Funktion namens „Eviction" (Räumung). Stellen Sie sich vor, dass, während der Schüler schlauer wird, einige Aufgaben, die einst „Goldilocks" waren, zu „Zu Leicht" werden. Das Pilot-Commit-System bemerkt dies und entfernt diese gelösten Aufgaben dauerhaft aus der Liste der zu übenden Aufgaben, sodass der Computer nie wieder eine Sekunde damit verschwendet.

Zusammenfassung

Kurz gesagt ist Pilot-Commit ein intelligentes Budgetierungssystem für das KI-Training. Anstatt blind alles zu üben, testet es schnell einige Aufgaben, um zu sehen, welche tatsächlich für das Lernen nützlich sind, und investiert dann alle Ressourcen in diese spezifischen Herausforderungen. Dies ermöglicht der KI, Expertenniveau in Mathematik mit weit weniger Rechenleistung und Zeit zu erreichen.

Technische Zusammenfassung: Investieren Sie Ihre Rollouts dort, wo es zählt

Problemstellung

Beim Nachtraining von Large Language Models (LLMs) mittels Reinforcement Learning (RL), speziell im Online-Setting mit on-policy-Verfahren, stellt nicht der Optimierungsschritt, sondern die Generierung von Rollouts (Sampling) die dominierende Rechenengpass dar. Methoden zur gruppenbasierten Policy-Optimierung, wie Group Relative Policy Optimization (GRPO), berechnen Advantages, indem sie mehrere für denselben Prompt generierte Rollouts vergleichen. Bestehende Ansätze weisen das Rollout-Budget jedoch unselektiv über alle Prompts eines Batches zu, unabhängig von deren Lernpotenzial.

Dies führt zu erheblicher Ineffizienz. Prompts mit kollabierten Reward-Verteilungen (bei denen alle Rollouts identische Rewards liefern, entweder alle korrekt oder alle inkorrekt) erzeugen keinen Advantage und tragen kein Gradientensignal bei, verbrauchen jedoch teure Sampling-Ressourcen. Umgekehrt liefern Prompts mit hoher Reward-Varianz die stärksten Lernsignale. Aktuelle Methoden unterscheiden diese Regime online nicht, wodurch Rechenleistung für uninformative Daten verschwendet wird. Während Oversampling-Strategien wie DAPO die Exploration verbessern, skalieren sie die Sampling-Kosten linear, ohne Prompts mit geringem Signal herauszufiltern.

Methodik: Pilot-Commit

Die Autoren schlagen Pilot-Commit (PC) vor, ein budgetbewusstes Rollout-Allokations-Framework, das die Prompt-Evaluierung von der Ausbeutung entkoppelt. Die Methode basiert auf der theoretischen Erkenntnis, dass gruppenbasierte Updates in Regimen hoher Reward-Varianz am effektivsten sind, wo die Magnitude des Policy-Gradienten maximiert ist.

Das Framework besteht pro Trainingsschritt aus zwei Phasen:

Pilot-Phase: Ein Bruchteil des gesamten Rollout-Budgets wird verwendet, um eine kleine Anzahl von Rollouts ( $n_{pilot}$ ) für jeden Prompt im Sampling-Batch zu generieren. Das System schätzt die empirische Erfolgsrate (und damit die Reward-Varianz) für jeden Prompt unter der aktuellen Policy.
- Prompts werden basierend auf asymmetrischen Schwellenwerten gefiltert. Als „zu einfach" eingestufte Prompts (Erfolgsrate $> p_{upper}$ ) werden aus dem zukünftigen Sampling entfernt, da ihr Gradientensignal abnimmt. Als „zu schwer" eingestufte Prompts (Erfolgsrate $< p_{lower}$ ) werden anstatt einer Verwerfung in die nächste Epoche verschoben, unter der Anerkennung, dass sie sich mit verbesserter Policy dem Regime hoher Varianz nähern können.
- Prompts, die in den Zielvarianzbereich fallen (typischerweise nahe $p \approx 0.5$ ), werden für die Commit-Phase ausgewählt.
Commit-Phase: Das verbleibende Rollout-Budget ( $n_{commit}$ ) wird ausschließlich den Prompts zugewiesen, die den Pilot-Filter bestanden haben. Diese Prompts erhalten den Großteil der Sampling-Ressourcen zur Generierung der Trainingsdaten.
Training: Die Policy wird unter Verwendung der Vereinigung von Pilot- und Commit-Rollouts für die ausgewählten Prompts aktualisiert.

Wichtige Optimierungen:

Binding: Um den Inferenz-Overhead zu reduzieren, wird die Pilot-Phase des Schritts $t-1$ mit der Commit-Phase des Schritts $t$ gebunden, was überlappende Inferenz-Passes ermöglicht und nur eine minimale Off-Policy-Verzögerung einführt.
Replay Buffer: Überschüssige Prompts, die den Pilot-Filter bestehen, werden in einem Replay Buffer gespeichert, um den Trainingsbatch aufzufüllen, falls die aktuelle Pilot-Phase zu wenige Überlebende liefert; veraltete Prompts werden entfernt, um Staleness zu verhindern.
Eviction-Strategie: Prompts, die konsistent gelöst werden (alle Pilot-Rollouts korrekt), werden dauerhaft aus dem Sampling-Pool entfernt, um Budgetverschwendung zu verhindern.

Hauptbeiträge

Theoretische Einsicht: Die Arbeit liefert einen analytischen Beweis (Proposition 3.1), der zeigt, dass die Magnitude des GRPO-Gruppengradienten maximiert wird, wenn die Reward-Ergebnisse innerhalb einer Gruppe maximal unsicher sind (d. h. hohe Varianz). Dies etabliert die Reward-Varianz als direkten Proxy für die Informativität eines Prompts.
Framework-Design: Pilot-Commit führt eine neuartige zweistufige Allokationsstrategie ein, die ein festes Rollout-Budget dynamisch basierend auf Live- und Online-Schätzungen der Prompt-Informativität neu verteilt, ohne dass auxiliary Modelle oder veraltete historische Statistiken erforderlich sind.
System-Implementierung: Die Methode ist als neues Rezept im verl RL-Framework implementiert und verfügt über praktische Optimierungen wie Off-Policy-Binding und Replay Buffer, um Skalierbarkeit zu gewährleisten.

Experimentelle Ergebnisse

Die Autoren evaluierten Pilot-Commit über Modellskalen von 1,5 Mrd. bis 14 Mrd. Parametern hinweg an Benchmarks für mathematisches Schlussfolgern (einschließlich AIME, AMC, MATH 500 und DeepMath).

Rollout-Effizienz: Pilot-Commit erreicht konsistent die Ziel-Baseline-Genauigkeit mit signifikant weniger kumulierten Rollouts im Vergleich zu GRPO und DAPO.
- Im Vergleich zu GRPO erreicht PC die Zielgenauigkeit 1,5- bis 1,9-mal schneller in Bezug auf kumulierte Rollouts.
- Im Vergleich zu DAPO ist PC 2,3- bis 4,0-mal schneller in kumulierten Rollouts.
Wandzeit: Selbst in stark parallelisierten Umgebungen (64 H200 GPUs) führt die Reduktion der Sampling-Kosten zu praktischen Geschwindigkeitssteigerungen; PC ist 1,21-mal schneller als GRPO und 1,83-mal schneller als DAPO in der Wandzeit pro Schritt.
Lernqualität: PC behält während des Trainings eine höhere mittlere Reward-Varianz bei als die Baselines, was darauf hindeutet, dass Updates auf Prompts mit stärkeren Gradientensignalen konzentriert sind. Folglich erreicht PC oft eine höhere Spitzenaccuracy als die Baselines innerhalb derselben Anzahl von Trainingsschritten.
Hyperparameter-Robustheit: Ablationsstudien zeigen, dass die Methode gegenüber Variationen in den Pilot-/Commit-Aufteilungsverhältnissen und Filter-Schwellenwerten robust ist, sofern die Schwellenwerte nicht auf Extreme gesetzt werden, die entweder Budget an hoffnungslose Prompts verschwenden oder grenzwertig informative Prompts verwerfen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Rollout-Allokation ein „First-Class-Problem" beim RL-Nachtraining ist. Durch die Verschiebung des Fokus von „wie viele Rollouts zu generieren" auf „auf welche Prompts diese ausgegeben werden sollen", adressiert Pilot-Commit die fundamentale Ineffizienz des uniformen Samplings.

Die Autoren betonen, dass ihr Ansatz das Trainingsziel nicht verändert oder eine feste Curriculum-Reihenfolge auferlegt. Stattdessen passt es sich online an die sich entwickelnde Policy an und stellt sicher, dass das Rechenbudget dort ausgegeben wird, wo das Lernsignal am stärksten ist. Die Ergebnisse deuten darauf hin, dass für gruppenbasiertes RL-Nachtraining intelligente Sampling-Allokation erhebliche Effizienzgewinne bringen kann, ohne die finale Modellleistung zu beeinträchtigen, sondern sie oft sogar verbessert. Die Arbeit wird als ergänzende Verbesserung zu System-Level-Durchsatz-Optimierungen präsentiert, die sich auf die Effektivität der gesampelten Daten konzentriert und nicht nur auf die Geschwindigkeit der Generierung.