🤖 AI

Cross-Epoch Adaptive Rollout Optimization for RL Post-Training

Ursprüngliche Autoren: Yiming Zong, Yige Wang, Jiashuo Jiang

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Ursprüngliche Autoren: Yiming Zong, Yige Wang, Jiashuo Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der versucht, einer Klasse von Schülern (einem Large Language Model) beizubringen, wie man schwierige mathematische Probleme löst. Sie haben eine begrenzte Menge an Unterrichtszeit (das „Rollout-Budget“), um eine riesige Liste von Übungsaufgaben durchzuarbeiten.

Der alte Weg: Der „Einheitsansatz“

In der Standardmethode (genannt GRPO) behandelt der Lehrer jeden Schüler und jede Frage exakt gleich. Egal, ob eine Frage unglaublich einfach, unmöglich schwer oder genau richtig ist, der Lehrer verbringt mit jeder genau die gleiche Zeit damit.

Das Problem: Wenn ein Schüler die Antwort auf eine Frage bereits kennt, ist es Verschwendung, mehr Zeit darauf zu verwenden. Wenn eine Frage so schwer ist, dass der Schüler völlig überfordert ist, ist auch das Zeitinvestieren frustrierend und wenig hilfreich. Der Lehrer verschwendet kostbare Zeit mit Fragen, die dem Schüler nichts Neues lehren, und lässt dadurch weniger Zeit für die Fragen, die ihm tatsächlich helfen könnten, sich zu verbessern.

Der neue Weg: CERO (Der „schlaue Tutor“)

Das Paper stellt eine neue Methode namens CERO vor. Betrachten Sie CERO als einen klugen, adaptiven Tutor, der die Schüler genau beobachtet und entscheidet, dynamisch, wo er die verbleibende Unterrichtszeit einsetzt.

So funktioniert CERO, unter Verwendung einfacher Analogien:

1. Die „Konfidenz-Anzeige“ (Beta-Posterior)
Für jede einzelne Frage führt CERO eine mentale „Konfidenz-Anzeige“. Es rät nicht nur, ob der Schüler die Frage richtig beantworten wird; es verfolgt die Unsicherheit.

Wenn der Schüler sie jedes Mal richtig beantwortet, sagt die Anzeige: „Das wissen wir schon. Verschwenden wir keine Zeit mehr.“
Wenn der Schüler sie jedes Mal falsch beantwortet, sagt die Anzeige: „Das ist gerade zu schwer. Lass uns weitermachen.“
Wenn der Schüler sie die Hälfte der Zeit richtig und die andere Hälfte falsch beantwortet, sagt die Anzeige: „Das ist der Sweet Spot! Wir kennen die Antwort noch nicht, aber wir sind nah dran. Lass uns mehr Zeit hier verbringen!“

2. Die „Regel des abnehmenden Ertrags“
CERO weiß, dass die ersten Versuche bei einer kniffligen Frage sehr wertvoll sind. Aber wenn man dieselbe Frage immer und immer wieder stellt, sinkt der Wert jedes neuen Versuchs (wie beim Essen eines köstlichen Kuchens: Das erste Stück ist fantastisch, das zehnte Stück ist nur noch sättigend). CERO nutzt eine mathematische Regel, um sicherzustellen, dass es nicht ewig an einer einzigen Frage hängen bleibt.

3. Das „Globale Budget“ (Der Fenchel-Dual-Trick)
Der Lehrer hat ein striktes Limit für die gesamte Unterrichtszeit. CERO nutzt einen cleveren mathematischen Trick (eine sogenannte „Fenchel-Dual-Reformulierung“), um wie ein dynamisches Preissystem zu agieren.

Stellen Sie sich vor, jede Frage hat einen „Preis“ basierend darauf, wie viel sie dem Schüler lehren kann.
Das „Globale Budget“ fungt wie der Geldbeutel des Lehrers.
Wenn der Lehrer zu schnell Zeit verbraucht, steigt der „Preis“ für neue Fragen, was den Lehrer wählerischer macht.
Wenn der Lehrer noch Zeit übrig hat, sinkt der „Preis“, was es erlaubt, mehr Fragen auszuprobieren.
Dies stellt sicher, dass der Lehrer nicht auf einmal ohne Zeit dasteht, bevor die Unterrichtsstunde endet, während er immer die wertvollsten Fragen auswählt.

Die Ergebnisse

Die Forscher haben dies an verschiedenen KI-Modellen bei mathematischen Problemen getestet.

Das Ergebnis: Cero half der KI konsistent besser zu lernen als die Standardmethode.
Warum? Weil CERO aufhörte, Zeit mit Fragen zu verschwenden, die die KI bereits beherrschte oder die sie noch nicht lösen konnte. Stattdessen konzentrierte es sich auf die „Goldlöckchen-Fragen“ – jene, die gerade schwer genug waren, um nützlich zu sein, aber nicht unmöglich.
Effizienz: Die KI lernte schneller und erzielte bessere Ergebnisse bei Mathematik-Wettbewerben (wie AIME und AMC), ohne dass zusätzliche Rechenleistung oder eine Änderung der Kernweise, wie die KI lernt, erforderlich war.

Zusammenfassend

CERO ist wie ein kluger Trainer, der aufhört, Trainingszeit mit Übungen zu verschwenden, die der Athlet bereits gemeistert hat oder die er noch nicht leisten kann. Stattdessen konzentriert er die begrenzte Trainingszeit auf die spezifischen Übungen, die die Leistung des Athleten am meisten voranbringen, um sicherzustellen, dass jede Minute des Trainings zählt.

Technisches Resümee: Cross-Epoch Adaptive Rollout Optimization für RL Post-Training (CERO)

1. Problemformulierung

Das Post-Training von Large Language Models (LLMs) mittels Reinforcement Learning (RL), insbesondere unter Verwendung von Algorithmen wie GRPO, stützt sich typischerweise auf das Sampling einer festen Anzahl von Rollouts pro Prompt. Diese uniforme Allokationsstrategie ignoriert die Heterogenität der Trainingssignale, die durch verschiedene Prompts bereitgestellt werden. Einige Prompts sind trivial (sie liefern konsistente Erfolge oder Misserfolge mit geringer Varianz), während andere zu schwierig oder bereits gemeistert sind, was zu abnehmenden Grenzerträgen führt. Infolgedessen wird ein erheblicher Teil des globalen Rollout-Budgets für Prompts mit begrenztem Lernwert verschwendet.

Die Arbeit formuliert dies als ein Cross-Epoch Online-Ressourcenallokationsproblem unter einem festen globalen Budget $B$ . Im Gegensatz zu bisherigen Methoden, die eine Intra-Batch-Reallokation oder Post-Generation-Filterung durchführen, adressiert diese Arbeit die Allokation von Rollouts sowohl über Prompts als auch über Trainings-Epochen hinweg. Das Ziel ist es, den kumulativen Nutzen der gesammelten Stichproben zu maximieren, wobei der Nutzen dem Prinzip prompt-spezifischer abnehmender Grenzerträge unterliegt. Das Problem ist mathematisch definiert als die Maximierung der Summe der prompt-spezifischen Nutzenfunktionen $U_i(\sum_k N_{i,k})$ unter der globalen Budgetbeschränkung $\sum_{i,k} N_{i,k} \le B$ , wobei $N_{i,k}$ die Anzahl der einem Prompt $i$ in Epoche $k$ zugewiesenen Rollouts ist.

2. Methodik: CERO

Die Autoren schlagen CERO (Cross-Epoch Adaptive Rollout Optimization) vor, einen Bayesianischen Primal-Dual-Online-Algorithmus, der darauf ausgelegt ist, Rollouts basierend auf der geschätzten Informationsreichtum (Informativeness) der Prompts adaptiv zu allokieren.

2.1 Informativeness und Nutzen-Design

Beta-Posterior-Modellierung: Für jeden Prompt $x_i$ führt CERO eine Beta-Posterior-Verteilung über dessen latente Erfolgswahrscheinlichkeit $p_i$ , die basierend auf der Historie der Rollouts $H_i^k$ aktualisiert wird.
Informativeness-Score ( $q_{k,i}$ ): Anstatt eines Punktschätzers für die Erfolgswahrscheinlichkeit verwendet CERO die erwartete Bernoulli-Varianz: $q_{k,i} = E[p_i(1-p_i) | H_i^k]$ . Dieser Score wird maximiert, wenn $p_i \approx 0,5$ ist (mittlere Schwierigkeit), und geht gegen Null bei leichten ( $p_i \approx 1$ ) oder schweren ( $p_i \approx 0$ ) Prompts, wodurch effektiv Prompts identifiziert werden, die die unsichersten und damit informativsten Lernsignale bieten.
Nutzenfunktion: Eine konkave, sättigende Nutzenfunktion ist definiert als $U_i(n) = 1 - \exp(-\eta q_i n)$ , wobei $n$ die kumulative Anzahl der Rollouts ist. Dies bildet abnehmende Grenzerträge ab: Frühe Rollouts auf einem informativen Prompt sind hochgradig wertvoll, aber der Grenzwert sinkt mit der Anzahl der gesammelten Stichproben.

2.2 Optimierung via Fenchel-Dual-Reformulierung

Die zeitliche Kopplung der Nutzenfunktion (die von der kumulativen Allokation abhängt) macht eine direkte Online-Optimierung schwierig. CERO adressiert dies durch eine Fenchel-Dual-Reformulierung:

Das Problem wird in ein duales Objekt transformiert, das prompt-spezifische Dualvariablen $\theta_i$ und einen globalen Budget-Multiplikator $\mu$ beinhaltet.
Diese Reformulierung zerlegt das zeitlich gekoppelte Problem in pro-Epochen-Allokations-Subprobleme, die durch die Dualvariablen koordiniert werden.

2.3 Online Primal-Dual Algorithmus

CERO agiert als "Drop-in"-Layer über bestehenden RL-Pipelines (z. B. GRPO):

Allokationsentscheidung: In jeder Epoche löst der Algorithmus für jeden Prompt ein lineares Subproblem. Ein Prompt erhält die maximale erlaubte Anzahl an Rollouts ( $N_{max}$ ), wenn sein geschätzter Grenzwert (Dualvariable $\theta_i$ ) den aktuellen globalen Budgetpreis ( $\mu$ ) übersteigt; andernfalls erhält er null.
Feedback-Update: Nach der Generierung von Antworten und der Beobachtung der Belohnungen wird die Beta-Posterior-Verteilung des Prompts aktualisiert und der Informativeness-Score $q_{k,i}$ aufgefrischt.
Updates der Dualvariablen:
- Prompt-Ebene ( $\theta$ ): Wird mittels Projected Online Gradient Descent aktualisiert, um die allokierten Rollouts gegen den durch die aktuelle Informativeness-Schätzung implizierten Nutzen auszubalancieren.
- Budget-Ebene ( $\mu$ ): Wird basierend auf der Diskrepanz zwischen dem tatsächlichen Rollout-Verbrauch und der Ziel-Budgetrate aktualisiert. Wenn der Verbrauch die Rate übersteigt, erhöht sich $\mu$ , was die zukünftige Allokation selektiver macht; liegt er darunter, sinkt $\mu$ .

3. Zentrale Beiträge

Problemformulierung: Die Arbeit ist die erste, die die Rollout-Allokation im LLM RL Post-Training als ein Cross-Epoch Fixed-Budget Online-Optimierungsproblem mit prompt-spezifischen abnehmenden Grenzerträgen formuliert, welches Entscheidungen über den gesamten Trainingshorizont hinweg über ein gemeinsames globales Budget koppelt.
Algorithmus-Design: Sie führt CERO ein, einen Bayesianischen Primal-Dual-Algorithmus, der die posteriore Schätzung des Rollout-Werts eines Prompts nutzt, um das Budget zu steuern. Er verwendet die erwartete Bernoulli-Varianz als Proxy für die Erlernbarkeit und nutzt eine Fenchel-Dual-Reformulierung, um die zeitliche Nicht-Separabilität zu handhaben.
Theoretische und empirische Validierung:
- Theorie: Unter der Annahme fixer Prompt-Nutzen beweisen die Autoren eine $O(\sqrt{K})$ -Regret-Schranke gegenüber einem Offline-Allokations-Benchmark, wobei $K$ die Anzahl der Epochen ist.
- Experimente: Umfangreiche Experimente zu mathematischen Denkaufgaben (AIME, AMC) über vier Open-Weight-LLMs (von 1,5B bis 7B Parametern) zeigen, dass CERO das Standard-GRPO konsistent übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CERO auf dem DAPO-Math-17K Datensatz mit DeepSeek-R1-Distill-1.5B, Qwen3-4B (Base und Instruct) und Qwen2.5-Math-7B.

Performance: CERO erzielte konsistente Verbesserungen gegenüber dem Standard-GRPO über alle Modelle und Benchmarks hinweg. Die durchschnittlichen Gewinne lagen je nach Modell zwischen +1,53 und +6,04 Punkten.
Effizienz-Analyse: Die "Effective Prompt Ratio" (der Anteil der Prompts in einem Batch, die sowohl erfolgreiche als auch fehlgeschlagene Antworten enthalten, welche nicht-Null-Gradienten generieren) war für CERO signifikant höher als für GRPO.
- Im Baseline-GRPO sank die effektive Prompt-Ratio im Verlauf des Trainings stark ab, was darauf hindeutet, dass das Modell viele Prompts gemeistert hatte, was zu degenerierten Rollout-Gruppen führte.
- CERO hielt eine höhere effektive Prompt-Ratio aufrecht, indem es das Budget adaptiv von gemasterten Prompts zu jenen mit höherer Unsicherheit verschob.
Overhead: Der Allokations-Update-Mechanismus verursacht einen vernachlässigbaren Rechenaufwand (weniger als eine Sekunde pro Update).

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass adaptive Rollout-Budgetierung eine fundierte und effektive Richtung zur Verbesserung der Stichproben-Effizienz im RL Post-Training ist. Durch die Abkehr von der uniformen Allokation stellt CERO sicher, dass das feste Generierungsbudget für Prompts aufgewendet wird, die die informativsten Trainingssignale liefern.

Die Autoren positionieren CERO als einen "Drop-in"-adaptiven Datensammel-Layer, der modifiziert, welche Prompts Rollouts erhalten und wie viele, ohne das zugrunde liegende Policy-Gradient-Ziel zu verändern. Die Arbeit hebt hervor, dass die Ineffizienz des aktuellen RL Post-Trainings nicht nur aus der Policy-Update-Regel resultiert, sondern aus der suboptimalen Datenerfassungsstrategie.

Von den Autoren angemerkt Limitierungen:

Die theoretische Regret-Garantie setzt feste Prompt-Nutzen voraus, während die Implementierung dynamische, epochenweise Plug-in-Posterior-Schätzungen verwendet. Somit bildet die Analyse die durch Policy-Updates und Posterior-Aktualisierungen induzierte Nicht-Stationarität nicht vollständig ab.
Die empirische Validierung beschränkt sich derzeit auf mathematische Denkaufgaben; eine breitere Validierung auf anderen Domänen und Reward-Modellen wird als zukünftige Arbeit vorgeschlagen.