🤖 machine learning

Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards

Dieser Artikel schlägt „Contextual Rollout Bandits" vor, ein einheitliches neuronales Scheduling-Framework, das Rollouts als kontextuelle Bandit-Armen behandelt, um hochwertige historische Daten adaptiv auszuwählen und wiederzuverwenden, wodurch die Stichprobeneffizienz und Leistung beim Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) für große Sprachmodelle verbessert werden.

Ursprüngliche Autoren: Xiaodong Lu, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Zhijun Chen, Yu Luo, Fuzhen Zhuang, Yikun Ban, Deqing Wang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaodong Lu, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Zhijun Chen, Yu Luo, Fuzhen Zhuang, Yikun Ban, Deqing Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen sehr klugen, aber leicht chaotischen Schüler (ein Large Language Model), um schwierige Mathematikaufgaben zu lösen. Sie geben dem Schüler eine Aufgabe, und er schreibt eine lange Gedankenkette auf, um zu einer Antwort zu gelangen. Diese Gedankenkette wird als „Rollout" bezeichnet.

Im aktuellen Stand des KI-Trainings behandelt der Lehrer (der Trainingsalgorithmus) jeden einzelnen Versuch des Schülers als gleich wichtig. Wenn der Schüler 8 verschiedene Wege versucht, eine Aufgabe zu lösen, betrachtet der Lehrer alle 8, selbst wenn 5 davon Unsinn sind, 2 zufällige Raten sind, die nur durch Glück richtig lagen, und nur 1 eine brillante, logische Lösung darstellt. Der Lehrer wirft die früheren Versuche des Schülers auch sofort nach einmaliger Nutzung weg und schaut nie zurück.

Die von Ihnen bereitgestellte Arbeit „Contextual Rollout Bandits" schlägt einen intelligenteren Weg zur Steuerung dieses Trainingsprozesses vor. Sie führt ein System namens CBS (Contextual Bandit Scheduler) ein. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Lärmige Klassenraum"

Derzeit ist der Trainingsprozess wie ein Klassenraum, in dem der Lehrer jeden einzelnen Hausaufgabenversuch gleich bewertet, unabhängig von der Qualität.

Der Lärm: Einige Schülerantworten sind „durch Raten korrekt" (sie haben die richtige Zahl, aber die Logik war falsch) oder „redundant" (sie liefen im Kreis). Dies sind wie „schlechte Äpfel", die den Lehrer verwirren und das Lernen verlangsamen.
Die Verschwendung: Der Lehrer wirft gute Hausaufgaben nach einmaliger Betrachtung weg. Wenn der Schüler am Dienstag eine perfekte Lösung schrieb, ignoriert der Lehrer sie am Mittwoch, obwohl sie immer noch nützlich sein könnte.

2. Die Lösung: Der „Smarte Trainer" (CBS)

Die Autoren betrachten die Auswahl, welche Hausaufgaben untersucht werden sollen, als ein Spiel namens „Contextual Bandit". Stellen Sie sich dies als einen smarten Trainer vor, der entscheiden muss, auf welche der Übungsversuche des Schülers er sich konzentrieren soll.

Anstatt jeden Versuch blind zu betrachten, verwendet der Trainer für jeden einzelnen Versuch einen 10-dimensionalen „Zeugnisbericht". Dieser Bericht verfolgt Dinge wie:

Wie selbstbewusst war der Schüler? (Entropie)
Wie sehr hat diese Antwort zur Verbesserung der Punktzahl beigetragen? (Advantage)
Wie lang war die Antwort?
Haben wir diesen spezifischen Versuch bereits betrachtet? (Verwendungszähler)

Basierend auf diesem Zeugnisbericht nutzt der Trainer eine kleine, schnelle KI (ein neuronales Netzwerk), um vorherzusagen: „Wenn wir diesen spezifischen Versuch untersuchen, wird der Schüler dann besser?"

3. Zwei Superkräfte des Trainers

Superkraft A: Der „Qualitätsfilter" (Intra-Group Selection)
Wenn der Schüler 8 Antworten für eine Mathematikaufgabe generiert, betrachtet der Trainer nicht alle 8. Stattdessen scannt er schnell die „Zeugnisberichte" und wählt nur die besten 3 oder 4 aus.

Analogie: Stellen Sie sich eine Talentshow vor. Anstatt jede einzelne Vorspielsession anzusehen und alle zu kritisieren, erkennt der Trainer sofort die Top-3-Sänger und sagt den Juroren, sie sollen sich nur auf diese konzentrieren. Dies spart Zeit und verhindert, dass die Juroren durch schlechte Sänger verwirrt werden.

Superkraft B: Der „Zeitreisende" (Global Reuse)
Die meisten Trainingsmethoden betrachten nur die neueste Charge von Hausaufgaben. CBS ist anders. Es verwahrt einen Replay-Puffer – einen riesigen digitalen Aktenschrank mit den früheren Versuchen des Schülers.

Analogie: Stellen Sie sich einen Trainer vor, der nicht nur das heutige Training betrachtet, sondern auch eine Highlight-Reel der besten Spielzüge des Schülers von letzter Woche, letztem Monat und letztem Jahr aufbewahrt. Wenn der Schüler feststeckt, holt der Trainer ein großartiges altes Beispiel hervor, um ihm zu zeigen: „Erinnern Sie sich, wie Sie diese Art von Problem zuvor gelöst haben?" Dies hilft dem Schüler, schneller zu lernen, weil er seine besten Momente nicht vergisst.

4. Die Ergebnisse: Schneller und Intelligenter

Die Arbeit testete diesen „Smarten Trainer" an sechs verschiedenen Mathematik-Benchmarks (wie AIME und MATH).

Bessere Noten: Die mit CBS trainierten Modelle erzielten bei Mathematikaufgaben konsistent höhere Punktzahlen.
Schnelleres Lernen: Da der Trainer die „schlechten Äpfel" herausfilterte und die „guten Äpfel" wiederverwendete, dauerte der Trainingsprozess etwa 50 % weniger Zeit. Der Computer musste keine Energie verschwenden, um nutzlose Daten zu verarbeiten.
Stabilität: Das System verhinderte, dass der Schüler durch „Raten" von Antworten verwirrt wurde oder dieselben Fehler wiederholte, und hielt den Lernpfad stabil.

Zusammenfassung

Kurz gesagt sagt diese Arbeit: Behandle alle KI-Trainingsdaten nicht gleich.
Anstatt blind jede generierte Antwort zu verwenden und sie sofort wegzuwerfen, nutzen Sie ein intelligentes, adaptives System, um den Lärm herauszufiltern und die besten Beispiele wiederzuverwenden. Es ist wie der Upgrade von einem Lehrer, der jeden Kritzels auf einer Serviette bewertet, zu einem Trainer, der eine perfekte Highlight-Reel kuratiert, um dem Schüler beizubringen, wie man gewinnt.

Technische Zusammenfassung: Kontextuelle Rollout-Banditen für Reinforcement Learning mit verifizierbaren Belohnungen

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als entscheidendes Paradigma zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) etabliert, insbesondere in Domänen wie Mathematik und Code-Generierung. Allerdings leiden bestehende RLVR-Methoden unter zwei grundlegenden Einschränkungen, die zu verrauschter Supervision, geringer Sample-Effizienz und suboptimalen Policy-Updates führen:

Indiskriminierte Intra-Gruppen-Nutzung: Aktuelle Ansätze, wie Group Relative Policy Optimization (GRPO), generieren zwar mehrere Antworten (Rollouts) für einen einzelnen Prompt, behandeln diese jedoch während der Gradientenberechnung einheitlich. Dies ignoriert die signifikante Qualitäts-Heterogenität innerhalb einer Gruppe, bei der viele Antworten geringen Nutzen, verrauscht oder irreführend sein können (z. B. durch Raten korrekt geratene Lösungen oder Trajektorien mit redundanten reasoning-Schritten).
Eingeschränkte Datenhorizonte: Die meisten Methoden verlassen sich ausschließlich auf den neuesten Batch an Rollouts für die Optimierung und verwerfen historische Trajektorien nach einmaliger Verwendung. Dieses kurzsichtige Trainingsparadigma verhindert die Wiederverwendung hochwertiger historischer Daten, was die erreichbare Policy-Leistung und Sample-Effizienz begrenzt.

Bestehende Versuche, diese Probleme zu adressieren, beruhen häufig auf statischen, manuell erstellten Heuristiken, die keine Anpassungsfähigkeit an sich entwickelnde Trainingsdynamiken aufweisen.

Methodik: Kontextuelle Rollout-Banditen (CBS)

Die Autoren schlagen CBS vor, ein einheitliches neuronales Scheduling-Framework, das die Rollout-Scheduling als kontextuelles Bandit-Problem formuliert. In dieser Formulierung wird jedes Rollout als „Arm" behandelt, und die Belohnung wird durch den induzierten Leistungsgewinn zwischen aufeinanderfolgenden Optimierungsschritten definiert.

Kernkomponenten

Architektur des neuronalen Schedulers:
- Arm-Repräsentation: Jedes Rollout wird in einen kompakten 10-dimensionalen Vektor kodiert, der die Trainingsdynamik erfasst. Diese Merkmale umfassen:
  - Belohnungsbezogene Signale: Rohbelohnung, Advantage, mittlere Gruppenbelohnung und Standardabweichung der Gruppenbelohnung.
  - Längenbezogene Signale: Normalisierte Antwortlänge und Truncation-Flags.
  - Policy-Wahrnehmungsmetriken: Entropie und Clip-Verhältnisse.
  - Dateninteraktionshistorie: Nutzungshäufigkeit und Sample-Alter (Frische).
- Scheduler-Modell: Ein Multi-Layer Perceptron (MLP) sagt den zukünftigen Nutzen jedes Rollouts basierend auf seiner Repräsentation und Online-Rückmeldung vorher.
- Selektionsstrategie: Der Scheduler verwendet eine $\epsilon$ -greedy-Strategie, um Exploration und Exploitation auszubalancieren, indem er die am besten bewerteten Rollouts auswählt und gelegentlich neuere Daten samplet.
Zwei Scheduling-Regime:
- Intra-Gruppen-Scheduling (CBS):* Adressiert die Heterogenität der Antwortqualität durch eine feingranulare Selektion innerhalb jeder Rollout-Gruppe. Der Scheduler wählt eine Top- $p\%$ -Teilmenge hochwertiger Rollouts aus jeder Gruppe aus und filtert verrauschte oder nutzlose Samples vor der Policy-Optimierung heraus.
- Globale adaptive Wiederverwendung (CBS): Adressiert die Einschränkung des begrenzten Horizonts durch die Aufrechterhaltung eines FIFO-Replay-Puffers historischer Rollouts (aus den letzten $L$ Iterationen). Der Scheduler führt eine globale Selektion über diesen Puffer durch, um hochwertige Trajektorien über Trainingsrunden hinweg wiederzuverwenden, was die Sample-Effizienz erheblich verbessert.
Belohnungsdefinition und Update:
- Leistungsgewinn-Belohnung: Die Belohnungsfunktion ist als Metrikgewinn zwischen aufeinanderfolgenden Rollout-Daten definiert und integriert Änderungen der durchschnittlichen Belohnung ( $V$ ) und der Entropie ( $E$ ). Ein Entropie-Strafterm verhindert einen Trainingskollaps, indem er Entropieerhöhungen über einen Schwellenwert hinaus bestraft.
- Online-Anpassung: Die Scheduler-Parameter werden online unter Verwendung von Sample-Level-Belohnungen aktualisiert, die aus dem Gruppen-Level-Leistungsgewinn abgeleitet werden. Um Stabilität zu gewährleisten, werden Gruppenbelohnungen mittels Exponentieller Gleitender Durchschnitte (EMA) normalisiert und über eine Sigmoid-Funktion skaliert.

Hauptbeiträge

Einheitliches Kontext-Rollout-Bandit-Framework: Das Papier formuliert das Rollout-Scheduling in RLVR als kontextuelles Bandit-Problem und bietet ein einziges prinzipielles Framework, das sowohl eine verrauschungsaware Intra-Gruppen-Selektion als auch eine adaptive globale Wiederverwendung historischer Rollouts unterstützt.
Theoretische Garantien:
- Die Autoren stellen eine formale Verbindung zwischen RLVR-Datenscheduling und kontextuellen Banditen her.
- Sie leiten sublineare Regret-Schranken ( $\tilde{O}(\sqrt{T})$ ) für den vorgeschlagenen neuronalen Scheduler unter einer vereinfachten Single-Sample-Selektionssituation ab, wobei sie auf das Neural Tangent Kernel (NTK)-Framework zurückgreifen.
- Sie beweisen, dass die Vergrößerung des Replay-Puffers die erreichbare obere Schranke der Policy-Leistung verbessert, und liefern damit eine theoretische Begründung für die globale Rollout-Wiederverwendung.
Empirische Wirksamkeit: Umfangreiche Experimente zeigen, dass CBS konsistent sowohl die Endleistung als auch die Trainingseffizienz über mehrere RLVR-Optimierungsmethoden (GRPO, DAPO, GSPO) und Modellgrößen hinweg verbessert.

Experimentelle Ergebnisse

Die Methode wurde an sechs mathematischen Reasoning-Benchmarks (AIME24, AIME25, AMC23, MATH500, Minerva, Olympiad) unter Verwendung von Qwen3-Modellen (1.7B, 4B, 8B) evaluiert.

Leistungsgewinne: Die Integration von CBS führte zu konsistenten relativen Verbesserungen über verschiedene Policy-Optimierungsmethoden hinweg. Beispielsweise verbesserte CBS auf dem Qwen3-1.7B-Modell GRPO um durchschnittlich 4,4 % und DAPO um 15,7 %.
Trainingseffizienz: CBS reduzierte die durchschnittliche Policy-Optimierungszeit erheblich (bis zu 50,4 % Reduktion), indem weniger Trainings-Trajektorien pro Actor-Update erforderlich waren.
Rechenoverhead: Die Rechenkosten des Schedulers sind vernachlässigbar und machen weniger als 4 % der gesamten Trainingszeit aus; dieser Anteil nimmt mit zunehmender Modellgröße weiter ab.
Ablationsstudien: Das Entfernen von Komponenten wie dem neuronalen Scheduler (ersetzt durch zufällige Selektion), der EMA-Belohnungsnormierung oder des Entropie-Strafterms führte zu Leistungsverschlechterungen oder Trainingsinstabilität (z. B. unkontrolliertes Entropiewachstum), was die Notwendigkeit jeder Komponente validiert.

Bedeutung und Behauptungen

Das Papier behauptet, dass CBS eine prinzipielle Lösung für die Datenineffizienz und die Rauschprobleme bietet, die in aktuellen RLVR-Pipelines inhärent sind. Indem die Rollout-Selektion als adaptives Lernproblem und nicht als statische Heuristik behandelt wird, ermöglicht CBS:

Feingranulare Supervisionsfilterung: Automatische Priorisierung informativer Antworten bei gleichzeitiger Unterdrückung verrauschter.
Langhorizont-Datenwiederverwendung: Systematische Nutzung historischer hochwertiger Trajektorien zur Verfeinerung von Policies im Zeitverlauf.

Die Autoren betonen, dass ihr Ansatz ein skalierbares Selbstverbesserungsparadigma bietet, das nicht auf manuellen, methodenspezifischen Heuristiken beruht. Während die aktuelle Implementierung eine leichte 10-dimensionale Repräsentation zur Effizienzsteigerung verwendet, ist das Framework so konzipiert, dass es erweiterbar ist und potenziell die Integration tieferer semantischer Repräsentationen in zukünftigen Arbeiten ermöglicht. Die Arbeit positioniert sich als Schritt hin zu effizienterem und robusterem RLVR-Training für große Reasoning-Modelle.