Technische Zusammenfassung: REFT – Rollout Exploration mit First-Token-Diversifizierung

Problemstellung

Reinforcement Learning with Verifiable Rewards (RLVR) hat sich als primäre Methode zur Verbesserung der reasoning-Fähigkeiten großer Sprachmodelle (LLMs) etabliert, ohne auf gelabelte reasoning-Trajektorien zurückzugreifen. Bei gruppierten RLVR-Methoden wie GRPO und DAPO generiert eine Policy eine endliche Menge an Rollouts (reasoning-Spuren) für einen einzelnen Prompt, die von einem automatischen Verifizierer bewertet werden. Das Lernsignal wird aus den relativen Belohnungen innerhalb dieser Gruppe abgeleitet.

Eine kritische Engstelle in diesem Paradigma ist die Rollout-Diversität. Wenn alle Rollouts in einer Gruppe ähnliche reasoning-Pfade verfolgen oder identische Belohnungen erhalten, liefert die Gruppe nur ein geringes kontrastives Signal für Policy-Updates. Bestehende Ansätze versuchen, die Exploration zu erweitern, indem sie die Sampling-Temperatur erhöhen, bei reasoning-Pivots mit hoher Entropie verzweigen oder diverse finale Antworten auswählen. Diese Methoden gehen jedoch häufig davon aus, dass frühe Prefix-Token als feste Gerüste fungieren oder dass wertvolle Exploration nur in hoch-unsicheren, substanziellen reasoning-Schritten liegt.

Die Autoren identifizieren eine strukturelle Ineffizienz: Das erste Token, das nach dem reasoning-Marker (<thought>) generiert wird, ist typischerweise ein inhaltsarmer Diskurs-Eröffner (z. B. „First," „Let," „To"). Standard-Sampling-Policies zeigen eine scharf gipfelnde Verteilung über diese Token, was die Rollout-Gruppe stark zu einem einzigen Eröffner hin verzerren. Entscheidend ist die Beobachtung der Autoren, dass die Wahrscheinlichkeit dieser ersten Token zwar hochkonzentriert ist, die Korrektheit der resultierenden Rollouts jedoch über die Top-20-Kandidaten hinweg nahezu flach verläuft. Dies schafft eine „low-load, high-leverage"-Möglichkeit: Das erste Token hat einen minimalen semantischen Load, übt jedoch einen hohen distributionellen Hebel aus, indem es die gesamte nachfolgende Fortsetzung in verschiedene semantische Regionen leitet.

Methodik: REFT

Die Arbeit stellt REFT (Rollout Exploration with First-Token Diversification) vor, einen minimalen Eingriff in die RLVR-Pipeline, der das erste Token diversifiziert, ohne die Modellarchitektur, den Verifizierer, die Belohnungsfunktion oder das RL-Ziel zu verändern.

Kernmechanismus

REFT ersetzt das standardmäßige stochastische Sampling des ersten Tokens durch eine geschichtete Sampling-Strategie:

1. Kandidatenauswahl: Für einen gegebenen Prompt $x$ wird die Verteilung der Policy an der Position des ersten Tokens evaluiert. Die Top-$N$ gültigen semantischen Token (ohne Leerzeichen und Sonder-Token) werden als Kandidatenmenge $F_N(x)$ identifiziert.
2. Uniformes Sampling: Aus $F_N(x)$ werden $K$ verschiedene erste Token uniform ohne Zurücklegen gesampelt, um eine Menge $S_K(x)$ zu bilden.
3. Budget-Allokation: Die Gesamtgröße der Rollout-Gruppe $G$ wird gleichmäßig auf die $K$ ausgewählten Token aufgeteilt. Für jedes ausgewählte erste Token $f \in S_K(x)$ generiert das Modell $G/K$ Fortsetzungen, die auf $f$ konditioniert sind, wobei der unveränderte Baseline-Decoder für den Rest der Sequenz verwendet wird.
4. Training: Die resultierende diversifizierte Gruppe wird vom Standard-RLVR-Algorithmus (z. B. GRPO oder DAPO) verarbeitet, ohne Importance-Weighting-Korrekturen für das Mismatch beim First-Token-Sampling.

Wichtige Design-Entscheidungen

• Low-Load, High-Leverage: Die Methode zielt auf eine Position ab, an der das Modell „künstlich sicher" ist (hohe Wahrscheinlichkeit für einen spezifischen Eröffner), aber die Korrektheit über Alternativen hinweg stabil bleibt.
• Kein globales Rauschen: Im Gegensatz zur Erhöhung der Temperatur, die Verteilungen über die gesamte Trajektorie flacht (was potenziell spätere, kritische reasoning-Schritte schädigen könnte), injiziert REFT Diversität nur beim ersten Token und bewahrt die Integrität der nachfolgenden reasoning-Kette.
• Drop-in-Ersatz: REFT erfordert keine Änderungen am zugrunde liegenden RL-Ziel, der Vorteilsschätzung oder der Verifizierer-Logik.

Hauptbeiträge

1. Diagnostische Erkenntnis: Die Autoren zeigen, dass die First-Token-Verteilung in reasoning-Modellen scharf konzentriert, aber von der Korrektheit entkoppelt ist. Sie belegen, dass First-Token mit niedriger Wahrscheinlichkeit innerhalb der Top-20 zu korrekten Rollouts führen können, genauso häufig wie das wahrscheinlichste Token, sofern die Fortsetzung normal gesampelt wird.
2. Routing-Effekt: Experimente bestätigen, dass verschiedene erste Token das Modell in unterschiedliche semantische Fortsetzungsregionen leiten. Das uniforme Sampling der Top-20 ersten Token führt zu einer signifikant höheren semantischen Diversität in der verbleibenden Fortsetzung (nach Entfernen des ersten Tokens) im Vergleich zum Standard-Sampling.
3. REFT-Algorithmus: Eine einfache, rechnerisch effiziente Methode zur Diversifizierung von Rollout-Gruppen durch Umverteilung des festen Rollout-Budgets auf plausible First-Token-Eröffner.
4. Minderung von Over-Crediting: Die Arbeit zeigt, dass Standard-GRPO-Updates die Präferenz für das Top-1-First-Token über die Trainingsschritte hinweg zu schärfen neigen, selbst wenn der Verifizierer diese Präferenz nicht stark unterstützt. REFT mildert dies, indem es die Abdeckung mehrerer plausibler Eröffner sicherstellt und verhindert, dass die Policy eine spezifische Diskurs-Präferenz übermäßig würdigt.

Experimentelle Ergebnisse

Die Autoren evaluierten REFT über vier Basismodelle (Qwen2.5-0.5B, 3B, 7B und Llama3.2-3B) und zwei RLVR-Ziele (GRPO und DAPO) auf drei Datensätzen (GSM8K, BigMath-Easy, BigMath).

• Leistungssteigerungen: REFT verbessert konsistent die aggregierte Leistung über die Metriken Pass@1, Pass@8 und Pass@64.
  • Auf GSM8K übertreffen REFT-ergänzte GRPO und DAPO ihre Baselines.
  • Beim „Math Avg" (Durchschnitt aus MATH-500, AIME 2024/2025, AMC 2023) sind die Gewinne besonders ausgeprägt, was darauf hindeutet, dass REFT effektiv ist, wenn eine breitere Exploration kritisch ist.
  • Verbesserungen werden selbst im kleinsten Maßstab (0,5B Parameter) beobachtet, was zeigt, dass die Methode nicht von großer Modellkapazität abhängt.
• Diversitätsanalyse:
  • Trainings-Diversität: REFT erzeugt während des Trainings die semantisch vielfältigsten Rollout-Gruppen.
  • Inferenz-Konzentration: Paradoxerweise produzieren mit REFT trainierte Modelle zum Inferenzzeitpunkt konzentriertere Ausgaben, was darauf hindeutet, dass die Methode der Policy hilft, nach der Exploration diverser Pfade effektiver auf erfolgreiche Muster zu konvergieren.
  • Zero-Variance-Zerlegung: REFT reduziert den Anteil der „alle-falsch"-Gruppen (Zero-Variance-Gruppen, in denen keine korrekte Trajektorie gefunden wird), ohne die „alle-korrekt"-Sättigung zu erhöhen, was auf eine nützlichere Exploration hindeutet.
• Effizienz: REFT führt einen vernachlässigbaren Laufzeit-Overhead ein. In einigen Fällen reduziert es die GPU-Stunden leicht aufgrund kürzerer durchschnittlicher Abschlusslängen, die sich aus einer höheren Genauigkeit ergeben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass REFT eine „einfache Umkehrung der üblichen Explorations-Intuition" bietet. Anstatt nach Diversität in hoch-entropischen, unsicheren reasoning-Gabelungen zu suchen, kann nützliche Diversität aus inhaltsarmen Prefix-Wahlen gewonnen werden, die scharf verzerrt, aber schwach mit der Korrektheit verknüpft sind.

Die Autoren betonen, dass REFT kein neuer RL-Algorithmus ist, sondern ein gezielter Ersatz für die erste Entscheidung des Rollout-Samplers. Seine Bedeutung liegt in:

• Effizienz: Es erweitert das Trainingssignal, ohne das Rollout-Budget oder die Rechenkosten zu erhöhen.
• Robustheit: Es verbessert sowohl die Genauigkeit bei einzelnen Samples (Pass@1) als auch die Wahrscheinlichkeit, innerhalb eines festen Budgets eine korrekte Lösung zu finden (Pass@8/64), und adressiert den Trade-off, der oft bei RLVR zu sehen ist, bei dem die Verbesserung von Pass@1 die zugängliche Verteilung einschränkt.
• Generalisierbarkeit: Die Methode funktioniert über verschiedene Modellgrößen und RLVR-Ziele hinweg, was darauf hindeutet, dass das Phänomen des „First-Token-Routings" ein grundlegendes Merkmal aktueller reasoning-Modelle ist, das für ein besseres Training genutzt werden kann.

Die Arbeit schließt, dass das erste Token nach dem reasoning-Marker ein unerwartet kostengünstiger und effektiver Interventionspunkt für die RLVR-Exploration ist, der es Modellen ermöglicht, breitere Fortsetzungsregionen zu erkunden, während die Stabilität der reasoning-Spur gewahrt bleibt.