Technische Zusammenfassung: XRPO – Die Grenzen von GRPO durch gezielte Exploration und Exploitation erweitern

1. Problemstellung

Jüngste Fortschritte beim logischen Schlussfolgern (Reasoning) von Large Language Models (LLMs), die durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) und Group Relative Policy Optimization (GRPO) vorangetrieben werden, sehen sich anhaltenden Engpässen in Bezug auf Effizienz und Qualität gegenüber. Die Autoren identifizieren zwei Hauptbeschränkungen bestehender Ansätze (z. B. GRPO, GSPO):

1. Unzureichende Exploration wertvoller Rollouts: Aktuelle Methoden setzen typischerweise eine statische Rollout-Allokation ein (z. B. Erzeugung einer festen Anzahl von Rollouts, wie 16, pro Prompt). Diese gleichmäßige Verteilung verwässert die Lernsignale von Prompts mit hoher Belohnungsvarianz und lässt Prompts mit „Null-Genauigkeit" (oft die schwierigsten Fragen) unzureichend erforscht. Da diese schwierigen Prompts entscheidend für die Erweiterung der Leistungsgrenzen des Modells sind, verhindert das Ignorieren oder Verwerfen derselben (wie es einige dynamische Sampling-Methoden tun), dass das Modell die Leistungsgrenzen durchbricht.
2. Unzureichende Ausnutzung von Trajektorien-Signalen: Standardmäßige regelbasierte Belohnungen (z. B. binär 0/1) kollabieren die Unterscheidungen zwischen diversen Rollouts. Selbst wenn ein Modell eine korrekte Antwort generiert, ist das Belohnungssignal identisch, unabhängig von der Komplexität oder Wahrscheinlichkeit des Schlussfolgerungspfades. Diese Sparsamkeit unterdrückt die Fähigkeit des Modells, zwischen oberflächlich ähnlichen Erfolgen zu unterscheiden, und versäumt es, die in Generierungstrajektorien eingebetteten reichhaltigen Informationen zu nutzen, was zu homogenisierten, suboptimalen Verhaltensweisen führt.

2. Methodik: XRPO-Rahmenwerk

XRPO (eXplore–eXploit GRPO) stellt die Policy-Optimierung durch eine prinzipielle Perspektive der Balance zwischen Exploration und Exploitation neu dar. Es führt drei Kernmechanismen ein, um die identifizierten Beschränkungen zu adressieren:

A. Hierarchische Rollout-Planung (Exploration)

Anstelle einer statischen Allokation führt XRPO einen mathematisch fundierten hierarchischen Rollout-Planer ein, der Rollout-Budgets adaptiv basierend auf Unsicherheitsreduktion und Explorationsboni zuweist.

• Unsicherheitsbewusstsein: Der Planer priorisiert Prompts, bei denen ein zusätzliches Rollout die maximale statistische Reduktion der Unsicherheit bietet. Dies wird quantifiziert mittels der halben Breite eines Student-t-Konfidenzintervalls für die geschätzte mittlere Belohnung.
• Explorationsbonus: Um zu verhindern, dass spärlich gesampelte oder schwierige Prompts vernachlässigt werden, wird ein Explorationsbonus zum Prioritätswert addiert, der einen Trade-off zwischen der Ausnutzung von Prompts mit hoher Varianz und der Exploration unter-sampelter Prompts fördert.
• Phasenweise Allokation: Die Strategie arbeitet in Phasen. Eine initiale Basisanzahl von Rollouts etabliert ein Basisliniensignal, gefolgt von dynamischen Runden, in denen die verbleibenden Budgets proportional zu den berechneten Prioritätswerten verteilt werden.

B. ICL-Saatgut für Symmetriebrechung (Exploration)

Um die „Null-Belohnungs-Symmetrie" zu adressieren, bei der schwierige Prompts konsistent kein Gradientensignal liefern, integriert XRPO In-Context-Learning (ICL)-Saatgut.

• Mechanismus: Für Prompts, bei denen alle Rollouts fehlschlagen, ruft das System kuratierte Beispiele aus einem sich entwickelnden Korpus verifizierter erfolgreicher Rollouts (die vom Modell selbst während des Trainings generiert wurden) ab und injiziert sie als Kontext.
• Ziel: Dies erweitert vorübergehend den Suchraum und ermöglicht dem Modell den Zugriff auf Schlussfolgerungsstrategien, die unter spärlichen Belohnungen sonst unzugänglich wären. Es bricht die Symmetrie von Null-Belohnungs-Gruppen und ermöglicht eine Policy-Verbesserung bei zuvor unlösbaren Prompts.
• Korpus-Management: Das ICL-Korpus wird als leer initialisiert und inkrementell mit on-policy-Erfolgen gefüllt, entwickelt sich natürlich mit der Policy weiter und benötigt keine externen Lehrer.

C. Neuheitsgeleitete Vorteilsschärfung (Exploitation)

Um den Nutzen erfolgreicher Trajektorien zu maximieren, führt XRPO ein Neuheitsmaß auf Sequenzebene ein, um die Vorteilsschätzung zu verfeinern.

• Definition der Neuheit: Neuheit wird als Abweichung der längennormalisierten Log-Likelihood eines Rollouts vom Gruppenmittelwert definiert. Korrekte Antworten, die unter der aktuellen Verteilung des Modells untypisch (geringe Wahrscheinlichkeit) sind, gelten als „neu".
• Vorteilsformung: Für Rollouts, die eine volle Belohnung erhalten, wird ein entropieinspirierter Bonus zum Standard-GRPO-Vorteil addiert, wenn das Rollout neu ist (d. h. eine geringere Wahrscheinlichkeit als der Gruppenmittelwert aufweist).
• Wirkung: Dieser Mechanismus verstärkt niedrigwahrscheinliche, aber korrekte Antworten, ermutigt das Modell, diverse Schlussfolgerungspfade zu erkunden, und verhindert eine vorzeitige Konvergenz zu vertrauten, aber suboptimalen Mustern. Er arbeitet effizient, ohne zusätzliche Rollouts zu erfordern.

3. Hauptbeiträge

Die Arbeit beansprucht drei primäre Beiträge:

1. Neuartige hierarchische Rollout-Exploration: Ein Planer, der Ressourcen adaptiv basierend auf Unsicherheitsreduktion und Explorationsboni zuweist, gekoppelt mit ICL-Saatgut zur Brechung der Null-Belohnungs-Symmetrie bei schwierigen Prompts.
2. Neuheitsgeleitete Vorteilsschärfung: Ein Mechanismus, der Sequenz-Likelihoods nutzt, um seltene, korrekte Schlussfolgerungspfade zu unterscheiden und zu belohnen, wodurch die Generalisierung verbessert und der Homogenisierung der Belohnungen entgegengewirkt wird.
3. Umfassende Evaluation: Zahlreiche Experimente, die zeigen, dass XRPO State-of-the-Art-Baselines (GRPO, GSPO, DAPO, TreePO) über diverse Mathematik- und Coding-Benchmarks hinweg übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten XRPO an Modellen einschließlich Qwen3-1.7B, Qwen2.5-7B-Instruct und Llama-3.2-3B über Benchmarks wie AIME, HMMT, BRUMO, MATH, Codeforces und LiveCodeBench.

• Leistungssteigerungen: XRPO übertrifft bestehende Fortschritte konsistent.
  • Bei Qwen3-1.7B wurde eine absolute Steigerung von bis zu 4 % bei pass@1 und 6 % bei cons@32 im Vergleich zu GSPO erreicht.
  • Bei Llama-3.2-3B zeigte sich eine verbesserte durchschnittliche Leistung auf schwierigen Mathematik-Benchmarks (AIME, BRUMO).
  • Ablationsstudien bestätigten, dass das Entfernen einer beliebigen Komponente (ICL, Vorteilsschärfung oder Hierarchische Planung) die Leistung verschlechterte und damit die Notwendigkeit des vollständigen Rahmens validierte.
• Trainings-Effizienz: XRPO beschleunigte die Trainingskonvergenz um das 2,7-fache im Vergleich zu GRPO. Beispielsweise erreichte XRPO auf dem MATH-Datensatz in 450 Schritten eine Genauigkeit von 75 %, wohingegen GRPO etwa 1.200 Schritte benötigte.
• Inferenz-Effizienz: Der Rahmenwerk führte natürlich zu prägnanterem Schlussfolgern. XRPO reduzierte die durchschnittliche Generationslänge um 34,7 % für Qwen3 und um 6,17 % für Qwen2.5, da das Modell lernte, innerhalb von Kontextbeschränkungen effizienter gültige Lösungen zu finden.
• Overhead: Die Methode führte zu einem vernachlässigbaren Rechenaufwand (ca. 4,7 % Latenzzunahme pro Schritt), wobei das Laden des ICL-Korpusses und die Vorteilsschärfung nur minimale Zeit hinzfügten.

5. Bedeutung und Behauptungen

Die Arbeit positioniert XRPO als einen prinzipiellen Rahmen, der Exploration und Exploitation in RLVR systematisch neu ausbalanciert. Ihre Bedeutung liegt in:

• Durchbrechen von Leistungsgrenzen: Durch die gezielte Adressierung und Lösung von „Null-Belohnungs"-schwierigen Prompts mittels ICL-Saatgut ermöglicht XRPO Modellen, über ihre aktuellen Entscheidungsgrenzen hinauszuwachsen, eine Leistung, die für Standard-Methoden mit statischem oder einfachem dynamischem Sampling schwer zu erreichen ist.
• Effiziente Ressourcennutzung: Sie zeigt, dass mathematisch fundierte, adaptive Rollout-Allokation überlegene Ergebnisse liefern kann, ohne den massiven Rechenaufwand, der mit baumbasiertem Suchen oder übermäßigem Sampling verbunden ist.
• Generalisierbarkeit: Der Rahmen ist mit jüngsten Optimierungsfortschritten kompatibel (z. B. ergänzt er GSPO) und funktioniert effektiv über verschiedene Modellgrößen und Domänen (Mathematik und Code) hinweg.

Die Autoren weisen auf Einschränkungen hin, insbesondere dass sie die Methode nicht an sehr großskaligen Modellen (300B+ Parameter) evaluiert haben und dass das ICL-Korpus derzeit auf den eigenen Erfolgen des Modells beruht und nicht auf stärkeren Lehrermodellen. Die Ergebnisse deuten jedoch darauf hin, dass XRPO einen robusten Weg zu einer stabileren und schnelleren RLHF-Konvergenz bietet.