Technischer Zusammenfassung: Exploration-getriebene Optimierung für das Reasoning großer Sprachmodelle zur Testzeit

1. Problemstellung

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben gezeigt, dass die Kombination von Nachtrainierungstechniken (insbesondere Reinforcement Learning, RL) mit Skalierung zur Testzeit die Reasoning-Fähigkeiten erheblich verbessert. Es besteht jedoch eine fundamentale Spannung zwischen diesen beiden Paradigmen:

• Skalierung zur Testzeit: Techniken wie Self-Consistency, Best-of-N (BoN)-Sampling und Monte-Carlo-Baumsuche verlassen sich auf diverses Sampling aus einer relativ abgeflachten Wahrscheinlichkeitsverteilung, um optimale Lösungen zu finden.
• RL-Nachtrainierung: Herkömmliches RL-basiertes Nachtrainieren (z. B. PPO, DPO, GRPO) schärft die Ausgabeverteilungen inhärent. Durch das Feinabstimmen des Modells auf Lösungen mit hoher Konfidenz und hoher Belohnung führen diese Methoden häufig zu einem „Mode Collapse", der die Vielfalt der generierten Trajektorien reduziert.

Dieser kollabierende Verteilungseffekt begrenzt die Wirksamkeit der Skalierung zur Testzeit, da das Modell keine diversen Kandidatenlösungen generiert, die für Aggregationsmethoden notwendig sind, um die richtige Antwort zu identifizieren. Bestehende Ansätze behandeln die Skalierung zur Testzeit oft als nachgelagerten Prozess und versäumen es, das Trainingsziel mit den Anforderungen einer diversen Exploration in Einklang zu bringen.

2. Methodik: Exploration-getriebene Optimierung (EDO)

Die Autoren schlagen Exploration-getriebene Optimierung (EDO) vor, ein Framework, das während der Nachtrainierungsphase Vielfalt fördert und gleichzeitig die Ausrichtung auf Aufgabenziele beibehält. EDO erweitert Belohnungs-biasierende Explorationsziele aus früheren Arbeiten (z. B. VPO, XPO) auf iterative Nachtrainierungsszenarien.

Kernmechanismus

EDO führt einen Regularisierungsterm ein, der die aktuelle Policy ($\pi_\theta$) explizit dazu anregt, von der vorherigen Policy-Iteration ($\pi_{t-1}$) abzuweichen, anstatt sich ausschließlich an eine statische Referenz-Policy ($\pi_{ref}$) zu binden.

1. Formulierung der Belohnungs-Biasierung:
   Die Methode interpretiert die Berechnung zur Testzeit als implizite Q-Funktion neu. Um Exploration zu fördern, maximiert EDO ein Ziel, das einen Term enthält, der die Divergenz von der vorherigen Policy begünstigt.

   • Das Optimierungsziel wird umformuliert, um $J^*(r^{(t)})$ zu maximieren, was unter spezifischen Bedingungen (erwartungswertnull unter der vorherigen Policy) in die Minimierung der reversen Kullback-Leibler-Divergenz (KL) übergeht: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$.
   • Dieser Term wirkt als eine „abstoßende" Kraft, die verhindert, dass die Policy in die dominanten Modi der vorherigen Iteration kollabiert, während der Standard-KL-Term vorwärts ($D_{KL}(\pi_\theta \parallel \pi_{ref})$) Stabilität gewährleistet und katastrophales Vergessen verhindert.

2. Integration mit bestehenden Algorithmen:
   EDO wird nahtlos in zwei beliebte iterative RL-Paradigmen integriert:

   • ED-iDPO (Exploration-getriebene iterative Direct Preference Optimization): Modifiziert den iDPO-Verlust durch Hinzufügen des Explorationsterms. Das Ziel lautet:
     $$L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$$
     wobei $\alpha$ die Stärke des Explorations-Bias steuert.
   • ED-GRPO (Exploration-getriebene Group Relative Policy Optimization): Passt das GRPO-Ziel an, um die token-level-reverse KL-Divergenz zwischen der aktuellen und der vorherigen Policy einzubeziehen, und glättet die Ausgabewahrscheinlichkeitsverteilung ohne die Notwendigkeit eines separaten Critic-Modells.

3. Iterativer Trainingsprozess:
   Das Framework arbeitet in einer iterativen Schleife:

   • Generieren von $N$ Kandidatenlösungen aus der aktuellen Policy.
   • Erstellen von Präferenzpaaren (für iDPO) oder Gruppenbelohnungen (für GRPO) basierend auf der Korrektheit.
   • Aktualisieren der Policy unter Verwendung des EDO-erweiterten Ziels.
   • Wiederholen, wobei die aktualisierte Policy als Referenz für den Explorationsterm der nächsten Iteration dient.

3. Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

1. Prinzipiengeleitetes Framework: Einführung von EDO, einem Framework, das eine abgeflachte Ausgabeverteilung fördert, um Exploration und Exploitation auszubalancieren und speziell eine effektivere Skalierung zur Testzeit zu ermöglichen.
2. Nahtlose Integration: Demonstration, dass EDO in Standard-Nachtrainierungs-Pipelines (iDPO und GRPO) integriert werden kann, um verbesserte Varianten (ED-iDPO und ED-GRPO) zu erzeugen, die die Vielfalt der Lösungen und die Reasoning-Leistung erheblich steigern.
3. Empirische Validierung: Umfassende Evaluierung, die konsistente Verbesserungen über verschiedene Backbones (Qwen, LLaMA) und Datensätze hinweg zeigt und die Robustheit von EDO bei der Verhinderung von Over-Optimierungs-Kollaps hervorhebt.

4. Experimentelle Ergebnisse

Leistung innerhalb der Verteilung (In-Distribution)

Experimente wurden an drei Reasoning-Benchmarks durchgeführt: GSM8K (Mathematik der Grundschule), Math (Wettbewerb auf Oberstufenniveau) und s1K (herausfordernde Fragen auf Wettbewerbsniveau).

• Genauigkeitsgewinne: Sowohl ED-iDPO als auch ED-GRPO schnitten besser ab als starke Baselines (ETO, GRPO, DAPO).
  • Auf s1K erreichte ED-GRPO eine Genauigkeit von 38,6 % (greedy) und 48,4 % (Self-Consistency) und übertraf die beste Baseline (ETO+SC) um 1,1 % bzw. 1,3 %.
  • Auf Math und GSM8K verbesserten EDO-Varianten die Genauigkeit konsistent gegenüber Standard-CoT- und Self-Consistency-Baselines.
• Synergie mit Skalierung zur Testzeit: Die Leistungsgewinne waren am ausgeprägtesten in Kombination mit Self-Consistency, was darauf hindeutet, dass die von EDO generierten diversen Lösungen effektiv durch Methoden zur Testzeit aggregiert werden.

Generalisierung außerhalb der Verteilung (Out-of-Distribution, OOD)

Modelle, die auf s1K trainiert wurden, wurden an fünf OOD-Datensätzen evaluiert (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench).

• Plug-and-Play-Fähigkeit: Mit EDO trainierte Modelle zeigten eine starke generalisierte Leistung über Datensätze hinweg ohne erneutes Training.
• Verbesserungen: ED-GRPO lieferte einen durchschnittlichen Gewinn von 2,4 % gegenüber der GRPO-Baseline über alle OOD-Aufgaben hinweg und zeigt, dass eine verbesserte Exploration die Übertragbarkeit auf heterogene Datenverteilungen verbessert.

Ablation und Analyse

• Trainingsstabilität: Im Gegensatz zu Standard-GRPO oder ETO, die nach wenigen Epochen Leistungsabfall oder ein Plateau aufwiesen (Anzeichen von Over-Optimierung), behielten EDO-Varianten über mehrere Trainingsiterationen hinweg stetige Leistungsgewinne bei.
• Erhaltung der Entropie: Abbildung 4 in der Arbeit zeigt, dass während Standardmethoden die Policy-Entropie schnell auf niedrige Werte treiben, ED-GRPO während des gesamten Trainings eine signifikant höhere Entropie aufrechterhält und so einen Mode-Kollaps verhindert.
• Vielfaltsmetriken: EDO-Varianten erzeugten erheblich diversere Ausgaben (gemessen durch Distinct-4). Beispielsweise verbesserte ED-GRPO auf s1K den Distinct-4-Wert um 47,0 % im Vergleich zur Baseline.
• Fallstudie: Eine qualitative Analyse an einem Geometrie-Problem ergab, dass Standardmodelle homogene, falsche Reasoning-Pfade produzierten, während ED-iDPO diverse Strategien generierte (koordinatengeometrische Ansätze, Zerlegung von Flächen, Symmetrie-Argumente), was es dem Voting zur Testzeit ermöglichte, die richtige Antwort auszuwählen.

5. Bedeutung und Behauptungen

Die Arbeit positioniert EDO als ein praktisches Framework zur Auflösung der Spannung zwischen RL-basierter Ausrichtung und den Vielfaltserfordernissen der Skalierung zur Testzeit.

• Verhinderung von Kollaps: Die Autoren behaupten, dass EDO effektiv einen „Over-Optimierungs-Kollaps" verhindert, einen häufigen Fehlermodus in RLHF, bei dem Modelle die Fähigkeit verlieren, alternative Lösungen zu explorieren.
• Kompatibilität: Die Methode wird als kompatibel mit verschiedenen Policy-Optimierungsalgorithmen und Inferenztechniken zur Testzeit (Self-Consistency, BoN, Baumsuche) hervorgehoben.
• Skalierbarkeit: Indem sie Modellen ermöglicht, diverse Inferenzpfade zu nutzen, erlaubt EDO eine effektivere Nutzung der Rechenleistung zur Testzeit, ein kritischer Faktor für die Skalierung von Reasoning-Fähigkeiten ohne Erhöhung der Modellparameter.

Die Autoren schließen, dass EDO einen prinzipiengeleiteten Ansatz zur Balance zwischen Exploration und Exploitation bietet und eine neue Benchmark für LLM-Reasoning etabliert, die insbesondere in Szenarien, die auf Skalierung zur Testzeit angewiesen sind, besonders effektiv ist.