Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning

Titel: Slow-Fast Policy Optimization (SFPO): Reposition-Before-Update für LLM-Reasoning

Veröffentlicht bei: ICLR 2026

---

1. Problemstellung

Reinforcement Learning (RL) hat sich als zentraler Treiber für die Verbesserung des Reasoning (Schlussfolgern) in Large Language Models (LLMs) etabliert, insbesondere durch Algorithmen wie Group Relative Policy Optimization (GRPO). Trotz der Erfolge leiden on-policy-Algorithmen wie GRPO jedoch unter strukturellen Ineffizienzen, insbesondere in den frühen Trainingsphasen:

• Instabilität durch Rauschen: Bei schwachen oder uninformativen Rollouts (Generierung von Antwortsequenzen) führen stochastische Belohnungen zu Gradienten mit hoher Varianz. Dies destabilisiert die Updates.
• Ineffiziente Datennutzung: Die gängige Praxis bei GRPO besteht darin, pro Batch von Rollouts nur einen einzigen Optimierungsschritt (One-Shot-Update) durchzuführen. Dies führt zu einem verrauschten und weniger zuverlässigen Update-Richtung, wodurch potenziell nützliche Gradienteninformationen innerhalb des Batches ungenutzt bleiben.
• Off-Policy-Drift: Einfaches Wiederverwenden von Rollout-Daten für mehrere Updates (Off-Policy) führt oft zu einer Diskrepanz zwischen der Verteilung der generierten Daten und der aktuellen Policy, was die Trainingsstabilität beeinträchtigt.

Das Ziel ist es, die Stabilität zu erhöhen, die Sample-Effizienz zu verbessern und die Konvergenz zu beschleunigen, ohne die zugrundeliegende Zielsetzung (Objective) oder den Rollout-Prozess zu verändern.

---

2. Methodik: Slow-Fast Policy Optimization (SFPO)

SFPO ist ein Plug-in-Update-Regel, die jeden Trainingsschritt in drei koordinierte Stadien zerlegt. Das Design folgt dem Prinzip „Reposition-Before-Update" (Positionierung vor dem Update), um Off-Policy-Drift zu kontrollieren.

Die drei Stadien:

1. Stage I: Fast Trajectory (Schnelle Trajektorie)

   • Anstatt nur einen Gradientenschritt pro Batch durchzuführen, werden $K$ aufeinanderfolgende innere Updates ($\theta_{s,0} \to \theta_{s,1} \to \dots \to \theta_{s,K}$) auf demselben Batch von Rollouts durchgeführt.
   • Zweck: Dies integriert den lokalen Gradientenfeld über eine kurze Trajektorie im Parameterraum. Durch die Summierung mehrerer Schritte werden individuelle Rauschanteile gedämpft, und die resultierende Update-Richtung wird stabiler und weniger anfällig für zufällige Schwankungen eines einzelnen Gradienten.

2. Stage II: Reposition (Repositionierung)

   • Da die schnellen Updates auf Daten basieren, die bei $\theta_{s,0}$ generiert wurden, ist der Endpunkt $\theta_{s,K}$ nun off-policy. Um dies zu korrigieren, wird eine Interpolation zwischen dem Startpunkt $\theta_{s,0}$ und dem Endpunkt $\theta_{s,K}$ durchgeführt:
     $$\tilde{\theta}_{s,K} = \theta_{s,0} + \alpha (\theta_{s,K} - \theta_{s,0})$$
   • Der Parameter $\alpha \in [0, 1]$ steuert das Ausmaß der Off-Policy-Drift. Ein kleineres $\alpha$ hält die Update näher am ursprünglichen On-Policy-Punkt und wirkt als impliziter Trust-Region-Radius, der die Verteilungsverschiebung begrenzt.

3. Stage III: Slow Correction (Langsame Korrektur)

   • Auf dem repositionierten Punkt $\tilde{\theta}_{s,K}$ wird ein zusätzlicher Gradientenschritt (der „langsame" Schritt) durchgeführt, um den Parametervektor endgültig zu aktualisieren:
     $$\theta_{s+1} = \tilde{\theta}_{s,K} - \eta \nabla L(\tilde{\theta}_{s,K})$$
   • Dies stellt eine „Predictor-Corrector"-Struktur dar, die die Stabilität der schnellen Trajektorie mit einer kurvenbewussten Korrektur kombiniert.

Adaptive Steuerung von $\alpha$:

Ein adaptiver Mechanismus steuert $\alpha$ basierend auf der Entropie der Policy. In frühen Phasen (hohe Signalstärke) wird $\alpha > 0$ verwendet, um die stabilisierte Trajektorie zu nutzen. Sobald die Entropie stark schwankt (Hinweis auf Annäherung an ein lokales Minimum oder Instabilität), wird $\alpha$ auf 0 gesetzt, und das Training fällt auf das standardmäßige GRPO zurück, um Stabilität zu gewährleisten.

---

3. Schlüsselbeiträge

• Neue Update-Regel: Einführung von SFPO als einfache, aber effektive Erweiterung für On-Policy-Policy-Gradient-Methoden (wie GRPO).
• Plug-and-Play-Kompatibilität: SFPO verändert weder die zugrundeliegende Verlustfunktion, noch die Rollout-Generierung oder die KL-Regularisierung. Es kann nahtlos in bestehende Pipelines integriert werden.
• Theoretische Einsichten: Das Paper liefert theoretische Intuitionen für jede Phase, insbesondere wie die schnelle Trajektorie als kurvenbewusster Tiefpassfilter wirkt und wie die Repositionierung Off-Policy-Overfitting verhindert.
• Umfassende Evaluation: Validierung über fünf verschiedene Modelle und sechs Reasoning-Benchmarks.

---

4. Ergebnisse

Die Experimente wurden auf Modellen wie Qwen2.5-Math, DeepSeek-R1-Distill und Qwen3 durchgeführt, trainiert auf Datensätzen wie DAPO, Math und Skywork-OR1.

• Leistungssteigerung: SFPO übertrifft GRPO konsistent. Auf mathematischen Reasoning-Benchmarks (z. B. AIME24/25, Math-500) wurde eine durchschnittliche Verbesserung von bis zu 2,80 Punkten gegenüber GRPO erzielt.
  • Beispiel: Bei DS-distilled-Qwen-1.5B stieg die durchschnittliche Genauigkeit von 47,73 % (GRPO) auf 50,53 % (SFPO).
• Sample-Effizienz: SFPO benötigt signifikant weniger Rollouts, um die gleiche beste Genauigkeit wie GRPO zu erreichen.
  • Bis zu 4,93-fach weniger Rollouts wurden benötigt.
• Zeitliche Effizienz: Trotz der zusätzlichen inneren Berechnungen pro Schritt reduziert SFPO die Wandzeit (Wall-Clock Time) um bis zu 4,19-fach, da der Flaschenhals der Rollout-Generierung (die den Großteil der Zeit ausmacht) durch weniger benötigte Batches umgangen wird.
• Stabilität: SFPO zeigt stabilere Trainingskurven, verhindert das Kollabieren der Antwortlänge (Overthinking) und führt zu einer effizienteren Exploration (niedrigere Entropie bei gleicher oder besserer Leistung).

---

5. Bedeutung und Fazit

SFPO adressiert ein fundamentales Problem im RL-Training von LLMs: die Instabilität und Ineffizienz von One-Shot-Updates bei verrauschten Daten. Durch die Zerlegung des Updates in eine schnelle Trajektorie, eine Repositionierung zur Kontrolle der Verteilungsdrift und eine langsame Korrektur gelingt es, die Sample-Effizienz drastisch zu steigern.

Die Bedeutung liegt in drei Hauptpunkten:

1. Kostensenkung: Deutlich reduzierte Trainingskosten durch weniger benötigte Rollouts und kürzere Trainingszeiten.
2. Robustheit: SFPO macht das Training weniger anfällig für die Qualität der frühen Rollouts, was besonders für komplexe Reasoning-Aufgaben entscheidend ist.
3. Flexibilität: Da es die Basis-Logik von GRPO nicht ändert, kann SFPO als universelles Modul in zukünftige Optimierungsstrategien (z. B. Curriculum Learning oder Meta-Learning) integriert werden.

Zusammenfassend bietet SFPO einen einfachen, aber leistungsstarken Weg, um die Fähigkeiten von LLMs im Bereich des logischen Schlussfolgerns schneller und stabiler zu entwickeln.