Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning

Titel: Slow-Fast Policy Optimization (SFPO): Reposition-Before-Update voor LLM Redenering

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Ziyan Wang, Zheng Wang, et al. (Georgia Tech, UIUC, University of Manchester, NVIDIA, Emory University)

---

1. Het Probleem

Versterkend leren (RL) is cruciaal geworden voor het verbeteren van redeneervermogen in Large Language Models (LLM's), met name met algoritmen zoals Group Relative Policy Optimization (GRPO). Ondanks succesvolle toepassingen (bijv. DeepSeek-R1), lijdt GRPO aan fundamentele structurele inefficiënties, vooral in de vroege trainingsfasen:

• Ruis en Instabiliteit: GRPO gebruikt een "one-shot" update: één enkele stochastische gradiëntstap per batch van rollouts (gegenereerde antwoorden). Omdat de beloningen in de vroege fasen vaak van lage kwaliteit of zeer variabel zijn, leiden deze updates tot hoge variatie in de gradiënten, wat de training instabiel maakt.
• Inefficiënt Data-gebruik: Door slechts één update per batch uit te voeren, wordt waardevolle gradiëntinformatie die beschikbaar zou zijn bij meerdere stappen binnen dezelfde batch, genegeerd.
• Off-Policy Drift: Het hergebruiken van dezelfde rollout-data voor meerdere updates (off-policy) zonder correctie leidt tot een distributiemismatch. De policy verandert te snel ten opzichte van de data die werd gegenereerd, wat de gradiënt-schattingen bevooroordeelt en training kan destabiliseren.

2. Methodologie: Slow-Fast Policy Optimization (SFPO)

SFPO is een plug-and-play framework dat de bestaande GRPO-objective en rollout-proces behoudt, maar de update-mechanica herstructureert in drie gecoördineerde fasen. Het doel is om de ruis te reduceren en de sample-efficiëntie te verhogen zonder extra rollouts te genereren.

De drie fasen per iteratie $s$ zijn:

Fase I: Fast Trajectory (Snelle Trajectorie)

In plaats van één update, voert SFPO $K$ opeenvolgende gradiëntupdates uit op dezelfde batch van rollouts, beginnend bij de huidige parameters $\theta_{s,0}$.

• Mechanisme: $\theta_{s,k+1} = \theta_{s,k} - \eta \nabla_\theta L(\theta_{s,k})$ voor $k = 0, \dots, K-1$.
• Doel: Door meerdere stappen op dezelfde data te nemen, wordt de cumulatieve gradiëntrichting gestabiliseerd. Ruis in individuele stappen wordt gemiddeld, wat leidt tot een betrouwbaarder zoekrichting dan een enkele "one-shot" stap.

Fase II: Reposition (Herpositionering)

De snelle trajectorie leidt tot een punt $\theta_{s,K}$ dat ver weg kan liggen van de oorspronkelijke distributie (off-policy drift). SFPO introduceert een interpolatiestap om dit te corrigeren.

• Mechanisme: $\tilde{\theta}_{s,K} = \theta_{s,0} + \alpha (\theta_{s,K} - \theta_{s,0})$, waarbij $\alpha \in [0, 1]$.
• Doel: Dit fungeert als een impliciete "trust region". Een kleinere $\alpha$ houdt de update dichter bij de oorspronkelijke on-policy punt, waardoor de drift wordt beperkt en overfitting op de specifieke batch wordt voorkomen. Dit is geïnspireerd door Lookahead Optimization.

Fase III: Slow Correction (Trage Correctie)

Na de herpositionering wordt er één extra gradiëntstap uitgevoerd op het geïnterpoleerde punt.

• Mechanisme: $\theta_{s+1} = \tilde{\theta}_{s,K} - \eta \nabla_\theta L(\tilde{\theta}_{s,K})$.
• Doel: Dit zorgt voor een "predictor-corrector" structuur. De snelle trajectorie stabiliseert de richting, de herpositionering beperkt de drift, en de trage correctie past de update aan op de lokale kromming (curvature) van het nieuwe punt.

Adaptieve Planning van $\alpha$

Om de balans tussen stabiliteit en snelheid te beheren, wordt $\alpha$ dynamisch aangepast op basis van de entropie van de policy:

• In vroege fasen (hoge entropie, veel exploratie) wordt een hogere $\alpha$ gebruikt om de voordelen van de snelle trajectorie te benutten.
• Zodra de entropie schokkend verandert (wat wijst op convergentie of instabiliteit), wordt $\alpha$ verlaagd naar 0. Hierdoor schakelt SFPO automatisch terug naar standaard GRPO voor stabiliteit in de late trainingsfasen.

3. Belangrijkste Bijdragen

1. SFPO Framework: Een nieuwe update-regel die bestaande on-policy methoden (zoals GRPO) uitbreidt met een "Fast-Reposition-Slow" decompositie.
2. Plug-and-Play Compatibiliteit: SFPO vereist geen wijzigingen in de onderliggende loss-functie, de rollout-generatie of de KL-straf. Het kan direct worden geïntegreerd in bestaande pipelines.
3. Theoretische Inzichten: Het paper biedt theoretische onderbouwing voor hoe de snelle trajectorie fungeert als een laagdoorlaatfilter voor gradiëntruis en hoe de herpositionering off-policy drift controleert.
4. Uitgebreide Validatie: Experimenten op vijf verschillende modellen en zes redeneerbenchmarks tonen consistent verbeteringen.

4. Resultaten

SFPO werd getest op modellen zoals Qwen2.5-Math, DeepSeek-R1-Distill en Qwen3, met datasets zoals DAPO/Math en Skywork-OR1.

• Prestatieverbetering: SFPO presteert consistent beter dan GRPO. Op wiskundige redeneerbenchmarks (bijv. AIME25, Math500) werd een gemiddelde verbetering van tot 2,80 punten bereikt ten opzichte van GRPO.
  • Voorbeeld: DeepSeek-R1-Distill-Qwen-1.5B steeg van 47,73% (GRPO) naar 50,53% (SFPO) gemiddelde nauwkeurigheid.
• Sample Efficiency: SFPO bereikt de beste nauwkeurigheid van GRPO met tot 4,93x minder rollouts.
• Tijdsbesparing: Door het verminderen van het aantal benodigde rollouts (de grootste bottleneck in RLHF), wordt de wandklok-tijd (wall-clock time) met tot 4,19x verkort om dezelfde prestaties te bereiken.
• Stabiliteit: SFPO voorkomt de "collapse" naar te korte antwoorden die vaak bij GRPO optreedt en handhaaft een stabielere entropie en beloningsscore tijdens de training.

5. Betekenis en Impact

Deze paper introduceert een fundamenteel nieuwe kijk op hoe policy updates in LLM-reasoning moeten plaatsvinden. In plaats van te vertrouwen op één ruwe gradiëntstap, gebruikt SFPO een gestructureerde trajectorie om ruis te filteren en drift te beheersen.

• Efficiëntie: Het lost het probleem op dat RL-training voor LLM's vaak te duur en traag is door het aantal benodigde inferenties (rollouts) drastisch te verminderen.
• Stabiliteit: Het biedt een oplossing voor de instabiliteit in de vroege trainingsfasen, wat essentieel is voor het trainen van complexe redeneermodellen.
• Toekomstgericht: De modulaire structuur van SFPO biedt een basis voor verdere extensies, zoals curriculum learning of meta-learning, zonder de kern van de bestaande RL-pipeline te verstoren.

Kortom, SFPO bewijst dat het herstructureren van de update-mechanica (reposition-before-update) een krachtigere en efficiëntere manier is om redeneervermogen in LLM's te optimaliseren dan de huidige state-of-the-art GRPO-methoden.