Technische Samenvatting: Staleness–Learning Rate Schaalwetten voor Asynchrone RLHF

Probleemstelling

High-throughput Reinforcement Learning from Human Feedback (RLHF)-systemen ontkoppelen de generatie van rollouts steeds vaker van de beleidsoptimalisatie om de doorvoer te maximaliseren. In asynchrone architecturen werkt de leerder de policy bij met rollouts die gegenereerd zijn door potentieel verouderde (stale) snapshots van de policy (de behavior policy). Hoewel asynchrone training goed bestudeerd is in standaard SGD (waarbij staleness wordt gemodelleerd als een begrensde vertraging), blijft de interactie ervan met de distributieve verschuivingen die inherent zijn aan policy-gradient methoden zoals Group Relative Policy Optimization (GRPO) onvoldoende begrepen.

Bestaande gedistribueerde RL-systemen vertrouwen vaak op specifieke off-policy correcties (bijv. V-trace) of blijven synchroon om staleness te vermijden. Echter, moderne GRPO-gebaseerde pipelines vertrouwen doorgaans op afgeknipte (clipped) importance ratios en KL-regularisatie in plaats van expliciete off-policy correcties. Bij consequentie wordt de interactie tussen de pipeline-staleness ($S$) en de learning rate ($\eta$) de primaire hefboom voor het controleren van de trainingsstabiliteit. Empirische observaties suggereren een tweefasig patroon: stabiele verbetering gevolgd door abrupte degradatie, wat wijst op gestructureerde faalregimes in plaats van willekeurige instabiliteit.

Methodologie

Het artikel ontwikkelt een lokaal theoretisch kader voor de interactie tussen staleness en de learning rate in asynchrone GRPO.

Theoretisch Kader

1. Behavior-Policy-Bewuste Formulering: De auteurs scheiden expliciet de leerder-parameters ($\theta$) van de rollout behavior policy ($\phi$) in de GRPO-surrogaatdoelstelling. Ze definiëren een surrogaat-gradiënt mapping $H(\theta, \phi)$, waarbij ze het update-richting van de leerder onderscheiden van de totale afgeleide van een distributie-afhankelijke doelstelling.
2. Bias Decompositie: De stochastische gradiënt $g(\theta_t; B_{\phi_t})$ wordt gedecomposeerd in drie componenten:
   • De on-policy surrogaatgradiënt $H_{on}(\theta_t)$.
   • Zero-mean sampling noise $\xi_t$.
   • Een staleness bias term $\delta_t = H(\theta_t, \phi_t) - H(\theta_t, \theta_t)$.
3. Aannames: De analyse steunt op drie lokale aannames:
   • Lokale Begrensdheid: Begrensde surrogaatgradiënten en update-magnitudes.
   • Lokale Distributieve Gladheid: De KL-divergentie tussen rollout-distributies schaalt met de gekwadrateerde afstand tussen policies.
   • Behavior-Policy Gladheid: De gevoeligheid van de surrogaatgradiënt voor veranderingen in de behavior policy is begrensd.

Afgeleide Schaalwetten

• Per-stap Staleness Bias: Onder de gestelde aannames schaalt de door staleness geïnduceerde bias $\delta_t$ als $O(S\eta)$, waarbij $S$ de maximale rollout-lag is en $\eta$ de learning rate. Dit leidt tot een enkele-stap veilige regio restrictie: $S\eta \lesssim C_{safe}$.
• Conditionele Collapse-Time Schaling: Het artikel maakt onderscheid tussen twee faalmodi:
  1. Lokale Stale-Rollout Conditie: Als de drift binnen een cyclus de batch-niveau clipping radius ($R_{batch}$) overschrijdt, hangt stabiliteit expliciet af van $S\eta$.
  2. Horizon-Level Drift: Als de lokale conditie is voldaan, treedt collapse op wanneer de cumulatieve leerder-drift ($T\eta$) een bredere surrogaat-geldigheid radius ($R_{crit}$) overschrijdt. In dit regime wordt de collapse-horizon bepaald door $T\eta$ en is deze grotendeels onafhankelijk van $S$.

Dit levert een twee-restrictie stabiliteitsregel op:
$$\eta \ll \min\left\{ \frac{R_{batch}}{S G_{upd}}, \frac{R_{crit}}{T G_{upd}} \right\}$$

Belangrijkste Bijdragen

1. Expliciete Behavior-Policy Formulering: Het artikel formaliseert de GRPO-surrogaatgradiënt met een expliciet argument voor de behavior policy, waardoor de verwarring tussen de surrogaatgradiënt en de totale afgeleide van een distributie-afhankelijke doelstelling wordt vermeden.
2. Per-stap Staleness Bias Bound: Het bewijst dat onder lokale gladheid de door staleness geïnduceerde bias lineair schaalt met het product van staleness en de learning rate ($O(S\eta)$).
3. Conditionele Collapse-Time Schaling: Het verfijnt het begrip van training collapse door onderscheid te maken tussen batch-niveau clipping effecten (afhankelijk van $S$) en horizon-niveau drift (afhankelijk van $T$).
4. Twee-Restrictie Stabiliteitsregel: De auteurs bieden een praktische conditie die verklaart waarom de maximale stabiele learning rate in bepaalde regimes zwak afhankelijk lijkt van staleness, terwijl deze in andere regimes omgekeerd evenredig is.

Experimentele Resultaten

De auteurs valideren hun theorie met behulp van wiskundige redeneringstaken met Llama-3.2 modellen (1B en 3B parameters) getraind met asynchrone GRPO.

1. Staleness–Learning Rate Trade-off: Experimenten waarbij $S \in \{8, 16, 32\}$ en $\eta$ werden gesweept, bevestigen dat de maximale stabiele learning rate omgekeerd evenredig schaalt met staleness ($\eta_{max} \propto 1/S$). Het product $S \cdot \eta_{max}$ blijft ongeveer constant, wat de lokale stale-rollout restrictie valideert.
2. Escape-Time Schaling: Voor runs die collapsen, hangt het aantal leerder-stappen tot aan de collapse ($t_{collapse}$) alleen af van $\eta$ en is het onafhankelijk van $S$. In termen van gewicht-synchronisatie-aantallen ($M_{collapse}$), houdt de relatie $M_{collapse} \cdot S \cdot \eta \approx \text{const}$ stand. Dit bevestigt dat in het onstabiele regime, de collapse wordt gedreven door cumulatieve drift die een geldigheidsgrens bereikt, en niet door de staleness lag zelf.
3. Gradient Cosine Similarity (Drift Regimes):
   • Onstabiele (Ballistische) Runs: Vertonen persistent hoge gradient cosine similarity, wat aangeeft dat de staleness bias $\delta_t$ de ruis domineert, wat zorgt voor een coherente, lineaire drift richting de geldigheidsgrens.
   • Stabiele (Diffusieve) Runs: Vertonen een bijna nulstaande gradient cosine similarity, wat aangeeft dat de zero-mean sampling noise $\xi_t$ domineert. De drift is diffusief ($\sim\sqrt{t}\eta$), accumuleert te traag om de geldigheidsgrens te bereiken, wat stabiele training mogelijk maakt zelfs over uitgebreide horizonten.

Betekenis en Claims

Het artikel claimt een lokaal theoretisch kader te bieden dat de gestructureerde regimes van stabiliteit in asynchrone RLHF verklaart. De primaire betekenis ligt in het verzoenen van de theoretische bovengrens van de per-stap bias ($O(S\eta)$) met de empirische observaties waarbij drempelwaarden voor de learning rate onafhankelijk lijken van staleness.

De auteurs stellen dat de schijnbare onafhankelijkheid van stabiliteit van staleness in sommige gevallen geen algemene garantie is, maar een specifiek regime (het horizon-beperkte regime) waar de cumulatieve drift-restrictie domineert. Daarentegen is in het lokale stale-rollout regime staleness een kritieke restrictie. Het werk stelt geen nieuwe off-policy correcties voor, maar karakteriseert de condities waaronder bestaande GRPO-pipelines stabiel blijven, en biedt een praktische twee-restrictie regel voor het tunen van asynchrone RLHF-systemen.