Technische Samenvatting: ASymPO: Asymmetrische-Schaal Beleidsoptimalisatie voor Asynchrone LLM Post-Training

1. Probleemstelling

Het artikel behandelt een kritieke instabiliteit in asynchrone Reinforcement Learning (RL) voor de post-training van Large Language Models (LLM's). Moderne systemen ontkoppelen vaak responsgeneratie (rollout) van beleidsoptimalisatie (leren) om de doorvoer te verbeteren. In deze opstelling samplen rollout-workers responsen uit recente beleids-snapshots, terwijl de leerder een nieuwere beleid bijwerkt.

Deze asynchroniteit introduceert distributie-drift: het gedragsbeleid ($\pi_b$) dat een respons genereerde, verschilt van het huidige beleid ($\pi_\theta$) dat wordt gebruikt voor training.

• Standaardoplossing: Methoden zoals PPO gebruiken gedragsbeleid-waarschijnlijkheden (log-probs) om belangrijksheidsratio's te berekenen en clipping toe te passen. Dit vereist dat het rollout-systeem token-uitgelijnde, versie-gecontroleerde en numeriek consistente gedrags-log-waarschijnlijkheden naar de leerder verzendt, wat de infrastructuur compliceert en potentiële numerieke drift introduceert.
• De Foutmodus: De auteurs identificeren dat naïeve current-policy-only doelstellingen (die gedrags-log-probs weglaten) instabiel zijn in asynchrone settings. Specifiek in group-relative RL, waar de voordelen optellen tot nul ($\sum A_g = 0$), kunnen responsen met positieve en negatieve voordelen de verliesfunctie binnengaan op fundamenteel verschillende huidige negatieve log-waarschijnlijkheidsschalen.
  • Verouderde (stale) responsen met een negatief voordeel hebben vaak veel grotere huidige negatieve log-waarschijnlijkheden dan positieve responsen.
  • Dit veroorzaakt dat de negatieve zijde van het verlies domineert, waardoor de zero-sum cancelatie die beoogd werd door de groep-baseline, wordt doorbroken.
  • Het resultaat is trainingsinstorting (collapse), waarbij het model verouderde negatieve samples excessief onderdrukt zonder compenserende signalen te ontvangen van positieve samples.

2. Methodologie

Het artikel stelt twee current-policy-only doelstellingen voor die ontworpen zijn om training te stabiliseren zonder dat gedragsbeleid-informatie nodig is. Beide opereren op het group-relative voordeel $A_g$ en de gemiddelde token negatieve log-waarschijnlijkheid van het huidige beleid $S_{\theta,g}$.

2.1 Scaled Policy Optimization (SPO)

SPO is een heuristische baseline die handmatig de invloed van negatieve-voordeel responsen vermindert.

• Mechanisme: Het past een vaste schalingscoëfficiënt $\alpha \in (0, 1)$ toe op negatieve voordelen ($A_g < 0$), terwijl positieve voordelen ($A_g \ge 0$) ongewijzigd blijven.
• Verliesfunctie:
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  waarbij $\tilde{A}_g = \alpha A_g$ als $A_g < 0$, anders $A_g$.
• Beperking: De schalingfactor $\alpha$ moet handmatig worden afgestemd en past zich niet aan de specifieke schaal van elke respons of de mate van veroudering (staleness) aan.

2.2 Asymmetric-Scale Policy Optimization (ASymPO)

ASymPO vervangt de handmatige regel door een adaptieve, respons-niveau normalisatie die de bijdragen aan het verlies automatisch in evenwicht brengt.

• Mechanisme: Het normaliseert het verlies van elke respons door zijn eigen huidige gemiddelde token negatieve log-waarschijnlijkheid ($S_{\theta,g}$). Een stop-gradient operator ($sg$) wordt toegepast op de noemer om te voorkomen dat de normalisatieterm tijdens backpropagation wordt bijgewerkt.
• Verliesfunctie:
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• Theoretische Garantie: Stelling 2 bewijst dat onder zero-sum voordelen, ASymPO zorgt voor een exacte respons-niveau verliesbalans. De voorwaartse verliesbijdrage van positieve responsen is gelijk aan de magnitude van de negatieve responsbijdragen, ongeacht hun verschillende huidige log-waarschijnlijkheidsschalen.
• Gradiënt: De gradiënt blijft een standaard beleidsgradiënt-richting, maar de magnitude van de update voor elke respons wordt genormaliseerd door zijn eigen huidige schaal.

3. Belangrijkste Bijdragen

1. Identificatie van Schaalimbalans: Het artikel identificeert formeel een specifieke foutmodus in asynchrone, current-policy-only RL waarbij verouderde negatieve samples het verlies domineren vanwege schaalverschillen, wat de zero-sum voordeel-balans doorbreekt.
2. Formulering van SPO en ASymPO: Het introduceert twee doelstellingen die training stabiliseren zonder gedrags-log-probs. ASymPO is bewezen de positieve en negatieve verliesbijdragen exact in balans te brengen onder zero-sum voordelen.
3. Infrastructuur Vereenvoudiging: ASymPO maakt een strikt compacter rollout–learner interface mogelijk. Het elimineert de noodzaak om per-token gedrags-log-probs, beleidsversie-tags of logit-recomputatie op trainingsprecisie te transporteren (Tabel 1).
4. Empirische Validatie: De methoden worden geëvalueerd op asynchrone wiskundige redeneer-post-training over drie modelfamilies (Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B).

4. Experimentele Resultaten

De experimenten werden uitgevoerd op wiskundige redeneertaken (MATH, AIME, GSM8K, etc.) met behulp van asynchrone RL met een staleness-drempel van 0,5.

• Stabiliteit:
  • Naive Loss en GPG (een methode die belangrijkheidssampling vermijdt maar geen groep-balans heeft) stortten in tijdens de training over alle modelfamilies, waardoor er geen evalueerbare checkpoints werden geproduceerd.
  • GRPO (gedrag-gecorrigeerd), SPO, en ASymPO behielden stabiele trainingsbelonings-trajecten.
• Prestaties:
  • ASymPO behaalde over het algemeen concurrerende of superieure prestaties vergeleken met GRPO (de gedrag-gecorrigeerde baseline) op geaggregeerde metrieken, met name op LLaMA-3.2-3B-Instruct en Qwen3-4B-Base.
  • SPO voorkwam ook instorting en bleef competitief, hoewel ASymPO's adaptieve schaling vaak betere resultaten opleverde op specifieke benchmarks (bijv. AIME24, MATH500).
  • Op Qwen3-1.7B-Base behaalde ASymPO een mean@8 van 36,98, dicht bij de 37,45 van GRPO, terwijl SPO 36,41 behaalde.
• Ablatie: Het artikel merkt op dat SPO gevoelig is voor de keuze van $\alpha$ (gezet op 0,2 in experimenten). Als $\alpha=1$, stort het in zoals de naïeve loss; als $\alpha=0$, gedraagt het zich als positive-only fine-tuning met zwakke prestaties.

5. Betekenis en Claims

Het artikel claimt dat gedragsbeleid-waarschijnlijkheden niet strikt noodzakelijk zijn voor concurrente en stabiele asynchrone RL post-training, mits de schaalimbalans tussen positieve en negatieve responsen expliciet wordt gecorrigeerd.

• Praktische Impact: ASymPO biedt een mechanisme om asynchrone group-relative RL te stabiliseren, terwijl het de systeemarchitectuur aanzienlijk vereenvoudigt. Het verwijdert de "correctheidsvoorwaarde" die de rollout–learner interface koppelt aan het transport van gedrags-log-probs, versiebeheer en numerieke consistentie.
• Omvang: De auteurs kaderen hun bijdrage bescheiden als een oplossing voor een specifieke foutmodus (verlies-schaal-imbalans) in plaats van een algemene oplossing voor alle distributie-drift. Ze erkennen dat ASymPO de beleidsratio tussen generatie en training niet begrenst zoals gedrag-gecorrigeerde methoden doen, en dat de effectiviteit momenteel primair wordt aangetoond bij wiskundige redeneertaken met verifieerbare beloningen.
• Toekomstig Werk: Het artikel suggereert dat verdere theoretische karakterisering nodig is om te begrijpen wanneer respons-schaal normalisatie gedrag-correctie benadert en wanneer expliciete gedragsbeleid-informatie onvermijdelijk blijft.