Riassunto Tecnico: ASymPO: Ottimizzazione della Policy a Scala Asimmetrica per il Post-Training Asincrono di LLM

1. Definizione del Problema

Il documento affronta un'instabilità critica nell'apprendimento per rinforzo (RL) asincrono per il post-training di Large Language Model (LLM). I sistemi moderni spesso disaccoppiano la generazione delle risposte (rollout) dall'ottimizzazione della policy (learning) per migliorare il throughput. In questa configurazione, i worker di rollout campionano risposte da snapshot recenti della policy, mentre il learner aggiorna una policy più recente.

Questa asincronia introduce un drift della distribuzione (distribution drift): la policy di comportamento ($\pi_b$) che ha generato una risposta differisce dalla policy corrente ($\pi_\theta$) utilizzata per l'addestramento.

• Soluzione Standard: Metodi come PPO utilizzano le probabilità della policy di comportamento (log-probs) per calcolare i rapporti di importanza e applicare il clipping. Ciò richiede che il sistema di rollout trasmetta log-prob della policy di comportamento allineate ai token, versionate e numericamente coerenti al learner, complicando l'infrastruttura e introducendo potenziali drift numerici.
• Modalità di Fallimento: Gli autori identificano che gli obiettivi basati solo sulla policy corrente (che omettono le log-prob della policy di comportamento) sono instabili in contesti asincroni. Nello specifico, nel RL relativo al gruppo dove gli advantage sommano a zero ($\sum A_g = 0$), le risposte con advantage positivo e negativo possono entrare nella funzione di perdita a scale di negative log-probability correnti vastamente differenti.
  • Le risposte obsolete con advantage negativo hanno spesso negative log-probability correnti molto più grandi rispetto alle risate positive.
  • Ciò causa il predominio della parte negativa della perdita, rompendo il bilanciamento a somma zero previsto dal baseline di gruppo.
  • Il risultato è il collasso dell'addestramento, in cui il modello sopprime eccessivamente i campioni negativi obsoleti senza ricevere segnali compensativi dai campioni positivi.

2. Metodologia

Il documento propone due obiettivi basati solo sulla policy corrente, progettati per stabilizzare l'addestramento senza richiedere informazioni sulla policy di comportamento. Entrambi operano sulla advantage relativa al gruppo $A_g$ e sulla media della negative log-probability dei token della policy corrente $S_{\theta,g}$.

2.1 Scaled Policy Optimization (SPO)

SPO è un baseline euristico che riduce manualmente l'influenza delle risposte con advantage negativo.

• Meccanismo: Applica un coefficiente di scala fisso $\alpha \in (0, 1)$ alle advantage negative ($A_g < 0$), lasciando invariate le advantage positive ($A_g \ge 0$).
• Funzione di Perdita:
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  dove $\tilde{A}_g = \alpha A_g$ se $A_g < 0$, altrimenti $A_g$.
• Limitazione: Il fattore di scala $\alpha$ è regolato manualmente e non si adatta alla scala specifica di ogni risposta o al grado di obsolescenza (staleness).

2.2 Asymmetric-Scale Policy Optimization (ASymPO)

ASymPO sostituisce la regola manuale con una normalizzazione adattiva a livello di risposta che bilancia automaticamente i contributi della perdita.

• Meccanismo: Normalizza la perdita di ciascuna risposta tramite la propria media attuale di negative log-probability ($S_{\theta,g}$). Un operatore di stop-gradient ($sg$) viene applicato al denominatore per evitare che il termine di normalizzazione venga aggiornato durante la backpropagation.
• Funzione di Perdita:
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• Garanzia Teorica: Il Teorema 2 dimostra che, sotto l'ipotesi di advantage a somma zero, ASymPO garantisce un bilanciamento esatto della perdita a livello di risposta. Il contributo della perdita in avanti delle risposte positive è uguale all'entità dei contributi delle risposte negative, indipendentemente dalle loro differenti scale di log-probability correnti.
• Gradiente: Il gradiente rimane una direzione standard di policy gradient, ma l'ampiezza dell'aggiornamento per ciascuna risposta è normalizzata dal proprio scale attuale.

3. Contributi Chiave

1. Identificazione dello Sbilanciamento di Scala: Il documento identifica formalmente una specifica modalità di fallimento nel RL asincrono basato solo sulla policy corrente, dove i campioni negativi obsoleti dominano la perdita a causa delle discrepanze di scala, rompendo il bilanciamento a somma zero degli advantage.
2. Formulazione di SPO e ASymPO: Introduce due obiettivi che stabilizzano l'addestramento senza le probabilità della policy di comportamento. ASymPO è dimostrato capace di bilanciare esattamente i contributi di perdita positivi e negativi sotto advantage a somma zero.
3. Semplificazione dell'Infrastruttura: ASymPO permette un'interfaccia rollout–learner strettamente più compatta. Elimina la necessità di trasportare le log-prob per token della policy di comportamento, i tag di versione della policy o di eseguire la ricalcolazione dei logit alla precisione di addestramento (Tabella 1).
4. Validazione Empirica: I metodi sono valutati sull'addestramento post-training di ragionamento matematico su tre famiglie di modelli (Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su compiti di ragionamento matematico (MATH, AIME, GSM8K, ecc.) utilizzando un RL asincrono con una soglia di obsolenza (staleness threshold) di 0.5.

• Stabilità:
  • Naive Loss e GPG (un metodo che evita l'importance sampling ma manca del bilanciamento di gruppo) sono crollati durante l'addestramento in tutte le famiglie di modelli, non producendo checkpoint valutabili.
  • GRPO (corretto per la policy di comportamento), SPO e ASymPO hanno mantenuto traiettorie di reward stabili durante l'addestramento.
• Performance:
  • ASymPO ha generalmente ottenuto prestazioni competitive o superiori rispetto a GRPO (il baseline corretto per la policy di comportamento) sulle metriche aggregate, in particolare su LLaMA-3.2-3B-Instruct e Qwen3-4B-Base.
  • SPO ha inoltre evitato il collasso e si è mantenuto competitivo, sebbene la scalatura adattiva di ASymPO abbia spesso prodotto risultati migliori su specifici benchmark (es. AIME24, MATH500).
  • Su Qwen3-1.7B-Base, ASymPO ha raggiunto un mean@8 di 36.98, vicino al 37.45 di GRPO, mentre SPO ha raggiunto 36.41.
• Ablazione: Il documento nota che SPO è sensibile alla scelta di $\alpha$ (impostato a 0.2 negli esperimenti). Se $\alpha=1$, collassa come la naive loss; se $\alpha=0$, si comporta come un fine-tuning basato solo sui campioni positivi con prestazioni deboli.

5. Significato e Rivendicazioni

Il documento afferma che le probabilità della policy di comportamento non sono strettamente necessarie per un RL post-training asincrono competitivo e stabile, a patto che lo sbilanciamento di scala tra le risposte positive e negative venga esplicitamente corretto.

• Impatto Pratico: ASymPO offre un meccanismo per stabilizzare il RL relativo al gruppo asincrono, semplificando significativamente l'architettura del sistema. Rimuove la "condizione di correttezza" che vincola l'interfaccia rollout–learner al trasporto, al versionamento e alla coerenza numerica delle log-prob della policy di comportamento.
• Ambito: Gli autori inquadrano modestamente il contributo come la risoluzione di una specifica modalità di fallimento (sbilanciamento della scala della perdita) piuttosto che una soluzione generale a ogni tipo di drift della distribuzione. Riconoscono che ASymPO non limita il rapporto tra policy di generazione e di addestramento come i metodi corretti per la policy di comportamento, e la sua efficacia è attualmente dimostrata principalmente in compiti di ragionamento matematico con reward verificabili.
• Lavoro Futuro: Il documento suggerisce che è necessaria una ulteriore caratterizzazione teorica per comprendere quando la normalizzazione della scala della risposta approssima la correzione della policy di comportamento e quando l'informazione esplicita sulla policy di comportamento rimane inevitabile.