Riepilogo Tecnico: Il Miraggio dell'Ottimizzazione delle Politiche di Addestramento (MIPU)

1. Definizione del Problema: Disallineamento degli Obiettivi nel RL per LLM

L'Apprendimento per Rinforzo (RL) è diventato un paradigma critico per il post-training dei Large Language Models (LLM), in particolare per potenziare le capacità di ragionamento e di seguimento delle istruzioni. Tuttavia, le moderne pipeline di RL per LLM soffrono spesso di un disallineamento tra addestramento e inferenza (training-inference mismatch). In pratica, gli LLM utilizzano motori separati per la generazione (inferenza, ad esempio vLLM, SGLang) e per il calcolo del gradiente (addestramento, ad esempio FSDP, Megatron). Anche con parametri del modello sincronizzati, le differenze nella precisione (ad esempio, FP8 rispetto a FP16), nelle implementazioni di decoding e nei backend di serving causano l'assegnazione di probabilità differenti alle stesse traiettorie tra la politica di addestramento ($\pi$) e la politica di inferenza ($\mu$).

Gli studi esistenti tentano di mitigare questo disallineamento correggendo i rapporti lato sampler, filtrando i campioni instabili o decadendo i tassi di apprendimento (learning rates). Tuttavia, gli autori sostengono che questi approcci affrontino il sintomo piuttosto che la causa radice: il disallineamento degli obiettivi (objective misalignment). Gli algoritmi di RL standard ottimizzano la politica di addestramento ($\pi$), assumendo che un miglioramento in $\pi$ ($J(\pi_{k+1}) - J(\pi_k) \ge 0$) garantisca un miglioramento nella politica di inferenza ($\mu$) distribuita. Il paper dimostra che, in condizioni di disallineamento, questa implicazione non è valida:
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
Di conseguenza, un aggiornamento sincronizzato che appare benefico sul lato addestramento può in realtà degradare le prestazioni della politica di inferenza utilizzata in fase di deployment.

2. Metodologia: Monotonic Inference Policy Update (MIPU)

Per affrontare questo problema, gli autori propongono un nuovo principio di ottimizzazione, il Monotonic Inference Policy Improvement (MIPI), che sposta l'obiettivo dal miglioramento della politica di addestramento all'assicurazione del miglioramento monotono della politica di inferenza ($J(\mu_{k+1}) - J(\mu_k) \ge 0$). Realizzano questo principio attraverso un framework in due fasi chiamato Monotonic Inference Policy Update (MIPU).

Il cuore di MIPU è la decomposizione del miglioramento della politica di inferenza in tre termini:
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Termine 1: Post-update Inference Gap}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Termine 2: Training-side Update}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Termine 3: Pre-update Inference Gap}}$$

Fase 1: Sampler-Referenced Policy Update

Questa fase ottimizza i termini 2 e 3 combinati ($J(\pi_{k+1}) - J(\mu_k)$).

• Meccanismo: Invece di utilizzare la standard training policy $\pi_k$ come riferimento per l'obiettivo surrogato (come nel GRPO/PPO standard), MIPU utilizza la politica di inferenza $\mu_k$ (il sampler) come riferimento.
• Implementazione: Gli autori adottano un approccio di Truncated Importance Sampling (TIS). Calcolano un peso di correzione $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ per tenere conto del disallineamento pre-aggiornamento. Per prevenire l'alta varianza, questo peso viene troncato. Il vincolo di clipping viene quindi applicato solo al rapporto di aggiornamento corrente $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$.
• Obiettivo: Questo genera una candidata politica di addestramento $\pi_{k+1}$ che è teoricamente allineata con il sampler $\mu_k$, garantendo la monotonicità "di metà strada" $J(\pi_{k+1}) - J(\mu_k) \ge 0$.

Fase 2: Inference-Gap-Aware Update Acceptance

Questa fase valida il Termine 1 ($J(\mu_{k+1}) - J(\pi_{k+1})$), che rappresenta il divario tra la candidata politica di addestramento e la sua realizzazione di inferenza sincronizzata.

• Meccanismo: Dopo aver sincronizzato $\pi_{k+1}$ al motore di inferenza per creare $\mu_{k+1}$, il sistema valuta il post-update inference gap.
• Stima Proxy: Poiché l'advantage esatto sotto $\pi_{k+1}$ non è disponibile, MIPU utilizza un'identità inversa per stimare il gap utilizzando i rollout di validazione da $\mu_{k+1}$. Calcola un proxy $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$, dove $\rho_i$ è un peso di importanza normalizzato per la lunghezza che corregge lo shift di distribuzione da $\mu_{k+1}$ a $\pi_{k+1}$.
• Criterio di Accettazione: L'aggiornamento viene accettato solo se $\hat{T}_{post} \ge -c$, dove $c$ è un parametro di tolleranza. Se il gap è troppo negativo (indicando che la politica di inferenza sottoperforma la candidata di addestramento), l'aggiornamento viene rifiutato e il sistema effettua il rollback al checkpoint precedente.

3. Contributi Chiave

1. Principio MIPI: Il paper identifica e formalizza il disallineamento degli obiettivi nel RL per LLM, proponendo che l'obiettivo dell'ottimizzazione debba essere la traiettoria della politica di inferenza, non il surrogato di addestramento.
2. Framework MIPU: Un nuovo framework di RL in due fasi che scinde la costruzione del candidato (Fase 1) dalla validazione dell'inference-gap (Fase 2). Permette un'implementazione flessibile di aggiornamenti referenziati al sampler e di accettazione consapevole del gap di inferenza.
3. Validazione Empirica: Dimostra che MIPU migliora sia le prestazioni di ragionamento che la stabilità dell'addestramento in contesti di alto disallineamento (specificamente con rollout quantizzati in FP8) rispetto al GRPO standard e ad altri baseline di stabilizzazione.

4. Risultati Sperimentali

Gli autori hanno valutato MIPU su modelli Qwen3-1.7B e Qwen3-4B utilizzando rollout quantizzati in FP8 per indurre un significativo disallineamento tra addestramento e inferenza. L'addestramento è stato condotto su dataset di ragionamento matematico (DAPO-Math-17, DeepMath-103K) ed è stato valutato su cinque benchmark (MATH-500, AIME24, AMC23, Minerva, OlympiadBench).

• Performance: MIPU ha raggiunto la massima accuratezza media su entrambe le scale dei modelli (66,71% su Qwen3-4B e 53,97% su Qwen3-1.7B), superando i baseline come il GRPO standard, MIS (mismatch filtering) e LR-decay.
• Stabilità: Mentre i baseline spesso mostravano bruschi cali di performance o collassi dopo aver raggiunto picchi intermedi, MIPU ha mantenuto una dinamica di addestramento stabile durante tutto il processo.
• Studi di Ablazione:
  • Solo Fase 1: Ha migliorato la qualità dei candidati ma non è riuscito a prevenire l'accumulo di errori di disallineamento, portando all'instabilità.
  • Solo Fase 2: Ha evitato il collasso rifiutando aggiornamenti errati, ma non è riuscito a migliorare le prestazioni se i candidati di base erano distorti (biased).
  • MIPU Completo: La combinazione era necessaria; la Fase 1 ha corretto la direzione dell'aggiornamento, mentre la Fase 2 ha filtrato i candidati inaffidabili, risultando sia in un picco di performance più elevato che in una maggiore stabilità a lungo termine.
• Analisi della Fase 2: Gli autori hanno verificato che il successo della Fase 2 non è dovuto semplicemente al rifiuto di più aggiornamenti (un controllo "random rollback" è fallito nonostante il maggior numero di rifiuti). Inveve, la sua efficacia deriva dall'uso del segnale dell'inference-gap per distinguere tra candidati sincronizzati dannosi e benigni.

5. Significato e Rivendicazioni

Il paper sostiene che il disallineamento tra addestramento e inferenza non debba essere visto solo come una discrepanza di basso livello del sistema da minimizzare, ma come un cambiamento fondamentale nell'obiettivo del miglioramento della politica. Spostando il focus dalla politica di addestramento alla politica di inferenza, MIPU affronta il "miraggio" per cui i miglioramenti sul lato addestramento non si traducono in guadagni di deployment.

Gli autori notano con modestia che i loro esperimenti sono attualmente limitati a modelli di scala moderata a causa di vincoli computazionali e che la Fase 2 rappresenta uno spazio di design flessibile piuttosto che un'implementazione fissa. Suggeriscono che il lavoro futuro potrebbe esplorare stimatori più efficienti per il gap post-aggiornamento e applicare questi principi a modelli più grandi e diversi sistemi di RL. Il contributo principale è un cambio di paradigma: assicurare che la politica utilizzata per il deployment sia quella che viene effettivamente ottimizzata, anziché assumere che l'ottimizzazione sul lato addestramento sia sufficiente.