Riepilogo Tecnico: Length-Unbiased Sequence Policy Optimization (LUSPO)

1. Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un pilastro per potenziare le capacità di ragionamento dei Large Language Models (LLM) e dei Vision-Language Models (VLM). Un'osservazione prevalente nell'addestramento RLVR è che l'aumento della lunghezza della risposta è spesso correlato a un miglioramento del ragionamento, poiché i modelli imparano a scomporre problemi complessi in passaggi dettagliati. Tuttavia, il documento identifica un difetto critico negli algoritmi RLVR mainstream, specificamente nel Group Relative Policy Optimization (GRPO) e nel Group Sequence Policy Optimization (GSPO): essi esibiscono un bias intrinseco della lunghezza della risposta che può portare al "collasso della lunghezza della risposta" (response length collapse), dove i modelli generano risposte sempre più brevi, minando l'efficacia dell'addestramento e la profondità del ragionamento.

Gli autori analizzano le fonti di questo bias:

• In GRPO: La funzione obiettivo media i rapporti di importanza a livello di token all'interno di una traiettoria. Questa normalizzazione causa una maggiore contribuzione dei token nelle risposte più brevi al gradiente di aggiornamento rispetto a quelli nelle risposte più lunghe. Di conseguenza, per le risposte corrette, il modello è incentivato a essere breve; per quelle errate, viene penalizzato meno per l'essere lungo, creando una dinamica instabile.
• In GSPO: Sebbene GSPO affronti l'instabilità di GRPO nei modelli Mixture-of-Experts (MoE) utilizzando una ponderazione dell'importanza a livello di sequenza, esso non riesce a risolvere il bias della lunghezza. Il documento sostiene che il meccanismo di clipping a livello di sequenza di GSPO, combinato con l'operazione "Clip-Higher", tronca in modo sproporzionato i campioni negativi (errati). Ciò risulta in un aggiornamento del gradiente dominato dai campioni positivi, che, a causa del sottostante bias della lunghezza, incentiva ulteriormente la generazione di output più brevi. Le evidenze empiriche mostrano che mentre GRPO tende ad aumentare la lunghezza della risposta, GSPO causa spesso un collasso della lunghezza della risposta durante l'addestramento, particolarmente nei modelli densi e VL.

2. Metodologia: Length-Unbiased Sequence Policy Optimization (LUSPO)

Per rettificare il bias della lunghezza inerente a GSPO, gli autori propongono la Length-Unbiased Sequence Policy Optimization (LUSPO). L'innovazione principale è una modifica principistica della funzione obiettivo di GSPO.

Base Teorica

Gli autori forniscono un'analisi teorica dimostrando che la funzione di perdita standard di GSPO è penalizzante verso le sequenze più lunghe. Per neutralizzare ciò, LUSPO scala la perdita di ciascuna sequenza per la propria lunghezza ($|y_i|$).

L'Algoritmo

L'obiettivo di ottimizzazione LUSPO è definito come:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

Dove:

• $s_i(\theta)$ è il rapporto di importanza a livello di sequenza (uguale a GSPO).
• $\hat{A}_i$ è la stima del vantaggio basata sul gruppo.
• $|y_i|$ è la lunghezza della risposta.

Moltiplicando il termine del vantaggio clippato per la lunghezza della sequenza $|y_i|$, l'algoritmo assicura che le sequenze più lunghe non siano ingiustamente penalizzate durante il processo di aggiornamento del gradiente. L'analisi del gradiente teorico conferma che questa modifica elimina il bias dipendente dalla lunghezza presente in GSPO, garantendo che l'entità dell'aggiornamento del gradiente sia proporzionale alla lunghezza della sequenza piuttosto che inversamente proporzionale ad essa.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Analisi del Bias della Lunghezza: Un'analisi dettagliata, sia teorica che empirica, delle funzioni obiettivo di GRPO e GSPO, chiarendo i meccanismi sottostanti che causano l'intrinseco bias della lunghezza della risposta e il conseguente collasso della lunghezza.
2. Algoritmo LUSPO: La proposta di una nuova strategia di ottimizzazione che neutralizza il bias della lunghezza di GSPO attraverso una modifica diretta (scaling della lunghezza), rendendo la funzione di perdita non influenzata dalla lunghezza della risposta.
3. Validazione Completa: Esperimenti estesi su diverse architetture (dense e MoE) e modalità (solo testo e vision-language) che dimostrano come LUSPO raggiunga prestazioni e stabilità superiori rispetto ai metodi esistenti.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti su Qwen2.5-7B-Base (dense), Qwen3-30B-A3B-Instruct (MoE) e Qwen2.5-VL-7B-Instruct (Vision-Language).

Dinamiche di Addestramento

• Lunghezza della Risposta: LUSPO previene costantemente il collasso della lunghezza della risposta. Sul modello Qwen2.5-VL-7B-Instruct, GSPO ha mostrato un marcato collasso della lunghezza della risposta, mentre LUSPO ha mantenuto risposte stabili e significativamente più lunghe.
• Stabilità del Gradiente: Il metodo garantisce dinamiche di addestramento stabili sia nelle architetture dense che in quelle MoE, affrontando i problemi di instabilità spesso associati all'RLVR nei modelli MoE.

Benchmark di Prestazione

• Modelli Solo Testo:
  • Qwen2.5-7B-Base: LUSPO ha migliorato l'accuratezza del +2,9% su AIME24 e del +7,4% su MATH500 rispetto a GSPO.
  • Qwen3-30B-A3B-Instruct: LUSPO ha ottenuto un miglioramento del +6,9% su AIME24 e del +17,1% su AIME25 rispetto a GSPO.
• Modelli Multimodali:
  • Qwen2.5-VL-7B-Instruct: LUSPO ha superato sia GRPO che GSPO in molteplici benchmark. In particolare, ha ottenuto un'accuratezza superiore del +1,6% rispetto a GRPO e del +0,5% rispetto a GSPO su MathVista-Mini. Su LogicVista, LUSPO ha mostrato un miglioramento del +6,0% rispetto a GSPO.
• Generalizzazione: Il metodo ha dimostrato robustezza attraverso diversi dataset (ViRL39K e DAPO-MATH-17K), superando costantemente GSPO anche in scenari in cui GSPO non soffriva di un grave collasso della lunghezza.

5. Significato e Rivendicazioni

Il documento posiziona LUSPO come una nuova strategia di ottimizzazione allo stato dell'arte per l'addestramento RLVR. Gli autori affermano che, affrontando il fondamentale bias della lunghezza nella politica di ottimizzazione a livello di sequenza, LUSPO:

• Risolve il Collasso della Lunghezza della Risposta: Impedisce la degradazione della lunghezza della risposta che ostacola la capacità del modello di eseguire ragionamenti complessi.
• Potenzia le Capacità di Ragionamento: Permettendo ai modelli di generare risposte più lunghe e coerenti senza penalità, LUSPO facilita l'esplorazione di pattern di ragionamento più ampi, portando a prestazioni migliori in compiti matematici e logici complessi.
• Ampia Applicabilità: Il metodo è efficace in entrambe le architetture dense e MoE, così come in contesti sia solo testuali che multimodali, rendendolo una soluzione versatile per l'addestramento dei prossimi modelli di grandi dimensioni.

Gli autori concludono che LUSPO rappresenta un passo avanti significativo nella stabilizzazione dell'addestramento RLVR e nella massimizzazione del potenziale di ragionamento dei grandi modelli linguistici.