Riepilogo Tecnico: F-GRPO: Non Lasciare Che la Tua Politica Impari l'Ovvio e Dimentichi il Raro

Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un paradigma standard per l'addestramento post-training dei Modelli Linguistici su larga scala (LLM) su compiti di ragionamento. Tuttavia, un crescente corpo di evidenze suggerisce che l'RLVR spesso affina la distribuzione delle uscite verso soluzioni già accessibili al modello base, potenzialmente degradando le prestazioni su metriche come pass@k (dove k è grande) restringendo la diversità delle soluzioni.

La maggior parte dei sistemi moderni RLVR, come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), si basa sul campionamento di gruppo (generazione di $N$ risposte per prompt) per stimare i vantaggi. Mentre gruppi piccoli ($N=2$) sono computazionalmente efficienti e gruppi grandi forniscono una copertura ampia, i vincoli pratici limitano spesso $N$ a dimensioni intermedie (ad es. $N=8$). Il documento identifica un divario critico nella comprensione di come queste dimensioni di gruppo finite influenzino la dinamica di ottimizzazione. Nello specifico, ipotizza che le dimensioni di gruppo intermedie possano creare un regime di "mancata coda" (tail-miss) in cui gli aggiornamenti sono attivi (ricompense miste) ma non riescono a campionare traiettorie corrette rare, portando a una concentrazione della massa di probabilità su soluzioni comuni campionate, sopprimendo al contempo comportamenti corretti non campionati.

Metodologia

Analisi Teorica

Gli autori derivano la probabilità di un evento di mancata coda ($B_{E,N}(x)$), definito come un aggiornamento attivo (dove il gruppo contiene sia rollout corretti che errati) che non riesce a campionare un sottoinsieme specifico a bassa massa corretta $E_x$.

• Comportamento Non Monotono: La probabilità di questo evento è non monotona rispetto alla dimensione del gruppo $N$. Piccoli $N$ spesso risultano in aggiornamenti inattivi (tutti corretti o tutti errati), preservando la diversità attraverso l'inattività. Grandi $N$ garantiscono la copertura di modalità rare. Tuttavia, $N$ intermedi massimizzano la probabilità di aggiornamenti attivi che mancano delle regioni corrette rare.
• Meccanismo di Ridistribuzione: Utilizzando un quadro di politica categorica, gli autori analizzano come la massa di probabilità viene ridistribuita. Dimostrano che anche quando la massa corretta totale ($Q_{pos}$) aumenta, la massa corretta non campionata ($Q_{u,pos}$) può diminuire. Ciò accade perché i batch con ricompense positive spingono i logit non campionati verso il basso attraverso la sottrazione della baseline e la normalizzazione softmax, "dimenticando" efficacemente le soluzioni corrette che non sono state campionate nel gruppo corrente.

Soluzione Proposta: F-GRPO

Per mitigare questo fenomeno senza aumentare i costi computazionali (dimensione del rollout), gli autori propongono F-GRPO (Ottimizzazione della Politica Relativa di Gruppo Focale).

• Ponderazione Focale: Ispirata alla Focal Loss, la metodologia introduce un coefficiente di scaling consapevole della difficoltà $g(x)$ applicato al vantaggio relativo di gruppo.
• Meccanismo: Il peso è definito come $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$, dove $\hat{\mu}_{pos}(x)$ è il tasso di successo empirico del gruppo campionato (numero di rollout corretti $X$ diviso per $N$).
• Effetto: Questo riduce il peso degli aggiornamenti provenienti da gruppi con alti tassi di successo empirici (dove il modello ha già "imparato l'ovvio" per quel prompt) e preserva il segnale dai gruppi a successo misto in cui i comportamenti corretti rari potrebbero essere ancora sottorappresentati. È una modifica leggera che scala il segnale di vantaggio uniformemente per tutti i rollout in un prompt, senza richiedere reti aggiuntive o modificare i valori di ricompensa.

Contributi Chiave

1. Derivazione della Probabilità di Mancata Coda: Il documento caratterizza esplicitamente la probabilità che gli aggiornamenti attivi manchino sottoinsiemi corretti rari, dimostrando la sua dipendenza non monotona dalla dimensione del gruppo. Questo aiuta a conciliare risultati precedenti conflittuali riguardanti le dimensioni ottimali del gruppo.
2. Analisi della Massa Corretta Non Campionata: Gli autori mostrano teoricamente ed empiricamente che la massa corretta totale può crescere mentre la massa corretta non campionata si riduce, spiegando il meccanismo alla base dell'affinamento della distribuzione in contesti di gruppo finito.
3. Validazione con Soluzione Singola: Utilizzando un ambiente Labirinto in cui ogni prompt ha esattamente una traiettoria corretta, il documento dimostra che il degrado di pass@K può verificarsi anche senza multiple soluzioni corrette per prompt, isolando l'effetto alla copertura della sequenza target piuttosto che alla diversità intra-prompt.
4. Algoritmo F-GRPO: Un semplice schema di riponderazione plug-in applicabile a GRPO, DAPO e CISPO che migliora pass@256 mantenendo o migliorando pass@1, senza aumentare i costi di rollout.

Risultati Sperimentali

Gli autori hanno valutato F-GRPO su Qwen2.5-7B, Qwen3-4B-Base e Llama-3.2-3B-Instruct su vari benchmark (MATH500, AIME, AMC, GPQA, IFEval, SynLogic).

• Simulazione Categorica: Ha confermato che le dimensioni di gruppo intermedie portano alla massa positiva trattenuta più bassa ($M_{ret}$), mentre la ponderazione focale ($\gamma=1$) migliora significativamente la ritenzione della massa in questa "zona di concentrazione".
• Esperimenti sul Labirinto: In un contesto a soluzione singola, F-GRPO ha ridotto il calo precoce nel tempo di addestramento di pass@K e ha migliorato il pass@1 e pass@256 finali su tutte le dimensioni di gruppo testate ($N \in \{4, \dots, 128\}$).
• Benchmark LLM (N=8):
  • Prestazioni Matematiche: Su Qwen2.5-7B, F-GRPO ha migliorato il pass@256 matematico medio da 64,1 (GRPO) a 70,3, e da 69,3 (DAPO) a 72,5.
  • Prestazioni OOD: Il pass@256 fuori dominio (OOD) è migliorato coerentemente attraverso tutti i metodi (es. GRPO: 55,9 $\to$ 63,3; DAPO: 58,4 $\to$ 63,6).
  • Efficienza: F-GRPO a $N=8$ ha raggiunto prestazioni comparabili al GRPO standard a $N=32$ su pass@256, recuperando efficacemente i benefici di gruppi più grandi con 4 volte meno calcolo.
  • Generalizzazione: Il metodo si è trasferito efficacemente tra diversi ottimizzatori (GRPO, DAPO, CISPO) e scale di modello.
• Ablazione: I guadagni non sono stati replicati da una semplice riduzione del tasso di apprendimento o dalla regolarizzazione standard (entropia/KL), suggerendo che il miglioramento deriva specificamente dal meccanismo di riponderazione basato sul successo.

Significato e Affermazioni

Il documento afferma di fornire una risoluzione teorica e pratica al problema dell'"affinamento" nell'RLVR relativo ai gruppi. Identificando che le dimensioni di gruppo intermedie massimizzano il rischio di perdere traiettorie corrette rare, gli autori sostengono che aumentare semplicemente $N$ non è sempre fattibile a causa dei vincoli computazionali.

F-GRPO offre una strategia di mitigazione a basso costo che:

1. Recupera le prestazioni pass@256 tipicamente perse quando si utilizzano dimensioni di gruppo intermedie.
2. Preserva o migliora pass@1 (accuratezza del singolo campione).
3. Funziona attraverso diverse varianti RLVR e architetture di modello.
4. Non richiede di aumentare il budget di rollout o aggiungere reti ausiliarie.

Gli autori posizionano F-GRPO come un aggiustamento necessario alla pipeline RLVR standard, assicurando che gli aggiornamenti della politica non rafforzino involontariamente solo le soluzioni "ovvie" esposte in un campione finito, dimenticando al contempo i comportamenti corretti "rari" necessari per un ragionamento robusto.