Riepilogo Tecnico: GRPO Potenziato da Trasformazioni (TA-GRPO)

Enunciato del Problema

L'Ottimizzazione della Politica Relativa di Gruppo (GRPO) si è affermata come il metodo dominante per l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) nei Modelli Linguistici su Larga Scala (LLM), in particolare per compiti di ragionamento complesso. Tuttavia, il documento individua due limitazioni strutturali critiche nel GRPO standard che ostacolano un'esplorazione efficace:

1. Vanishing Gradient (Svanimento del Gradiente): Quando una domanda di training è percepita come troppo facile (tutte le risposte campionate sono corrette) o troppo difficile (tutte sono errate), il gruppo di $G$ risposte riceve ricompense identiche. Di conseguenza, la deviazione standard delle ricompense è zero, portando a vantaggi nulli e a nessun segnale gradiente per gli aggiornamenti del modello. Sebbene il Campionamento Dinamico (DAPO) tenti di mitigare questo problema scartando tali domande, ciò comporta uno spreco significativo di dati.
2. Crollo della Diversità: Il modello tende a convergere su un singolo pattern di ragionamento attraverso tutte le $G$ risposte campionate. La regolarizzazione classica dell'entropia fallisce nel prevenire questo fenomeno a causa dello vastissimo spazio delle azioni degli LLM. Una volta che la politica si concentra su un ristretto insieme di traiettorie di ragionamento, la distribuzione di campionamento eredita questa concentrazione e la funzione obiettivo manca di un meccanismo per premiare l'espansione del supporto, causando una contrazione monotona dello spazio delle soluzioni esplorabile.

I progressi esistenti nel GRPO affrontano spesso questi problemi in modo frammentario o fanno affidamento sullo scarto dei dati, invece di risolvere congiuntamente le cause profonde all'interno del framework di ottimizzazione.

Metodologia: GRPO Potenziato da Trasformazioni (TA-GRPO)

Gli autori propongono TA-GRPO, un metodo di ottimizzazione della politica che affronta sia lo svanimento del gradiente sia il crollo della diversità attraverso la riformulazione delle domande. L'intuizione fondamentale è che le perturbazioni linguistiche (cambiamenti nella formulazione, nel formato o nell'ordine delle informazioni) possono alterare la difficoltà percepita da un modello e indurre strategie di soluzione distinte, preservando al contempo la semantica sottostante del problema.

La pipeline TA-GRPO modifica il processo GRPO standard come segue:

1. Trasformazione della Domanda: Per ogni domanda originale di training $q_0$, il sistema genera automaticamente $N$ riformulazioni equivalenti al problema $\{q_n\}_{n=1}^N$ (definite "vicini") utilizzando GPT-4-Turbo. Queste riformulazioni preservano il significato sottostante ma alterano la forma superficiale.
2. Gruppo di Risposte Espanso: Invece di campionare $G$ risposte solo per $q_0$, il modello campiona $G$ risposte per la domanda originale e $G$ risposte per ciascuno dei $N$ vicini. Ciò crea un gruppo espanso di $(N+1) \times G$ risposte.
3. Calcolo Congiunto dei Vantaggi: I vantaggi sono calcolati tramite normalizzazione relativa al gruppo sull'intero insieme espanso di $(N+1) \times G$ risposte, anziché normalizzare separatamente per ciascuna riformulazione.
   • Mitigazione dello Svanimento del Gradiente: Anche se la domanda originale produce ricompense uniformi, i vicini riformulati spesso producono ricompense miste (alcune corrette, alcune errate) a causa di una difficoltà percepita spostata. La normalizzazione congiunta garantisce che la deviazione standard sia non nulla, preservando il segnale gradiente.
   • Mitigazione del Crollo della Diversità: Le riformulazioni diverse elicita pattern di ragionamento distinti all'interno dello stesso gruppo, impedendo alla politica di collassare in un singolo modo.
4. Rapporti di Importanza Ancorati: Per garantire che il modello impari a risolvere la domanda originale, tutti i rapporti di importanza sono condizionati alla domanda originale $q_0$, indipendentemente da quale riformulazione ($q_n$) abbia generato la specifica risposta. Questo tratta le riformulazioni come una distribuzione di campionamento surrogata per $q_0$, giustificata dall'assunzione che le riformulazioni equivalenti al problema producano traiettorie di ragionamento simili.

La funzione obiettivo massimizza la perdita surrogata troncata su questo gruppo espanso, con vantaggi derivati dalla normalizzazione congiunta e rapporti di importanza ancorati al prompt originale.

Contributi Chiave

Il documento delinea quattro contributi principali:

• Identificazione di Questioni Trascurate: Evidenzia che lo svanimento del gradiente e il crollo della diversità sono in gran parte trascurati dai progressi esistenti nel GRPO, che spesso li affrontano separatamente o tramite filtraggio dei dati.
• Algoritmo TA-GRPO: Una semplice estensione che affronta contemporaneamente entrambi i problemi raggruppando le risposte attraverso una domanda e i suoi vicini riformulati, calcolando vantaggi congiunti e ancorando gli aggiornamenti alla domanda originale.
• Efficacia Empirica: Esperimenti estensivi dimostrano miglioramenti coerenti nel pass@k su quattro LLM (Qwen3-1.7B/4B, Llama-3.2-1B/3B) sia su benchmark di livello competitivo (AMC, OlympiadBench, AIME24/25) sia su benchmark fuori distribuzione (Minerva, GPQA-Diamond).
• Efficienza dei Dati: TA-GRPO raggiunge prestazioni comparabili a quelle di baseline addestrate su fino a 2,5 volte più dati senza richiedere la raccolta di dati di training aggiuntivi di alta qualità, offrendo un'alternativa economica alla scalatura dei dati.

Risultati Sperimentali

Gli autori hanno valutato TA-GRPO utilizzando il dataset MATH (7.498 domande) come set di training.

• Diagnosi del Segnale di Training: L'analisi dei checkpoint di training ha mostrato che, mentre il GRPO standard soffre sempre più di svanimento del gradiente (fino al 93,2% delle domande che producono ricompense uniformi) e crollo della diversità (distanze di embedding concentrate) man mano che il training procede, TA-GRPO mantiene un margine stabile di ricompense miste e percorsi di ragionamento diversi per tutta la durata del training.
• Guadagni di Prestazione:
  • Sui benchmark di livello competitivo, TA-GRPO ha migliorato il pass@32 medio di 5,09 e 5,01 punti rispettivamente per Qwen3-1.7B e Qwen3-4B, e di 3,50 e 5,25 punti per Llama-3.2-1B e Llama-3.2-3B.
  • I miglioramenti di picco notevoli includevano +9,98 su AIME24 (Qwen3-4B) e +8,58 su GPQA-Diamond (Qwen3-1.7B).
• Esperimenti di Controllo:
  • Campionamento Corrispondente: Quando confrontato con baseline che aumentavano semplicemente il numero totale di risposte campionate per corrispondere al budget di TA-GRPO (senza riformulazione), TA-GRPO ha comunque mantenuto un margine chiaro (ad esempio, +6,86 su AIME24 per Qwen3-4B). Ciò conferma che i guadagni derivano dalla diversità dello spazio campionato e dalla normalizzazione congiunta, non meramente dalla dimensione del campione.
  • Scalatura dei Dati: TA-GRPO addestrato su 1x dati ha eguagliato le prestazioni delle baseline GRPO addestrate su 2,5x dati, dimostrando una significativa efficienza nei dati.

Significato e Affermazioni

Il documento posiziona TA-GRPO come un metodo che sposta il paradigma del post-training RL. Mentre il lavoro precedente si è concentrato sull'ottimizzazione della funzione di perdita o degli assi delle ricompense, TA-GRPO introduce la distribuzione di input come terza leva per migliorare l'esplorazione. Sfruttando riformulazioni equivalenti al problema, il metodo permette ai modelli di imparare da un insieme più ricco di tentativi di soluzione senza scartare dati o fare affidamento sulla regolarizzazione dell'entropia. Gli autori affermano che questo approccio fornisce una via robusta ed efficiente in termini di dati per migliorare le capacità di ragionamento negli LLM, in particolare in scenari dove la raccolta dei dati è costosa o dove il GRPO standard non fornisce segnali gradiente sufficienti.