Riepilogo Tecnico: REFT – Esplorazione con Rollout e Diversificazione del Primo Token

Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) si è affermato come metodo primario per potenziare le capacità di ragionamento dei grandi modelli linguistici (LLM) senza fare affidamento su traiettorie di ragionamento etichettate. Nei metodi RLVR di gruppo come GRPO e DAPO, una politica genera un insieme finito di rollout (tracce di ragionamento) per un singolo prompt, i quali vengono valutati da un verificatore automatico. Il segnale di apprendimento è derivato dalle ricompense relative all'interno di questo gruppo.

Un collo di bottiglia critico in questo paradigma è la diversità dei rollout. Se tutti i rollout in un gruppo seguono percorsi di ragionamento simili o ricevono ricompense identiche, il gruppo fornisce scarso segnale contrastivo per gli aggiornamenti della politica. Gli approcci esistenti tentano di ampliare l'esplorazione aumentando la temperatura di campionamento, diramandosi in punti di pivot del ragionamento ad alta entropia o selezionando risposte finali diverse. Tuttavia, questi metodi spesso assumono che i token di prefisso iniziali siano un'impalcatura fissa o che un'esplorazione preziosa risieda solo in passaggi di ragionamento sostanziali ad alta incertezza.

Gli autori identificano un'inefficienza strutturale: il primo token generato dopo il marcatore di ragionamento (<thought>) è tipicamente un apertore discorsivo a basso contenuto (ad esempio, "Prima", "Lascia", "Per"). Le politiche di campionamento standard mostrano una distribuzione fortemente piccata su questi token, orientando pesantemente il gruppo di rollout verso un singolo apertore. Crucialmente, gli autori osservano che, mentre la probabilità di questi primi token è altamente concentrata, la correttezza dei rollout risultanti è quasi piatta tra i primi 20 candidati. Ciò crea un'opportunità "a basso carico, ad alta leva": il primo token ha un carico semantico minimo ma esercita un'alta leva distributiva, instradando l'intera continuazione successiva in diverse regioni semantiche.

Metodologia: REFT

Il documento introduce REFT (Rollout Exploration with First-Token Diversification), un'intervento minimo nella pipeline RLVR che diversifica il primo token senza alterare l'architettura del modello, il verificatore, la funzione di ricompensa o l'obiettivo RL.

Meccanismo Principale

REFT sostituisce il campionamento stocastico standard del primo token con una strategia di campionamento stratificato:

1. Selezione dei Candidati: Per un dato prompt $x$, viene valutata la distribuzione della politica alla posizione del primo token. I primi $N$ token semantici validi (escludendo spazi bianchi e token speciali) sono identificati come l'insieme dei candidati $F_N(x)$.
2. Campionamento Uniforme: Da $F_N(x)$, vengono campionati $K$ primi token distinti in modo uniforme senza reinserimento per formare un insieme $S_K(x)$.
3. Allocazione del Budget: La dimensione totale del gruppo di rollout $G$ è divisa equamente tra i $K$ token selezionati. Per ogni primo token selezionato $f \in S_K(x)$, il modello genera $G/K$ continuazioni condizionate su $f$, utilizzando il decoder di base invariato per il resto della sequenza.
4. Addestramento: Il gruppo diversificato risultante viene elaborato dall'algoritmo RLVR standard (ad esempio GRPO o DAPO) senza correzioni di ponderazione dell'importanza per la discrepanza di campionamento del primo token.

Scelte Chiave di Progettazione

• Basso Carico, Alta Leva: Il metodo mira a una posizione in cui il modello è "artificialmente certo" (alta probabilità per un apertore specifico) ma dove la correttezza è stabile tra le alternative.
• Nessun Rumore Globale: A differenza dell'aumento della temperatura, che appiattisce le distribuzioni su tutta la traiettoria (potenzialmente danneggiando passaggi di ragionamento critici successivi), REFT inietta diversità solo nel primo token, preservando l'integrità della catena di ragionamento successiva.
• Sostituzione Diretta: REFT non richiede modifiche all'obiettivo RL sottostante, alla stima del vantaggio o alla logica del verificatore.

Contributi Chiave

1. Insight Diagnostico: Gli autori dimostrano che la distribuzione del primo token nei modelli di ragionamento è fortemente concentrata ma disaccoppiata dalla correttezza. Mostrano che primi token a bassa probabilità tra i primi 20 possono portare a rollout corretti con la stessa frequenza del token più probabile, a condizione che la continuazione sia campionata normalmente.
2. Effetto di Instradamento: Gli esperimenti confermano che diversi primi token instradano il modello in regioni distinte di continuazione semantica. Il campionamento uniforme dei primi 20 primi token produce una diversità semantica significativamente maggiore nella restante continuazione (dopo aver rimosso il primo token) rispetto al campionamento standard.
3. Algoritmo REFT: Un metodo semplice ed efficientemente computazionale per diversificare i gruppi di rollout riallocando il budget fisso dei rollout tra apertori plausibili del primo token.
4. Mitigazione dell'Eccesso di Credito: Il documento mostra che gli aggiornamenti standard GRPO tendono ad affinare la preferenza per il primo token numero 1 nel corso degli step di addestramento, anche quando il verificatore non supporta fortemente tale preferenza. REFT mitiga ciò garantendo la copertura di più apertori plausibili, impedendo alla politica di attribuire eccessivo credito a una specifica preferenza discorsiva.

Risultati Sperimentali

Gli autori hanno valutato REFT su quattro modelli di base (Qwen2.5-0.5B, 3B, 7B e Llama3.2-3B) e due obiettivi RLVR (GRPO e DAPO) su tre dataset (GSM8K, BigMath-Easy, BigMath).

• Guadagni di Prestazione: REFT migliora costantemente le prestazioni aggregate attraverso le metriche Pass@1, Pass@8 e Pass@64.
  • Su GSM8K, GRPO e DAPO potenziati da REFT superano le rispettive baseline.
  • Sulla "Media Matematica" (media di MATH-500, AIME 2024/2025, AMC 2023), i guadagni sono particolarmente pronunciati, suggerendo che REFT è efficace quando un'esplorazione più ampia è critica.
  • I miglioramenti sono osservati anche alla scala più piccola (0.5B di parametri), indicando che il metodo non dipende dalla capacità di modelli di grandi dimensioni.
• Analisi della Diversità:
  • Diversità di Addestramento: REFT produce i gruppi di rollout semanticamente più diversificati durante l'addestramento.
  • Concentrazione di Inferenza: Paradossalmente, i modelli addestrati con REFT producono output più concentrati al momento dell'inferenza, suggerendo che il metodo aiuta la politica a imparare a convergere su pattern di successo in modo più efficace dopo aver esplorato percorsi diversi.
  • Decomposizione a Varianza Zero: REFT riduce la frazione di gruppi "tutti errati" (gruppi a varianza zero in cui non viene trovata alcuna traiettoria corretta) senza aumentare la saturazione "tutti corretti", indicando un'esplorazione più utile.
• Efficienza: REFT introduce un sovraccarico di runtime trascurabile. In alcuni casi, riduce leggermente le ore GPU a causa di lunghezze medie di completamento più brevi risultanti da una maggiore accuratezza.

Significato e Affermazioni

Il documento afferma che REFT offre una "semplice inversione dell'intuizione esplorativa usuale". Invece di cercare diversità in diramazioni di ragionamento ad alta entropia e incerte, una diversità utile può essere recuperata da scelte di prefisso a basso carico che sono fortemente distorte ma debolmente legate alla correttezza.

Gli autori sottolineano che REFT non è un nuovo algoritmo RL ma una sostituzione mirata della prima decisione del campionatore di rollout. Il suo significato risiede in:

• Efficienza: Amplia il segnale di addestramento senza aumentare il budget dei rollout o i costi computazionali.
• Robustezza: Migliora sia l'accuratezza del singolo campione (Pass@1) sia la probabilità di trovare una soluzione corretta entro un budget finito (Pass@8/64), affrontando il compromesso spesso osservato in RLVR in cui il miglioramento di Pass@1 restringe la distribuzione accessibile.
• Generalizzabilità: Il metodo funziona su diverse scale di modelli e obiettivi RLVR, suggerendo che il fenomeno dell'"instradamento del primo token" è una caratteristica fondamentale dei modelli di ragionamento attuali che può essere sfruttata per un migliore addestramento.

Il documento conclude che il primo token dopo il marcatore di ragionamento è un punto di intervento inaspettatamente economico ed efficace per l'esplorazione RLVR, permettendo ai modelli di esplorare regioni di continuazione più ampie mantenendo la stabilità della traccia di ragionamento.