Riepilogo Tecnico: SAGE – Modellazione di Ancoraggi per Esplorazione Guidata nell'RLVR di LLM

1. Enunciato del Problema

I recenti avanzamenti nell'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) hanno dimostrato la capacità di migliorare l'accuratezza pass@1 dei Modelli Linguistici di Grande Dimensione (LLM) su compiti di ragionamento. Tuttavia, è emersa una limitazione critica: mentre l'RLVR spesso aumenta i tassi di successo su singoli campioni, frequentemente non riesce a produrre guadagni comparabili nel pass@k (la probabilità di trovare una risposta corretta tra $k$ campioni).

Analisi precedenti suggeriscono che questa discrepanza nasce perché l'RLVR standard induce un collasso modale (o "restringimento del supporto"). Invece di scoprire nuove strategie di ragionamento, la politica collassa su un sottoinsieme ristretto di modalità di ragionamento preesistenti ad alta densità presenti nel modello di riferimento base. Questo comportamento è attribuito ai vincoli strutturali del termine di regolarizzazione standard Kullback-Leibler inverso (reverse-KL). Sebbene il reverse-KL fornisca la necessaria stabilità nell'addestramento ancorando la politica a una distribuzione di riferimento ($\pi_{ref}$), esso sopprime intrinsecamente le traiettorie a bassa densità, impedendo efficacemente al modello di esplorare percorsi di ragionamento alternativi e validi che giacciono al di fuori del supporto immediato del modello di riferimento.

I tentativi di risolvere ciò rimuovendo il termine KL o sostituendolo con il forward-KL si sono rivelati subottimali. La rimozione del termine KL porta spesso all'hacking della ricompensa e all'instabilità, mentre il forward-KL, sebbene espanda il supporto, assegna frequentemente massa probabilistica a regioni irrilevanti per la ricompensa, non riuscendo a migliorare il pass@1. La sfida centrale è mantenere i benefici stabilizzanti del reverse-KL abilitando al contempo un'espansione controllata del supporto empirico.

2. Metodologia: Framework SAGE

Gli autori propongono SAGE (Shaping Anchors for Guided Exploration), un framework che reinterpreta la regolarizzazione reverse-KL non come un vincolo statico da indebolire, ma come un ancoraggio dinamico la cui distribuzione target può essere rimodellata per guidare l'esplorazione.

Meccanismo Principale

L'RLVR reverse-KL standard ottimizza:
$$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
Ciò porta a una soluzione stazionaria in cui la politica è una distorsione esponenziale del riferimento: $\pi_\theta \propto \pi_{ref} \exp(r/\beta)$. Questo aggiornamento moltiplicativo amplifica le regioni ad alta densità di $\pi_{ref}$ sopprimendo quelle a bassa densità.

SAGE modifica ciò introducendo una funzione guida $q(x, y) > 0$ che rimodella la distribuzione di ancoraggio stessa. Il nuovo obiettivo diventa:
$$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$$
Qui, $\tilde{D}_{KL}$ è una divergenza pseudo-KL definita per funzioni non normalizzate. La soluzione stazionaria diventa:
$$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$$
Progettando $q(x, y)$ in modo che sia grande per modalità di ragionamento sottoposte a esplorazione ma potenzialmente valide, SAGE amplifica la loro massa probabilistica senza rompere la stabilità fornita dall'ancoraggio $\pi_{ref}$.

Istanza tramite Segnali Intrinseci

Per rendere $q(x, y)$ pratica senza richiedere informazioni esplicite sulla ricompensa durante la costruzione della guida, gli autori propongono l'uso di segnali intrinseci derivati dal processo di ragionamento stesso:

1. Esplorazione Casuale: Una linea di base che utilizza perturbazioni stocastiche.
2. Esplorazione a Livello di Token: Utilizza la sorpresa ($-\log p$) per orientarsi verso scelte lessicali rare. Gli autori notano che ciò cattura deviazioni a livello superficiale ma potrebbe non riflettere differenze strutturali nel ragionamento.
3. Esplorazione a Livello di Ramo (SAGE-Branch): La variante principale proposta. Utilizza l'entropia ($H_t$) come segnale per la ramificazione del ragionamento. La funzione guida è definita come:
   $$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$$
   dove $H_t$ è l'entropia a livello di token, $\tau$ è una soglia di attivazione e $\gamma$ controlla la magnitudine. Ciò amplifica selettivamente l'esplorazione nei punti decisionali ad alta incertezza (nodi di diramazione) sopprimendo il rumore nei passaggi simbolici deterministici.

Garanzie Teoriche

Il documento fornisce un'analisi teorica (Teorema 4.3) che dimostra che, a differenza dell'RLVR standard che è limitato dal supporto empirico del modello di riferimento, SAGE può teoricamente espandere il supporto empirico. Specificamente, se la funzione guida $q$ è sufficientemente grande per una soluzione valida per la ricompensa $y^*$ che attualmente si trova al di fuori del supporto empirico della politica di riferimento, SAGE può assegnarle una probabilità non trascurabile, recuperando efficacemente modalità di ragionamento "nascoste".

3. Contributi Chiave

1. Analisi delle Limitazioni dell'RLVR: Gli autori identificano che l'ancoraggio reverse-KL, sebbene stabilizzante, è la causa strutturale primaria del collasso modale nell'RLVR. Sostengono che rimuovere o sostituire semplicemente il termine KL è insufficiente, poiché ciò interrompe il compromesso tra efficienza e copertura.
2. Framework SAGE: Propongono un metodo principiato per abilitare un'espansione controllata del supporto empirico rimodellando la distribuzione di ancoraggio KL tramite una funzione guida $q(x, y)$, invece di rimuovere l'ancoraggio.
3. Integrazione di Segnali Intrinseci: Dimostrano come segnali intrinseci leggeri (in particolare entropia e sorpresa) possano essere utilizzati per costruire funzioni guida efficaci che non richiedono passaggi in avanti aggiuntivi o dati esterni.
4. Validazione Empirica: Esperimenti estensivi mostrano che le varianti SAGE, in particolare l'esplorazione a livello di ramo, migliorano costantemente sia il pass@1 che il pass@k su diversi benchmark di ragionamento matematico.

4. Risultati Sperimentali

Gli autori hanno valutato SAGE sui dataset AIME 2024-2025, AMC23 e MATH-500 utilizzando il modello Qwen2.5-Math-7B-Base e l'algoritmo GRPO.

• Guadagni di Prestazione: La variante GRPO + Branch ha raggiunto le prestazioni medie più forti, migliorando il pass@1 da 0,266 (GRPO vanilla) a 0,284 e il pass@256 da 0,714 a 0,729. Ha superato le linee di base su tutti e tre i dataset.
• Confronto con Alternative:
  • GRPO senza KL: Ha mostrato ricompense di addestramento più elevate ma prestazioni significativamente peggiori al momento del test (pass@1 e pass@256), confermando il rischio di hacking della ricompensa senza l'ancoraggio KL.
  • Forward-KL: Ha migliorato leggermente il pass@256 ma non è riuscito a eguagliare i guadagni di pass@1 di SAGE, indicando che assegna massa a regioni fuori target.
  • Altri Algoritmi RL: SAGE è stato integrato con successo con BNPO e DAPO, risolvendo costantemente il compromesso in cui questi metodi miglioravano tipicamente il pass@1 a scapito del pass@k.
• Analisi dei Pattern di Ragionamento: L'analisi qualitativa ha rivelato che mentre l'RLVR standard rafforzava pattern dominanti come "impostazione dei vincoli", SAGE ha aumentato significativamente la frequenza della dimostrazione per assurdo (dal 0,8% in GRPO al 3,3% in GRPO+Branch), una modalità di ragionamento rara ma valida.
• Robustezza: Nelle valutazioni fuori distribuzione (benchmark Knights and Knaves), i modelli addestrati con SAGE hanno mantenuto le prestazioni sotto shift di distribuzione, mentre i modelli GRPO standard hanno mostrato un degrado significativo, suggerendo che SAGE mitiga il collasso modale.
• Generalizzazione: Il metodo si è rivelato efficace anche su modelli a ragionamento lungo (DeepSeek-R1-Distill-Qwen-7B) e su modelli più piccoli (Qwen2.5-1.5B/3B), dimostrando robustezza su diverse scale di modelli e paradigmi di ragionamento.

5. Significato e Affermazioni

Il documento afferma che SAGE offre un approccio pratico e principiato per mitigare l'irrigidimento modale nell'RLVR reverse-KL. Trattando la regolarizzazione KL come uno strumento controllabile piuttosto che un vincolo rigido, SAGE permette agli LLM di scoprire e utilizzare traiettorie di ragionamento diversificate che sono valide ma sottorappresentate nel modello base.

Gli autori sottolineano che SAGE è modulare e ortogonale alle tecniche esistenti (come la modellazione dell'advantage o il campionamento dinamico), poiché modifica la distribuzione di ancoraggio stessa piuttosto che la struttura di ottimizzazione. Posizionano SAGE come un framework generale per un'espansione stabile e compatibile con il KL del supporto empirico.

Limitazioni e Ambito:
Gli autori riconoscono modestamente che SAGE opera all'interno del supporto della politica di riferimento fissa. Ridistribuisce la massa probabilistica tra traiettorie che hanno già una probabilità non nulla sotto $\pi_{ref}$; non può generare pattern di ragionamento completamente nuovi che sono impossibili da produrre per il modello base. Notano che, sebbene la distillazione da modelli insegnanti più potenti possa espandere il confine del ragionamento, SAGE lo completa abilitando un'esplorazione stabile all'interno di quel confine. L'istanza corrente si basa su segnali intrinseci leggeri, e gli autori suggeriscono che l'apprendimento di funzioni guida più espressive da modelli più potenti è una direzione promettente per il lavoro futuro.