Riepilogo Tecnico: RL senza Verificatore per LLM tramite Ricompensa Intrinseca basata sulla Norma del Gradiente (VIGOR)

1. Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è emerso come un paradigma potente per l'addestramento post-hoc dei Modelli Linguistici di Grande Dimensione (LLM), in particolare per compiti di ragionamento come la matematica e la programmazione. Tuttavia, l'RLVR dipende fortemente da verificatori esterni specifici per dominio (ad esempio, controllori di corrispondenza esatta per le risposte matematiche o test unitari per il codice). Questa dipendenza limita la scalabilità verso nuovi compiti o domini in cui tali verificatori non sono disponibili o sono difficili da costruire.

Le alternative esistenti senza verificatore affrontano sfide significative:

• Metodi di Voto di Maggioranza: Derivano pseudo-etichette dal consenso tra più campioni. Spesso assumono che le risposte finali possano essere estratte e normalizzate in modo affidabile, limitandone l'applicabilità alla generazione aperta.
• Metodi basati su Segnali Intrinseci: Utilizzano segnali interni del modello come l'entropia o l'autocertezza. Sebbene promettenti, possono diventare fragili man mano che l'addestramento procede, portando a degenerazione della ricompensa, instabilità e crollo delle prestazioni.

La sfida principale è sviluppare un segnale di ricompensa senza verificatore che sia ampiamente applicabile a output di forma libera, stabile durante l'apprendimento per rinforzo e che si basi esclusivamente sul modello policy stesso, senza componenti ausiliarie.

2. Metodologia: VIGOR

Gli autori propongono VIGOR (Ricompensa Intrinseca senza Verificatore basata sulla Norma del Gradiente), un metodo che calcola le ricompense utilizzando esclusivamente le dinamiche di addestramento interne del modello policy.

Intuizione di Base

Il metodo è fondato sulla teoria dell'ottimizzazione del primo ordine. In un paesaggio di perdita, una norma del gradiente più piccola indica tipicamente che i parametri correnti sono vicini a una regione stazionaria, implicando aggiornamenti più lievi e dinamiche di addestramento più fluide. VIGOR ipotizza che i completamenti che inducono norme $\ell_2$ più piccole dei gradienti di log-verosimiglianza negativa (NLL) forzati dall'insegnante siano più allineati con la policy corrente e dovrebbero ricevere ricompense più elevate.

Passaggi Algoritmici

Per un dato prompt $x$, la policy $\pi_\theta$ campiona un gruppo di $G$ completamenti $\{y_i\}_{i=1}^G$. Il calcolo della ricompensa procede come segue:

1. Calcolo della Norma del Gradiente: Per ogni completamento $y$, viene calcolata la media della NLL a livello di token $\ell_{mean}(x, y)$. Il gradiente $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ è calcolato rispetto ai parametri correnti $\theta$ (senza aggiornare il modello). Il gradiente viene scollegato dal grafo di calcolo per fungere da segnale scalare.
2. Correzione per la Lunghezza (Scala $\sqrt{T}$): La norma del gradiente grezza $\|g\|_2$ presenta un bias sistematico in cui si riduce all'aumentare della lunghezza della sequenza $T$, anche se la qualità non migliora. Per contrastare questo "hacking della lunghezza", il segnale viene scalato per $\sqrt{T}$:
   $$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$$
   Il segno negativo converte la minimizzazione delle norme del gradiente in un obiettivo di massimizzazione della ricompensa.
3. Normalizzazione Basata sul Ranking: Per stabilizzare le scale delle ricompense tra prompt diversi e garantire la comparabilità, i segnali grezzi all'interno di un gruppo vengono ordinati e mappati su una ricompensa basata sul ranking $R_{GN} \in [-1, +1]$. Il completamento peggiore (norma del gradiente più alta) riceve $-1$, mentre il migliore (norma del gradiente più bassa) riceve $+1$.
4. Ottimizzazione della Policy: Queste ricompense normalizzate per ranking sono utilizzate per calcolare i vantaggi relativi al gruppo $\hat{A}_i$ all'interno del framework di Ottimizzazione della Policy Relativa al Gruppo (GRPO). La policy viene aggiornata per massimizzare l'obiettivo, incoraggiando completamenti con norme del gradiente più basse.

3. Contributi Chiave

• Framework VIGOR: Un nuovo meccanismo di ricompensa intrinseca senza verificatore che utilizza la norma $\ell_2$ dei gradienti forzati dall'insegnante come proxy per l'allineamento della policy e la stabilità dell'addestramento.
• Correzione per la Lunghezza: L'introduzione di un fattore di scala $\sqrt{T}$ per neutralizzare il bias sistematico legato alla lunghezza intrinseco nelle norme medie dei gradienti a livello di token, prevenendo che il modello sfrutti l'inflazione della lunghezza per massimizzare le ricompense.
• Modellazione Basata sul Ranking: Una tecnica di normalizzazione che stabilizza le scale delle ricompense tra i prompt basandosi sull'ordinamento relativo all'interno del gruppo piuttosto che sulle magnitudini assolute dei gradienti.
• Validazione Empirica: Esperimenti estensivi che dimostrano come VIGOR superi le baseline senza verificatore più avanzate (in particolare RLIF/INTUITOR) sui benchmark di ragionamento matematico e generazione di codice, mantenendo al contempo dinamiche di addestramento stabili.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui modelli Qwen2.5-3B-Base e Qwen2.5-7B-Base, addestrati rispettivamente sul dataset MATH e sul dataset CodeContests.

Prestazioni in Matematica (Addestrato su MATH)

• Qwen2.5-7B: VIGOR ha migliorato l'accuratezza matematica media del +3.31% rispetto alla baseline INTUITOR. Nello specifico, ha raggiunto il 76.20% su MATH500 e il 44.42% su AMC.
• Trasferimento Cross-Dominio: Quando addestrato esclusivamente su dati matematici, VIGOR ha migliorato l'accuratezza media del codice del +1.91% rispetto alla baseline INTUITOR, dimostrando un efficace trasferimento cross-dominio.
• Stabilità: A differenza di INTUITOR, che ha mostrato un regresso tardivo nell'accuratezza, VIGOR ha mantenuto un miglioramento stabile durante tutto l'addestramento.

Prestazioni in Codice (Addestrato su CodeContests)

• Qwen2.5-3B: VIGOR ha migliorato le prestazioni medie del codice dal 16.98% al 23.64%.
• Trasferimento Cross-Dominio: L'addestramento su dati di codice ha migliorato la media matematica dal 48.34% al 56.57%.
• Nota: Sulla metrica CodeAvg, VIGOR (23.64%) ha leggermente sottoperformato INTUITOR (25.43%), in particolare sul benchmark CRUX. Gli autori attribuiscono ciò alla natura della programmazione competitiva, dove la correttezza dipende spesso da scelte algoritmiche discrete non pienamente catturate dalla fluidità del gradiente.

Analisi delle Dinamiche di Addestramento

• Stabilità: VIGOR ha mostrato dinamiche di addestramento più stabili rispetto a INTUITOR, che ha sofferto di degenerazione della ricompensa (dove campioni ad alta ricompensa diventavano meno allineati con la correttezza nel tempo).
• Controllo della Lunghezza: VIGOR ha efficacemente frenato l'inflazione della lunghezza. Mentre INTUITOR ha mostrato un aumento pronunciato della lunghezza di generazione, VIGOR ha prodotto output sostanzialmente più brevi, focalizzando l'ottimizzazione sulla qualità del ragionamento piuttosto che sullo sfruttamento della lunghezza.
• Monotonia Ranking-accuratezza: L'analisi ha confermato una forte relazione monotona tra il ranking basato sulla norma del gradiente e l'accuratezza del compito; i completamenti classificati più in alto da VIGOR hanno raggiunto costantemente un'accuratezza superiore.

Studi di Ablazione

• Senza Correzione $\sqrt{T}$: La rimozione di questo componente ha causato un degrado catastrofico, in particolare nel modello da 3B, risultando in un'accuratezza vicina allo zero e in un grave sfruttamento della lunghezza.
• Senza Modellazione per Ranking: La rimozione della normalizzazione per ranking ha portato a instabilità, in particolare nel modello da 7B, causando un calo significativo (8.90%) nelle prestazioni su MMLU-Pro a causa dell'influenza di valori anomali estremi nelle magnitudini grezze dei gradienti.

5. Significato e Limitazioni

Significato:
Il paper afferma che VIGOR fornisce un'alternativa robusta e senza verificatore per l'addestramento post-hoc RL che non dipende da etichette esterne o modelli ausiliari. Sfruttando la geometria intrinseca del paesaggio di perdita (norme del gradiente), offre un segnale stabile per l'ottimizzazione della policy che si generalizza tra domini (da matematica a codice e viceversa) e mantiene la stabilità dell'addestramento laddove altri metodi intrinseci falliscono.

Limitazioni:

• Ambito dei Compiti: Lo studio mira principalmente a compiti di ragionamento verificabili. Gli autori notano che non è chiaro quanto bene VIGOR si trasferisca a contesti di generazione più aperti (ad esempio, scrittura estesa o dialogo) senza vincoli aggiuntivi.
• Costo Computazionale: VIGOR richiede il calcolo della norma del gradiente per campione tramite differenziazione automatica, il che introduce un sovraccarico non trascurabile rispetto a segnali basati solo sul forward come la verosimiglianza o l'entropia.
• Natura di Proxy: La norma del gradiente è un obiettivo proxy. Gli autori riconoscono che potrebbe non tracciare costantemente l'utilità a valle, lasciando spazio a potenziali disallineamenti o sfruttamento della ricompensa.