🤖 machine learning

Parameter Exploration for RLVR via Variational Learning

Questo articolo introduce la Perturbed Parameter Policy Optimization (3PO), un metodo che potenzia l'apprendimento per rinforzo per i LLM esplorando lo spazio dei parametri per generare policy diversificate, migliorando così le prestazioni a valle e la stabilità dell'addestramento rispetto alle tecniche standard di esplorazione dello spazio delle azioni come GRPO.

Autori originali: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come risolvere un enigma complicato, come un problema matematico complesso o la scrittura di un pezzo di codice. Non puoi semplicemente sederti lì e mostrargli la risposta; invece, lasci che il robot ci provi e, se ci riesce, gli dai un "cinque" (una ricompensa). Se sbaglia, gli dici gentilmente "riprova". Questo si chiama Apprendimento per Rinforzo (Reinforcement Learning). La parte difficile è che il robot deve capire da solo come ottenere quel "cinque". A volte, rimane incastrato in un vicolo cieco, ripetendo gli stessi errori all'infinito perché ha troppa paura di provare qualcosa di nuovo. Per risolvere questo problema, gli scienziati di solito cercano di rendere il robot un po' più "caotico" o "casuale" quando pensa, sperando che inciampi in una nuova, brillante soluzione.

Per molto tempo, il modo standard per aggiungere questo caos è stato quello di regolare la "temperatura" del robot. Pensa a questo come al regolare il volume del fruscio di una radio: rende le scelte del robot un po' più imprevedibili, ma non cambia effettivamente ciò che sa o come pensa; cambia solo leggermente l'ordine delle sue ipotesi. È come dire a uno chef di buttare più spezie in una zuppa senza cambiare la ricetta stessa. Il problema è che, a volte, la zuppa ha ancora un sapore terribile, e il robot continua a fare gli stessi errori, solo in un ordine diverso. Questo articolo esplora un'idea diversa, più radicale: e se non limitassimo a rimescolare le spezie, ma modificassimo davvero il cervello dello chef? E se dessimo al robot una sorta di "nebbia cerebrale" temporanea o un leggero "cambio di personalità" per ogni singolo tentativo? Questo permette al robot di esplorare modi di pensare completamente nuovi, non solo nuovi modi di fare ipotesi.

I ricercatori dietro questo studio, Vatsal Venkatkrishna, Nico Daheim e Iryna Gurevych, hanno deciso di testare questa idea di "modifica del cervello" su grandi modelli linguistici (quelli che scrivono testi e risolvono problemi). Chiamano questa nuova famiglia di metodi 3PO (Perturbed Parameter Policy Optimization). Invece di rendere casuali solo le ipotesi del robot (esplorazione dello spazio delle azioni), aggiungono effettivamente un po' di rumore ai pesi interni del robot (esplorazione dello spazio dei parametri). Immagina di avere una squadra di 16 chef che cercano di risolvere un enigma. Il vecchio metodo (chiamato GRPO) farebbe in modo che tutti i 16 chef usino esattamente lo stesso libro di ricette, limitandosi a indovinare casualmente. Se tutti falliscono, l'intera squadra è bloccata.

Il team di 3PO ha provato tre modi diversi per scuotere le cose. Primo, B3PO è come dare a tutta la squadra una versione del libro di ricette leggermente diversa e "nebbiosa" per l'intero turno. Secondo, M3PO è come far provare alla squadra quattro versioni diverse del libro, una dopo l'altra, e farne la media dei risultati. Ma la vera stella dello spettacolo è C3PO. In C3PO, la squadra viene divisa. Invece di far usare a tutti lo stesso libro, dividono i 16 chef in gruppi più piccoli, e ogni gruppo riceve una versione del libro di ricette completamente diversa e "nebbiosa". Questo significa che la squadra sta esplorando molti diversi "universi" di soluzioni contemporaneamente.

I risultati sono stati molto promettenti. Quando hanno testato questi metodi su problemi matematici difficili (come la competizione AIME) e sfide di programmazione, il metodo C3PO ha costantemente superato i metodi standard. L'articolo suggerisce che, utilizzando queste diverse versioni "nebbiose" del modello, la squadra è stata in grado di trovare risposte corrette che il metodo standard aveva mancato. Nello specifico, C3PO è riuscito a "salvare" più gruppi di tentativi che sarebbero altrimenti finiti in un vicolo cieco (dove ogni singolo tentativo portava alla stessa risposta errata). Ha inoltre prodotto meno risposte "malformate"—quelle risposte strane e rotte dove il robot ripete semplicemente nonsense.

Interessante è che l'articolo sostiene che rendere semplicemente il robot più casuale (come alzare la temperatura) non sia sufficiente. Infatti, hanno scoperto che rendere il robot troppo casuale portava spesso solo a risposte prive di senso. La chiave era la struttura dell'esplorazione: avere molteplici versioni diverse del modello che lavorano insieme nello stesso gruppo. Sebbene l'articolo non sostenga che questo sia una soluzione magica che risolve tutto, suggerisce fortemente che modificare i parametri interni del modello sia uno strumento potente. È come rendersi conto che, per trovare un tesoro nascosto, non basta camminare in direzioni casuali; devi invece inviare un'intera squadra di esploratori, ognuno con una mappa leggermente diversa, per coprire più terreno. I ricercatori hanno scoperto che questo approccio funziona bene senza richiedere una potenza di calcolo significativamente maggiore, rendendolo un aggiornamento pratico per addestrare IA più intelligenti.

Riepilogo Tecnico: Perturbed Parameter Policy Optimization (3PO) per RLVR

Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è un paradigma di post-training prominente per potenziare le capacità di ragionamento dei Large Language Models (LLM) senza fare affidamento su dimostrazioni umane. Tuttavia, gli attuali algoritmi di RLVR, in particolare il Group Relative Policy Optimization (GRPO), affrontano sfide significative legate al compromesso tra esplorazione e sfruttamento (exploration-exploitation trade-off).

Il limite primario risiede nell'esplorazione dello spazio delle azioni. I metodi standard controllano l'esplorazione regolando la temperatura softmax durante la generazione dei token. Come illustrato nel paper, la scalatura della temperatura altera solo la varianza della distribuzione dei token preservandone l'ordinamento relativo. Ciò restringe il modello all'esplorazione di traiettorie all'interno della stessa "forma" dello spazio delle soluzioni, fallendo spesso nel scoprire percorsi nuovi e ad alto rendimento che hanno una probabilità iniziale bassa. Di conseguenza, ciò porta a:

Collasso Prematuro dell'Entropia: La policy diventa eccessivamente deterministica, generando rollout omogenei.
Gruppi a Vantaggio Zero (Zero-Advantage Groups): In GRPO, se tutti i $G$ rollout per un prompt ricevono la stessa ricompensa (ad esempio, tutti corretti o tutti errati), il segnale di vantaggio diventa zero, bloccando l'apprendimento.
Degenerazione: L'esplorazione dello spazio delle azioni ad alta temperatura porta spesso a output malformati o errati (ad esempio, ripetizione di token) piuttosto che a soluzioni alternative valide.

Le soluzioni esistenti come la regolarizzazione dell'entropia o la modellazione del vantaggio mirano a stabilizzare l'addestramento, ma non alterano fondamentalmente i parametri del generatore per abilitare un'esplorazione più profonda.

Metodologia: Perturbed Parameter Policy Optimization (3PO)

Gli autori propongono la Perturbed Parameter Policy Optimization (3PO), una famiglia di metodi che sposta l'asse dell'esplorazione dallo spazio delle azioni (token) allo spazio dei parametri (pesi). Inve old di riordinare semplicemente i token, 3PO campiona diverse policy da una distribuzione posteriore approssimata durante la fase di generazione dei rollout.

Meccanismo Centrale

Il metodo utilizza l'Apprendimento Variazionale, specificamente l'ottimizzatore IVON (Iterative Variational Online Newton), per apprendere una distribuzione sui parametri della rete neurale $\theta$ .

Campionamento della Posteriore: Ad ogni step di addestramento, i parametri del modello sono perturbati aggiungendo un rumore appreso: $\hat{\theta} = m + \sigma \odot z$ , dove $z \sim \mathcal{N}(0, I)$ .
Controllo del Rumore: La varianza $\sigma$ è inversamente proporzionale alla diagonale dell'Hessiana $h$ e a un fattore di scala $\lambda$ (Effective Sample Size, ESS). Un $\lambda$ più piccolo aumenta il rumore, promuovendo l'esplorazione, mentre un $\lambda$ più grande riduce il rumore, concentrandosi sullo sfruttamento.
Ortogonalità: Questo approccio è compatibile con le tecniche esistenti nello spazio delle azioni (ad esempio, scalatura della temperatura, regolarizzazione dell'entropia) poiché opera su un asse differente.

Tre Varianti di 3PO

Il paper introduce tre strategie per integrare il rumore dei parametri nel framework GRPO:

B3PO (Batched Noising):
- Campiona una singola perturbazione dei pesi $\hat{\theta}$ per ogni step di gradiente.
- Questo singolo modello perturbato genera tutti i rollout per il batch.
- Limitazione: Similmente al GRPO standard, se la singola policy campionata è scarsa, l'intero batch mancherà di diversità.
M3PO (Multiple Monte-Carlo Samples):
- Campiona $M$ perturbazioni distinte dei pesi dalla posteriore.
- Genera i rollout per ogni perturbazione e accumula la perdita GRPO attraverso tutti i $M$ campioni prima di eseguire un singolo aggiornamento dei pesi.
- Compromesso: Per mantenere un costo computazionale uguale, la dimensione del gruppo $G$ viene ridotta per perturbazione ( $G/M$ ), il che può limitare la diversità all'interno dei singoli gruppi di vantaggio.
C3PO (Chunked Noising):
- Campiona $N$ perturbazioni distinte dei pesi per batch.
- Il gruppo totale di $G$ rollout è partizionato tra questi $N$ modelli (ad esempio, $G/N$ rollout per modello).
- Gli vantaggi sono calcolati sull'intero gruppo di $G$ risposte, che ora include traiettorie da $N$ diverse policy.
- Obiettivo: Massimizza la diversità del gruppo assicurando che il calcolo del vantaggio sfrutti molteplici configurazioni di parametri distinte, affrontando direttamente il problema del vantaggio zero.

Contributi Chiave

Esplorazione dello Spazio dei Parametri per LLM: Il paper stabilisce che perturbare i pesi del modello (piuttosto che solo le probabilità dei token) è un meccano efficace per l'RLVR, permettendo ai modelli di esplorare diverse regioni dello spazio delle soluzioni che il rumore dello spazio delle azioni non può raggiungere.
Il Framework 3PO: L'introduzione di B3PO, M3PO e C3PO, con un focus specifico su C3PO come la strategia più efficace per massimizzare la diversità del gruppo senza aumentare il carico computazionale.
Validazione Empirica: Esperimenti completi su OLMo-3-1025-7B e Qwen2.5-Math-7B attraverso compiti di ragionamento matematico (AIME, MATH-500, AMC) e generazione di codice (LiveCodeBench).
Analisi dei Gruppi a Vantaggio Zero: Dimostrazione che l'esplorazione dello spazio dei parametri riduce significativamente la frequenza di gruppi a vantaggio zero e di rollout malformati rispetto ai baseline dello spazio delle azioni.

Risultati Sperimentali

Guadagni di Performance: Le varianti 3PO superano costantemente lo standard GRPO e i baseline dello spazio delle azioni (Regolarizzazione dell'Entropia, Polaris, KLCov).
- C3PO ha ottenuto le migliori performance medie su entrambe le famiglie di modelli.
- I guadagni sono stati più pronunciati sui benchmark più difficili (es. AIME 2024–26, LiveCodeBench), dove i modelli pre-RL sono meno capaci e più inclini a generare rollout non validi.
- Su Qwen2.5-Math, C3PO ha migliorato il Pass@1 medio di circa l'1,5% rispetto al GRPO standard, con guadagni specifici fino al 5,83% nei compiti AIME.
Qualità dell'Esplorazione:
- Recupero dei Gruppi Morti: I metodi 3PO, in particolare C3PO e M3PO, hanno costantemente "recuperato" più gruppi a vantaggio zero (producendo almeno un rollout corretto dove GRPO non ne produceva nessuno) rispetto ai baseline dello spazio delle azioni.
- Riduzione della Degenerazione: A differenza dei metodi basati sulla temperatura (Polaris) che spesso producono output malformati, e della Regolarizzazione dell'Entropia che produce output corretti ma ben formati, 3PO ha prodotto meno output malformati e errati mantenendo un'alta diversità.
Sensibilità agli Iperparametri:
- Il fattore di scala ESS $\lambda$ è critico. $\lambda = 10^9$ è stato trovato come un default robusto. $\lambda = 10^8$ (troppo rumore) ha causato il collasso dell'addestramento, mentre $\lambda = 10^{10}$ (troppo poco rumore) ha portato a un plateau delle performance.
- C3PO beneficia di $N \ge 2$ perturbazioni, con $N=4$ che mostra risultati solidi.
- M3PO beneficia della rimozione del vincolo di "computazione uguale"; quando è consentito utilizzare dimensioni di gruppo complete con molteplici campioni, le performance migliorano significativamente.

Significato e Rivendicazioni

Il paper sostiene che l'esplorazione dello spazio dei parametri fornisce un controllo necessario e complementare per l'RLVR che i metodi dello spazio delle azioni non possiedono. Aprendo una distribuzione approssimata sulla posteriore dei pesi, il modello può iniettare adattivamente rumore per esplorare alterazioni promettenti nelle distribuzioni dei token che sono strutturalmente diverse dalla policy corrente.

Gli autori affermano che:

La Diversità è la Chiave: Il driver principale del successo è l'aumento della diversità all'interno dei gruppi GRPO, che previene lo stallo causato dai gruppi a vantaggio zero.
Efficienza: 3PO ottiene questi miglioramenti a un costo di FLOPs quasi identico al GRPO standard (specificamente C3PO), rendendolo un sostituto pratico e diretto.
Generalizzabilità: Il metodo non richiede un prior di rumore appreso da una specifica fase di SFT; l'inizializzazione dell'Hessiana con un valore costante permette al metodo di funzionare efficacemente su checkpoint pronti all'uso.

Il lavoro conclude che, sebbene l'esplorazione dello spazio dei parametri abbia una storia nell'RL classico, la sua applicazione agli LLM tramite l'apprendimento variazionale (3PO) offre una soluzione robusta ai colli di bottiglia dell'esplorazione che attualmente limitano le performance dell'RLVR, specialmente in compiti complessi di ragionamento e codifica.