💬 NLP

The Invisible Leash: Why RLVR May or May Not Escape Its Origin

Questo articolo dimostra empiricamente che, sebbene l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) migliori significativamente la precisione dei LLM, esso alla fine fallisce nell'espandere i confini del ragionamento poiché la sua ottimizzazione vincolata dal supporto restringe lo spazio delle soluzioni del modello, causando spesso il fatto che esso trascuri risposte corrette che erano precedentemente accessibili al modello base.

Autori originali: Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

Pubblicato 2026-02-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Fang Wu, Weihao Xuan, Ximing Lu, Mingjie Liu, Yi Dong, Zaid Harchaoui, Yejin Choi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Il "Guinzaglio Invisibile"

Immaginate di avere uno studente molto talentuoso (il Modello Base) che ha letto una biblioteca di libri e conosce molti fatti. Può risolvere problemi di matematica, ma a volte si blocca o fornisce una risposta leggermente disordinata.

Per renderlo migliore, introducete un coach severo (il sistema RLVR). Questo coach non insegna allo studente nuove materie da zero. Invece, il coach osserva lo studente mentre risolve i problemi e, ogni volta che lo studente trova la risposta esatta, il coach gli dà un "cinque" (un premio). Se la risposta è sbagliata, il coach dice gentilmente: "riprova".

Il paper pone una domanda cruciale: questo coaching insegna davvero allo studente nuovi modi di pensare, o lo addestra solo a ripetere le risposte specifiche che già conosceva, ma con più sicurezza?

Gli autori chiamano questo un "Guinzaglio Invisibile". Hanno scoperto che, sebbene lo studente diventi molto bravo a dare la prima risposta corretta, è in realtà legato allo stesso set limitato di idee con cui è partito. Non può saltare facilmente la recinzione per scoprire soluzioni del tutto nuove che non avesse già accennato prima.

Spiegazione delle Scoperte Chiave

1. La Trappola del "Supporto": Conservare la Vecchia Mappa

Pensate alla conoscenza dello studente come alla mappa di una città. Il "Modello Base" ha una mappa che mostra molti percorsi possibili per raggiungere una destinazione, inclusi alcuni sentieri tortuosi e oscuri.

Cosa fa l'RLVR: Guarda la mappa e dice: "Ehi, questo percorso funziona perfettamente! Rendiamolo una strada d'oro e facciamola diventare l'unica strada su cui guidare".
Il Risultato: Lo studente diventa incredibilmente veloce e accurato su quella singola strada asfaltata. Tuttavia, inizia a dimenticare le altre strade valide e tortuose che erano sulla mappa originale.
La Scoperta del Paper: In quasi tutti i test (matematica, logica, programmazione), i modelli addestrati con RLVR hanno mantenuto le risposte "buone" che già conoscevano (circa il 93-99%), ma hanno perso l'accesso ad altre risposte corrette che il modello originale avrebbe potuto trovare. Non hanno aggiunto nuove strade alla mappa; hanno solo ristretto il traffico a una singola corsia.

2. Il Compromesso tra "Precisione e Diversità"

Immaginate di pescare in un lago.

Il Modello Base lancia una rete ampia. Cattura alcuni pesci grandi, ma cattura anche alcuni pesci più piccoli e di specie diverse. È un po' disordinato, ma trova tutto ciò che c'è.
Il Modello RLVR usa una lancia. È incredibilmente preciso. Se vede un pesce, lo colpisce ogni volta. Ma poiché è così concentrato sul colpire il bersaglio, smette di lanciare la rete in modo ampio.

L'Implicazione: Se avete bisogno di un solo pesce (una risposta corretta), la lancia (RLVR) è migliore. Ma se dovete catturare qualsiasi pesce in un grande secchio (provando molte volte per trovare una soluzione), la rete ampia (Modello Base) è in realtà migliore perché copre più terreno. Il paper ha scoperto che, sebbene l'RLVR sia eccellente nel dare la prima risposta corretta, il modello originale spesso vince se gli vengono date molte possibilità di prova.

3. L'Illusione del "Rumore Confondente"

A volte, lo studente addestrato con RLVR sembra pensare più intensamente. Potrebbe fare pause più lunghe, dire più parole o sembrare più "incerto" mentre parla (questo è chiamato Entropia a livello di Token).

L'Analogia: Immaginate uno chef che taglia le verdure in modo molto rumoroso e caotico. Sembra che stia sperimentando nuove tecniche.
La Realtità: Nonostante il rumore, sta comunque preparando esattamente gli stessi tre piatti di sempre. Non sta inventando una nuova ricetta; sta solo preparando quelle vecchie con un tocco più drammatico.
La Scoperta del Paper: Anche se i modelli sembrano più "incerti" passo dopo passo, convergono su un set di risposte finali molto più piccolo. Sono meno diversificati alla fine.

4. Quando Impara Davvero Qualcosa di Nuovo?

Il paper ha trovato alcune rare eccezioni in cui il modello RLVR ha effettivamente trovato una nuova soluzione. Ciò è accaduto solo in due scenari specifici:

Riassemblare i Pezzi del Puzzle: Lo studente conosceva già i singoli pezzi del puzzle (sotto-competenze), ma non riusciva a metterli insieme correttamente. Il coach li ha aiutati a incastrare i pezzi.
Correggere il Formato: Lo studente conosceva la risposta, ma non sapeva come scriverla nel formato specifico richiesto dal coach. Il coach ha insegnato le regole di formattazione, sbloccando la risposta che era già lì.

In questi casi, il modello non stava scoprendo un nuovo universo di pensiero; stava solo lucidando ciò che era già nascosto nelle ombre della sua conoscenza originale.

Conclusione: Rompere il Guinzaglio

Il paper conclude che gli attuali metodi RLVR sono come uno strumento di precisione, non un motore di creatività. Sono eccellenti nel perfezionare e raffinare ciò che un modello sa già, ma sono "legati" alla distribuzione iniziale del modello base. Non possono facilmente scoprire soluzioni che il modello base aveva probabilità pari a zero di trovare.

Per espandere davvero le capacità di ragionamento di un modello — per permettergli di scoprire cose che non ha mai visto prima — dobbiamo aggiungere qualcosa di nuovo al mix: l'esplorazione esplicita. Dobbiamo spingere deliberatamente la massa di probabilità negli "angoli bui" dello spazio delle soluzioni, invece di limitarci ad affilare la messa a fuoco sui punti luminosi che già conosciamo.

In breve: L'RLVR rende il modello un migliore esecutore di idee note, ma non lo rende necessariamente un migliore pensatore di idee nuove.

Sintesi Tecnica: Il Guinzaglio Invisibile? Perché l'RLVR può o meno sfuggire alle proprie origini

Definizione del Problema

I recenti progressi nei Large Language Models (LLM), in particolare nel ragionamento matematico e logico, sono stati guidati dal Reinforcement Learning con Verifiable Rewards (RLVR). Sebbene l'RLVR abbia dimostrato miglioramenti significativi nell'accuratezza a colpo singolo (pass@1), persiste un dibattito fondamentale: l'RLVR espande realmente i confini del ragionamento del modello per scoprire soluzioni innovative, o si limita ad amplificare gli output ad alto rendimento che il modello base possiede già, migliorando la precisione a scapito della diversità?

La letteratura attuale offre visioni contrastanti. Alcuni studi suggeriscono che l'RLVR esegua un'ottimizzazione conservativa entro le capacità esistenti, mentre altri sostengono che espanda il ragionamento in domini specifici. Inoltre, le metriche di valutazione standard come il pass@k catturano principalmente il recupero di soluzioni piuttosto che la capacità di un nuovo ragionamento. Manca un'indagine empirica sistematica su come l'RLVR rimodelli il supporto di ragionamento effettivo del modello durante l'addestramento, specificamente se sia in grado di scoprire soluzioni precedentemente inaccessibili al modello base.

Metodologia

Gli autori introducono un framework centrato sul Supporto Empirico, definito come l'insieme di soluzioni corrette che un modello può realisticamente scoprire sotto campionamento finito. Formalizzano la dinamica dell'accessibilità delle soluzioni categorizzando le completazioni corrette in quattro regioni, basate sul fatto che il modello base ( $q$ ) e il modello addestrato con RLVR ( $\pi_\theta$ ) assegnino una massa di probabilità non trascurabile (sopra una soglia $\epsilon$ ) ad esse:

Preservazione del Supporto: Soluzioni corrette accessibili a entrambi i modelli.
Espansione del Supporto: Soluzioni corrette nuove per l'RLVR (trascurabili nel modello base, non trascurabili nell'RLVR).
Contrazione del Supporto: Soluzioni corrette accessibili al modello base ma perse nell'RLVR.
Fuori dal Supporto: Soluzioni corrette mancate da entrambi.

Per quantificare queste dinamiche, il documento propone quattro metriche:

Tasso di Ritenzione del Supporto (SRR): Misura la preservazione delle soluzioni del modello base.
Tasso di Scoperta Netta (NDR): Misura la frazione di nuove scoperte genuine.
Punteggio Dinamico del Supporto (SDS): Una media armonica che bilancia ritenzione e scoperta.
Tasso di Cambiamento Netto del Supporto (NSCR): Cattura l'espansione o la contrazione netta dello spazio delle soluzioni.

Lo studio impiega estesi esperimenti empirici attraverso diverse scale di modelli (da 1.5B a 32B di parametri) e domini (matematica, ragionamento logico, QA fattuale, generazione di codice e ragionamento visivo). I modelli valutati includono ProRL, Nemotron, Skywork, AceReason, Phi4 e varianti DAPO. Gli autori analizzano inoltre la dinamica dell'entropia, distinguendo tra entropia a livello di token (incertezza locale durante la generazione) ed entropia a livello di risposta (diversità globale degli output finali). Forniscono inoltre prove teoriche riguardanti i limiti degli aggiornamenti RL on-policy.

Contributi Chiave e Risultati

1. Prevalenza della Preservazione con Espansione Limitata

I risultati empirici indicano che l'RLVR agisce principalmente come un meccanismo di ottimizzazione vincolato dal supporto. In tutti i modelli e domini testati:

Alta Ritenzione, Bassa Scoperta: I Tassi di Ritenzione del Supporto (SRR) sono costantemente elevati (0.90–0.99), indicando che l'RLVR preserva in modo affidabile le soluzioni accessibili del modello base. Tuttavia, i Tassi di Scoperta Netta (NDR) sono estremamente bassi (spesso $\le 0.04$ ), il che significa che la vera scoperta di nuovi percorsi di ragionamento è rara.
Contrazione Netta: In quasi tutti i casi, il numero di soluzioni corrette perse (Contrazione) supera il numero di nuove soluzioni trovate (Espansione). Il Tasso di Cambiamento Netto del Supporto (NSCR) è costantemente negativo, suggerendo che l'RLVR restringe sistematicamente l'insieme delle soluzioni accessibili.
Paradosso delle Prestazioni: Sebbene i modelli RLVR spesso superino i modelli base a budget di campionamento bassi (es. pass@1), i modelli base dominano frequentemente a budget di campionamento elevati (es. pass@8192) grazie alla loro copertura più ampia delle soluzioni.

2. Il Trade-off tra Precisione e Diversità

Lo studio identifica un trade-off fondamentale dove l'RLVR migliora la precisione concentrando la massa di probabilità su traiettorie ad alto rendimento note, ma riduce la diversità delle soluzioni globali.

Dinamica dell'Entropia: Mentre alcuni modelli RLVR mostrano un aumento dell'entropia a livello di token (appaiono più incerti durante la generazione), mostrano costantemente una diminuzione dell'entropia a livello di risposta. Ciò indica che, nonostante la stocasticità locale, i modelli convergono su un insieme più ristretto di risposte finali distinte.
Analisi della Perplessità: I modelli RLVR mostrano una perplessità più alta quando valutati contro diverse tracce di ragionamento esterne (es. da DeepSeek-R1 o Claude Sonnet), confermando che riducono la capacità del modello di assegnare probabilità a stili di soluzione diversificati.

3. Meccanismi di Rara Espansione

Quando l'espansione avviene (ad esempio in compiti come Dice, Arc 1D o Boxnet), il documento identifica due meccanismi specifici:

Ricomposizione di Sub-competenze: Il modello base possiede i necessari sub-componenti (frammenti) ma non riesce ad assemblarli globalmente. L'RLVR amplifica questi componenti debolmente rappresentati.
Allineamento del Formato del Prompt: L'RLVR corregge i disallineamenti nel formato della risposta, sbloccando capacità che erano presenti ma soppresse a causa di fallimenti nel seguire le istruzioni.
Fondamentalmente, queste espansioni non rappresentano la scoperta di soluzioni realmente assenti dalla distribuzione del modello base; sono ri-pesature di capacità esistenti nella "coda lunga".

4. Limiti Teorici

Il documento fornisce prove teoriche (Teorema C.1 e Corollario C.2) dimostrando che gli aggiornamenti RLVR on-policy standard non possono espandere il supporto della policy oltre il supporto iniziale del modello base. Se il modello base assegna probabilità zero a una soluzione corretta, l'RLVR non può scoprirla. Inoltre, le prestazioni assintotiche del pass@k di un modello RLVR sono limitate da quelle del modello base.

Significato e Rivendicazioni

Il documento sostiene di aver rivelato un "guinzaglio invisibile" che vincola le attuali pratiche di RLVR. Il significato primario di questo lavoro risiede nel:

Riformulare il Ruolo dell'RLVR: Posiziona l'RLVR non come un espansore di capacità che sblocca nuovi orizzonti di ragionamento, ma come un miglioratore di precisione che affina la distribuzione attorno a modalità note ad alto rendimento.
Limitazioni dei Paradigmi Attuali: Sfida l'assunto che l'RLVR porti intrinsecamente a un ragionamento più profondo o a una risoluzione di problemi nuova. Al contrario, suggerisce che senza strategie di esplorazione esplicite, l'RLVR è fondamentalmente limitato dall'inizializzazione del modello base.
Implicazioni per la Valutazione: I risultati suggeriscono che affidarsi esclusivamente al pass@1 o a metriche a basso budget possa sopravvalutare le capacità dell'RLVR, poiché tali metriche favoriscono le distribuzioni concentrate prodotte dall'RLVR, ignorando la perdita di diversità che danneggia le prestazioni in scenari ad alto budget o a molteplici soluzioni.
Direzioni Future: Gli autori concludono che rompere questo "guinzaglio invisibile" richiede innovazioni future che seminino esplicitamente massa di probabilità in regioni di soluzione sottorappresentate, andando oltre l'ottimizzazione on-policy standard verso strategie ibride o meccanismi di esplorazione espliciti.

Il lavoro non pretende di risolvere queste limitazioni, ma mira a fornire una base empirica e teorica rigorosa per comprendere i trade-off intrinseci tra precisione e diversità nel reinforcement learning basato su ricompense verificabili.