🤖 machine learning

Verifier-Induced Support Reshaping in On-Policy Optimization

Questo articolo rivela che l'apprendimento per rinforzo on-policy con ricompense verificabili (RLVR) può migliorare le prestazioni immediate del compito pur causando involontariamente una "rimodellatura del supporto indotta dal verificatore", in cui la politica restringe la propria distribuzione di output rendendo le traiettorie di successo per obiettivi futuri troppo rare da campionare, compromettendo così la trainabilità a lungo termine e la capacità congiunta.

Autori originali: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

Pubblicato 2026-08-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot super intelligente come essere un assistente utile. Non vuoi solo che conosca i fatti; vuoi che segua le regole, risolva problemi matematici complicati e scriva codice. Per farlo, gli scienziati usano un metodo chiamato "apprendimento per rinforzo" (reinforcement learning), che è come un gioco in cui il robot prova diverse risposte, riceve un punteggio da un "verificatore" (un giudice severo) e impara a ripetere le mosse che ottengono punteggi alti. La grande speranza è che possiamo insegnare al robot un'abilità dopo l'altra — prima la matematica, poi la scrittura, poi la programmazione — senza che dimentichi le cose vecchie o si confonda. Questo è il sogno dell' "apprendimento continuo" (continual learning): costruire un robot che diventi sempre migliore in tutto, passo dopo passo. Ma cosa succederebbe se l'atto stesso di insegnare al robot a essere perfetto in una cosa finisse per bloccare accidentalmente la porta per imparare la successiva? Cosa succederebbe se il robot imparasse a essere così bravo a seguire le istruzioni da dimenticare come pensare passo dopo passo, o viceversa?

Questo articolo investiga un problema subdolo chiamato "rimodellamento del supporto indotto dal verificatore" (verifier-induced support reshaping). I ricercatori hanno scoperto che quando si addestra un'IA per essere eccellente in un compito specifico usando un giudice severo, l'IA non diventa solo più brava in quel compito; essa cambia effettivamente la sua personalità in un modo che rende molto più difficile imparare altri compiti in seguito. È come se addestrassi un cane a sedersi solo quando dici "Siedi", e nel farlo, avessi accidentalmente insegnato al cane che "Siedi" è l'unica parola che conta. Più tardi, quando provi a insegnargli "Resta", potrebbe essere confuso perché il suo cervello è stato rimodellato per ignorare tutto il resto. L'articolo mostra che non si tratta solo del robot che dimentica i vecchi trucchi (un problema noto come "oblio catastrofico"); si tratta del fatto che il robot rende le risposte del tipo giusto così rare che il processo di addestramento non riesce più a trovarle. Anche se il robot ha ancora la capacità di risolvere un problema di matematica, potrebbe smettere di provare a risolverlo nel modo corretto perché si è abituato a uno stile di risposta diverso.

I ricercatori hanno testato questo scenario addestrando due tipi di modelli di IA su due compiti molto diversi: risolvere problemi di matematica e seguire istruzioni di scrittura rigorose (come "scrivi esattamente 50 parole" o "usa gli elenchi puntati"). Hanno addestrato un gruppo per essere geni della matematica e un altro per essere professionisti nel seguire le istruzioni. Poi, hanno scambiato i giudici per vedere cosa sarebbe successo.

Ecco cosa hanno scoperto:

La trappola Matematica-verso-Istruzioni
Quando hanno addestrato l'IA per essere un genio della matematica per prima, essa è diventata effettivamente più brava a seguire le istruzioni in media. Tuttavia, è accaduto qualcosa di strano: l'IA è diventata molto "polarizzata". Otteneva l'istruzione perfettamente o la sbagliava completamente, con pochissimi tentativi di "via di mezzo". Prima, l'IA poteva provare molti modi diversi per rispondere, alcuni dei quali erano vicini alla correttezza. Dopo l'addestramento matematico, ha smesso di tentare quelle vie intermedie. Ciò significava che se si cercava di campionare molte risposte (come chiedere all'IA di provare 32 volte), si era meno propensi a trovare qualunque risposta corretta per il compito delle istruzioni. L'addestramento matematico aveva ristretto così tanto il focus dell'IA che essa ha smesso di esplorare il "supporto" (la varietà di tentativi) necessario per imparare nuovi trucchi di seguito delle istruzioni.

La trappola Istruzioni-verso-Matematica
Il caso inverso è stato ancora più interessante. Quando hanno addestrato l'IA per essere un esecutore di istruzioni per prima, essa ha iniziato a cambiare il modo in cui rispondeva ai problemi di matematica. Inveve di mostrare il proprio ragionamento passo dopo passo (tipo "Per prima cosa, aggiungo 2 e 2..."), l'IA ha iniziato a saltare direttamente alla risposta ("La risposta è 4"). I ricercatori chiamano questo passaggio da "Iniziazione del Ragionamento Deliberato" (DRI - Deliberate Reasoning Initiation) a "Iniziazione della Risposta Diretta" (DAI - Direct Answer Initiation).
Questo cambiamento è stato fondamentale. Quando l'IA ha iniziato a saltare i passaggi, è diventato molto più difficile trovare la risposta corretta, anche se l'IA sapeva ancora la matematica. In effetti, più l'IA saltava alle risposte dirette, più basso diventava il suo tasso di successo quando si cercava di campionare più tentativi. Il "supporto" per trovare la risposta matematica corretta si era rimpicciolito.

Il segreto del "Primo Token"
I ricercatori hanno scavato più a fondo per capire perché questo stesse accadendo. Hanno scoperto che il cambiamento non riguardava l'IA che dimenticava come fare matematica più avanti nella frase. Il cambiamento avveniva proprio nella primissima parola che l'IA digitava!
Si è scoperto che il "giudice" (verificatore) per la matematica incoraggia l'IA a iniziare con parole come "Bene" o "Procediamo passo dopo passo", mentre il giudice per le istruzioni incoraggia a iniziare con "Risposta" o "Ecco". Una volta che l'IA impara a iniziare con "Risposta", rimane bloccata in un percorso dove salta i passaggi di ragionamento. I ricercatori hanno dimostrato questo costringendo l'IA a iniziare con le parole della "matematica" anche quando era stata addestrata a seguire le istruzioni. Facendo questo, la capacità dell'IA di trovare soluzioni matematiche è migliorata magicamente. Ciò suggerisce che l'IA non ha perso il suo cervello matematico; è solo rimasta incastrata in un cattivo "errore di apertura" (opening move).

Possiamo ripararlo?
Il team ha provato a risolvere questo problema. Hanno provato a "pre-addestrare" l'IA affinché iniziasse sempre con le parole giuste (un "DRI prior"), ma questo ha solo ritardato il problema; alla fine, l'IA ha comunque cambiato stile verso la risposta diretta. Hanno anche provato una tecnica chiamata "distillazione on-policy", in cui un'IA studentessa cerca di copiare un'IA insegnante. Ma questo ha funzionato solo se si sceglieva l'insegnante con molta cura; se l'insegnante aveva già appreso la "cattiva abitudine", lo studente la copiava a sua volta.

Il punto fondamentale
L'articolo conclude che semplicemente rendere un'IA migliore in un compito non garantisce che sia pronta per imparare il successivo. In effetti, i miglioramenti in un'area possono talvolta rendere lo "spazio di ricerca" per l'area successiva così piccolo che l'IA non riesce più a trovare le risposte corrette. I guadagni nella matematica o nel seguire le istruzioni non si traducono sempre in risposte che siano sia corrette sia conformi alle regole. È un avvertimento per gli sviluppatori di IA: il fatto che un modello ottenga punteggi alti in un test oggi non significa che non abbia chiuso la porta al suo apprendimento futuro. Per mantenere un'IA flessibile, dobbiamo assicurarci che mantenga disponibili una grande varietà di "mosse di apertura", non solo quelle che ottengono punteggi alti in questo momento.

Sintesi Tecnica: Rimodellamento del Supporto Indotto dal Verificatore nell'Ottimizzazione On-Policy

1. Definizione del Problema

Il documento affronta un limite critico nel Continual On-Policy Reinforcement Learning with Verifiable Rewards (RLVR). Mentre la letteratura esistente si concentra spesso sulla capacità di un modello di mantenere le prestazioni sui compiti precedenti (oblio catastrofico) dopo l'adattamento a un nuovo obiettivo, questo lavoro identifica un problema orientato al futuro: il Rimodellamento del Supporto Indotto dal Verificatore (Verifier-Induced Support Reshaping).

Il problema centrale è che l'ottimizzazione di una policy per un verifcatore specifico (ad esempio, la correttezza matematica) può alterare la distribuzione di campionamento della policy in modo tale che le traiettorie di successo per obiettivi futuri (ad esempio, il rispetto delle istruzioni) diventino troppo rare per essere campionate entro un budget di rollout fisso. Anche se la capacità sottostante non viene "dimenticata", la policy potrebbe non generare più con la necessaria frequenza i comportamenti "di successo" necessari per fornire un segnale di addestramento positivo per le fasi successive. Gli autori definiscono supporto rewardabile efficace come l'insieme delle traiettorie di successo che rimangono abbastanza probabili da essere campionate sotto un determinato budget.

2. Metodologia

Lo studio impiega un disegno sperimentale bidirezionale controllato utilizzando due famiglie di modelli (Qwen3-8B-Base e Qwen2.5-Math-7B) e due distinti obiettivi di post-training:

Ragionamento Matematico (Math-RLVR): Addestrato sul dataset MATH con un verificatore che controlla la correttezza della risposta finale.
Rispetto dei Vincoli nelle Istruzioni (IF-RLVR): Addestrato su IFTrain/IFBench con verificatori che controllano vincoli espliciti (formato, lunghezza, contenuto).

Disegno Sperimentale

Addestramento Bidirezionale: Gli autori addestrano un ramo con Math-RLVR e misurano il suo impatto su IF, e viceversa.
Addestramento Sequenziale: Testano l'ordine delle operazioni (Math $\to$ IF e IF $\to$ Math) per osservare come la prima fase vincoli la seconda.
Metriche di Valutazione:
- Pass@1 (mean@k): Tasso medio di successo.
- Best@k: Se esiste una qualsiasi traiettoria di successo all'interno di $k$ campioni (misura la ricercabilità).
- Analisi dei Bucket di Prompt: Categorizzazione dei prompt in "tutti errati", "misti" e "tutti corretti" in base a $k=32$ rollout.
- Benchmark Congiunti: Utilizzo di MathIF e ReasonIF per testare se una singola risposta soddisfi sia la correttezza che i vincoli.

Analisi del Meccanismo

Distribuzione a Livello di Token: Analisi della divergenza di Jensen-Shannon (JS) per localizzare dove avvengono i cambiamenti della policy.
Interventi Causali: Forzatura di aperture specifiche nella risposta (es. "Answer" vs "Alright") durante il decoding per testare se la scelta del primo token influenzi causalmente la ricercabilità a valle.
Strategie di Mitigazione: Test di Vincoli della Policy di Riferimento (divergenza KL), Prior di Routing (SFT su tipi specifici di apertura) e On-Policy Distillation (OPD).

3. Risultati Chiave

3.1 Rimodellamento Asimmetrico del Supporto

Math-RLVR $\to$ IF: Math-RLVR aumenta il successo medio nel rispetto delle istruzioni (pass@1) ma riduce significativamente il best@32. I prompt si spostano da "misti" (alcuni successi, alcuni fallimenti) a "tutti corretti" o "tutti errati". Questa polarizzazione riduce il numero di prompt in cui il campionamento può recuperare un successo, restringendo efficacemente il supporto per il futuro addestramento IF.
IF-RLVR $\to$ Math: IF-RLVR riduce la ricercabilità matematica (best@k diminuisce attraverso i budget testati da $k=4$ a $k=32$ ). Crucialmente, sposta lo stile di risposta da Iniziazione del Ragionamento Deliberato (DRI) (passo dopo passo) a Iniziazione della Risposta Diretta (DAI) (risposta diretta). Questo spostamento correla fortemente con la perdita di ricercabilità matematica.

3.2 Conseguenze dell'Addestramento Sequenziale

IF-First (IF per primo): L'addestramento su IF per primo lascia il successivo Math-RLVR con quasi nessun prompt "misto" (solo tutti errati o tutti corretti). Senza prompt misti, gli aggiornamenti relativi al gruppo mancano di variazione del reward, impedendo al modello di recuperare le strategie di ragionamento basate su DRI.
Math-First (Math per primo): L'addestramento su Math per primo permette a IF-RLVR di migliorare i punteggi IF, ma ciò avviene al costo di un netto declino nelle prestazioni matematiche precedentemente acquisite. I vincoli della policy di riferimento (KL) possono mantenere le prestazioni matematiche ma non riescono a eguagliare i guadagni di IF della baseline non vincolata.

3.3 Meccanismo: Il Ruolo Causale delle Aperture

Localizzazione: I maggiori cambiamenti distribuzionali avvengono al primo token generato. Il rapporto della divergenza JS al primo token rispetto ai token interni varia da $9.8\times$ a $106.7\times$ .
Reranking vs. Cancellazione: La RLVR principalmente riclassifica (reranks) i candidati già presenti nei top-3 della policy di base, piuttosto che introdurre token completamente nuovi. Tuttavia, può promuovere token a bassa probabilità (es. "Answer") verso la dominanza.
Causalità: Gli interventi controllati confermano che forzare un'apertura DRI (es. "Alright") su un modello IF-RLVR recupera la ricercabilità matematica, mentre forzare un'apertura DAI la sopprime. Ciò prova che la scelta dell'apertura detta causalmente la ricercabilità del percorso di ragionamento.

3.4 Limiti della Mitigazione

Prior di Routing: Un prior SFT con bias verso DRI ritarda lo spostamento verso DAI ma non lo impedisce; al passo 100, la dominanza di DAI viene raggiunta indipendentemente dal prior.
On-Policy Distillation (OPD): Gli esiti di OPD sono altamente sensibili allo stato del docente. Un docente IF convergente non preserva il supporto matematico, e nessun singolo stato del docente ottimizza simultaneamente il trasferimento di IF e la ritenzione di Math.

3.5 Capacità Congiunta

Nei benchmark MathIF e ReasonIF, i guadagni marginali in un dominio (ad esempio, l'incremento della correttezza tramite Math-RLVR) non si traducono proporzionalmente in un successo congiunto (correttezza + rispetto dei vincoli). Il supporto congiunto ( $J = C \land F$ ) aumenta solo leggermente, indicando che i miglioramenti agli endpoint in un obiettivo non garantiscono la trainabilità o la capacità congiunta.

4. Contributi

Framework di Rimodellamento del Supporto: Il documento inquadra la RLVR continua in termini di trainabilità futura, definendo il "supporto rewardabile efficace" e dimostrando che i verificatori rimodellano questo supporto, rendendo potenzialmente irraggiungibili gli obiettivi futuri.
Ruolo Causale delle Aperture: Localizza gli spostamenti cross-task nei primi token e stabilisce un legamento causale tra le aperture della risposta (DRI vs. DAI) e la ricercabilità a valle, suggerendo che il problema sia la selezione della rotta piuttosto che una cancellazione della capacità generale.
Limiti della Preservazione: Dimostra empiricamente che le tecniche di mitigazione standard (addestramento sequenziale, vincoli KL, prior di routing, OPD) preservano solo parzialmente il supporto o comportano un compromesso con i guadagni del task target, e che i miglioramenti in metriche isolate non garantiscono la capacità congiunta.

5. Significato e Rivendicazioni

Il documento sostiene che i miglioramenti agli endpoint non garantiscono la trainabilità futura o la capacità congiunta sotto ottimizzazione on-policy. A differenza dell'oblio catastrofico, che misura le prestazioni trattenute, il rimodellamento del supporto misura se le traiettorie di successo per i compiti futuri rimangono scopribili.

Gli autori sostengono che la scelta del verificatore nella RLVR altera fondamentalmente lo "spazio di iniziazione" del modello. Se un verificatore spinge il modello verso una specifica apertura (ad esempio, risposte dirette), può involontariamente chiudere lo spazio di ricerca necessario per altri compiti (ad esempio, il ragionamento passo dopo passo). Di conseguenza, il documento suggerisce che le future strategie di ottimizzazione on-policy debbano stimare ed esplicitamente preservare il supporto rewardabile efficace attraverso le ottimizzazioni cross-verificatore, piuttosto che fare affidamento solo sui punteggi del task corrente o sulle metriche standard di dimenticanza.