💬 NLP

Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

Questo studio analizza a livello di token gli effetti distributivi del fine-tuning RLVR, rivelando che i miglioramenti nel ragionamento derivano da modifiche altamente sparse e mirate a un piccolo insieme di decisioni tokeniche critiche, la cui sostituzione selettiva può ripristinare o degradare le prestazioni del modello.

Autori originali: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

Pubblicato 2026-03-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Haoming Meng, Kexin Huang, Shaohang Wei, Chiyu Ma, Shuo Yang, Xue Wang, Guoyin Wang, Bolin Ding, Jingren Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un Modello Linguistico (LLM) sia come un giovane studente molto intelligente, ma che a volte si perde nei dettagli quando deve risolvere problemi di matematica complessi. Per aiutarlo, gli insegnanti usano una tecnica chiamata RLVR (Apprendimento per Rinforzo con Ricompense Verificabili). In pratica, lo studente prova a risolvere un problema, e se la risposta è giusta, riceve un "punto" o un elogio; se sbaglia, viene corretto.

Questo studio si chiede: "Cosa succede esattamente nella testa dello studente quando impara da queste correzioni? Cambia tutto il suo modo di pensare o solo piccole cose?"

Ecco cosa hanno scoperto gli autori, usando delle metafore:

1. Il "Chirurgo" invece del "Martello"

Molti pensavano che l'addestramento con l'intelligenza artificiale fosse come prendere un martello e ridipingere l'intera casa (il modello) per farla sembrare nuova.
Invece, questo studio scopre che l'RLVR agisce come un chirurgo di precisione.

La scoperta: Quando il modello impara, il 98% delle sue "parole" (i token) rimane esattamente uguale a prima. Non cambia nulla.
L'analogia: Immagina di avere un libro di 1000 pagine. Dopo l'addestramento, 998 pagine sono identiche all'originale. Solo 2 pagine (quelle cruciali) vengono riscritte con pennarelli diversi. È un cambiamento estremamente raro e mirato.

2. I "Fari" nel buio

Dove avvengono questi piccoli cambiamenti? Non sono sparsi a caso.

La scoperta: I cambiamenti avvengono principalmente all'inizio della risposta (quando lo studente decide come iniziare a ragionare) e alla fine (quando decide come formattare la soluzione finale).
L'analogia: È come se lo studente avesse bisogno di una bussola solo all'inizio del viaggio per scegliere la strada giusta, e di un segnale di arrivo alla fine. Nel mezzo del viaggio, cammina quasi esattamente come faceva prima, ma ora sa dove sta andando perché ha ricevuto la bussola giusta all'inizio.

3. L'esperimento del "Sostituto" (Cross-Sampling)

Per capire quanto siano importanti queste due pagine cambiate, gli scienziati hanno fatto un esperimento geniale:

Scenario A (Il trucco): Hanno preso le risposte dello studente "vecchio" (quello non addestrato) e hanno sostituito solo quelle 2-3 parole chiave con quelle dello studente "nuovo" (addestrato).
- Risultato: La risposta vecchia è diventata perfetta! Basta cambiare pochissimo per ottenere un risultato da esperto.
Scenario B (Il disastro): Hanno preso le risposte perfette dello studente "nuovo" e hanno sostituito quelle 2-3 parole chiave con quelle dello studente "vecchio".
- Risultato: La risposta perfetta è crollata e diventata sbagliata.
La morale: Non serve che lo studente sappia tutto di nuovo. Serve solo che sappia qualche parola chiave al momento giusto. Quelle poche parole sono i "fari" che guidano tutto il resto del ragionamento.

4. Non inventa, ma riordina

Un'altra domanda era: quando il modello cambia una parola, inventa qualcosa di completamente nuovo che prima non conosceva?

La scoperta: No. Quasi sempre, le parole che il modello "nuovo" sceglie erano già presenti nella lista delle opzioni del modello "vecchio", ma erano in una posizione secondaria (come il 3° o 4° posto).
L'analogia: Immagina di avere un menu con 10 piatti. Il modello vecchio sceglieva sempre il "Primo Piatto". Il modello nuovo, dopo l'addestramento, sceglie il "Quarto Piatto". Ma il Quarto Piatto era già nel menu! L'addestramento non ha aggiunto nuovi piatti al menu; ha solo spinto il piatto giusto in cima alla lista per quel momento specifico.

5. Conclusione: La magia è nella precisione

In sintesi, questo studio ci dice che l'intelligenza artificiale non diventa "più intelligente" diventando un genio globale che sa tutto. Diventa migliore perché impara a fare piccolissimi aggiustamenti strategici in punti critici del ragionamento.

È come se un musicista non imparasse a suonare un nuovo strumento, ma imparasse a premere due tasti specifici in un momento preciso di una canzone che già conosceva, trasformando una melodia confusa in un capolavoro.

Perché è importante?
Perché ci insegna che non dobbiamo preoccuparci di "sostituire" completamente i modelli o di farli imparare tutto da zero. Basta capire quali sono quei "pochi tasti" critici e insegnargli a premere quelli nel modo giusto. Questo rende l'addestramento più efficiente, più sicuro e più facile da controllare.

1. Il Problema

Il Reinforcement Learning with Verifiable Rewards (RLVR) ha dimostrato di migliorare significativamente le capacità di ragionamento dei Large Language Models (LLM), specialmente in ambiti come la matematica e la logica (es. benchmark AIME, GPQA). Tuttavia, i meccanismi sottostanti a questi miglioramenti rimangono poco chiari.
La maggior parte delle valutazioni si concentra su metriche aggregate a livello di risposta (accuratezza, reward, lunghezza), offrendo una visione ad alto livello ma limitando la comprensione di come il RL modifichi il comportamento del modello a livello fondamentale. La domanda centrale è: come ridisegna l'RLVR le distribuzioni predittive a livello di token di un modello base e quali di queste modifiche guidano realmente i guadagni nel ragionamento?

2. Metodologia

Gli autori conducono uno studio empirico sistematico focalizzato sulle distribuzioni a livello di token tra un modello base e la sua controparte fine-tunata con RLVR. L'analisi si articola in tre pilastri principali:

Analisi delle Distribuzioni: Confronto delle distribuzioni condizionali del prossimo token ( $\pi_{base}$ vs $\pi_{RL}$ ) utilizzando la Divergenza di Jensen-Shannon (JS) come metrica principale. Vengono analizzati modelli come Qwen2.5-32B e Qwen2.5-Math-7B, addestrati con varianti RLVR come DAPO e SimpleRL, su dataset come AIME 2024/2025 e GPQA.
Interventi di Cross-Sampling: Un esperimento causale in cui i token vengono scambiati selettivamente tra le traiettorie generate dal modello base e quelle del modello RL.
- Cross-Sampling in Avanti: Inserimento di token campionati da RL in sequenze generate dal modello base.
- Cross-Sampling Inverso: Sostituzione di token RL con token del modello base in sequenze generate da RL.
- L'obiettivo è misurare quanto un piccolo numero di decisioni token-level sia sufficiente a recuperare o distruggere le prestazioni di ragionamento.
Meccanica Fine-Grained: Analisi di come avvengono le modifiche nelle posizioni ad alta divergenza, esaminando la sovrapposizione dei top-k candidati, il riordinamento dei ranghi e il comportamento delle probabilità a bassa coda.
Confronto con SFT: Un confronto controllato con il Supervised Fine-Tuning (SFT) per determinare se la sparsità osservata è una proprietà specifica dell'RLVR o un fenomeno generale del fine-tuning.
Esplorazione Sperimentale: Introduzione di un vantaggio pesato per la divergenza (divergence-weighted advantage) per testare se modulare il segnale di apprendimento in base alla divergenza token-level possa migliorare l'addestramento.

3. Contributi Chiave e Risultati

A. Sparsità e Targeting delle Modifiche

Il risultato più significativo è che l'RLVR induce cambiamenti estremamente sparsi e mirati nelle distribuzioni dei token.

Sparsità: Oltre l'83% (e fino al 98% in alcuni casi come SimpleRL) delle posizioni dei token mostra una divergenza JS quasi nulla tra il modello base e quello RL. Solo una piccola frazione di token subisce cambiamenti significativi.
Concentrazione Posizionale: Le modifiche tendono a concentrarsi all'inizio della risposta (decisioni di diramazione ad alto livello) e, in misura minore, alla fine (formattazione e terminazione), sebbene esistano variazioni significative tra le singole sequenze.
Contrasto con SFT: A differenza dell'RLVR, l'SFT produce distribuzioni di divergenza molto più dense e globali, confermando che la sparsità è una caratteristica distintiva dell'RL, non del fine-tuning in generale.

B. Importanza Funzionale (Cross-Sampling)

Gli esperimenti di cross-sampling dimostrano che i guadagni di prestazioni dipendono criticamente da questo piccolo insieme di token ad alta divergenza:

Recupero delle Prestazioni: Inserendo una piccola frazione di token campionati da RL (circa 1-10% dei token per sequenza) nelle generazioni del modello base, è possibile recuperare quasi completamente le prestazioni del modello RL, e in alcuni casi superarle.
Collasso delle Prestazioni: Sostituendo una piccola frazione di token RL con token del modello base nelle generazioni RL, le prestazioni crollano rapidamente ai livelli del modello base (o addirittura sotto).
Conclusione: I modelli base e RL sono comportamentalmente simili nella maggior parte dei token, ma differiscono in modo critico in un insieme sparso di decisioni ad alto impatto che guidano la traiettoria di ragionamento verso esiti migliori.

C. Meccanica delle Modifiche (Riordino vs. Invenzione)

L'analisi fine-grained rivela che, anche nelle posizioni ad alta divergenza, l'RLVR agisce principalmente come un riordino e una riallocazione di massa probabilistica all'interno di un insieme di candidati già plausibili:

Sovrapposizione Top-k: C'è un'alta sovrapposizione (>80% per k≥2) tra i top-k candidati del modello base e quelli del modello RL.
Selezione vs. Invenzione: L'RL raramente "inventa" nuovi token altamente improbabili. Piuttosto, promuove token che erano già plausibili (ma sottopesati) nel modello base.
Evoluzione: Durante l'addestramento, le modifiche diventano progressivamente più focalizzate su un sottoinsieme sparso di token, mentre la maggior parte della distribuzione rimane stabile.

D. Vantaggio Pesato per la Divergenza

Gli autori hanno testato una modifica all'obiettivo di addestramento, pesando il segnale di vantaggio in base alla divergenza del token. I risultati preliminari mostrano che sia il potenziamento dei token ad alta divergenza (high-KL boost) che quelli a bassa divergenza (low-KL boost) possono migliorare le prestazioni rispetto alla baseline, suggerendo che la struttura della divergenza può essere sfruttata per guidare meglio l'apprendimento.

4. Significato e Implicazioni

Questo lavoro offre una nuova prospettiva fondamentale sul funzionamento dell'RLVR:

Raffinamento Mirato: L'RLVR non riscrive globalmente il comportamento del modello (come un "martello"), ma agisce come un "bisturi", effettuando raffinamenti sparsi e strutturati su un piccolo set di punti decisionali critici.
Sensibilità della Traiettoria: Le traiettorie di ragionamento sono estremamente sensibili a scelte token-level localmente plausibili ma distribuzionalmente distinte. Piccole modifiche locali possono redirigere l'intero processo di generazione verso percorsi di ragionamento più efficaci.
Prospettiva per il Futuro: La comprensione di queste dinamiche apre la strada a nuovi obiettivi di RL e strumenti diagnostici che incorporano la struttura distribuzionale, potenzialmente portando a metodi di post-training più efficienti, interpretabili e controllabili.

In sintesi, il successo dell'RLVR nel migliorare il ragionamento non deriva da cambiamenti diffusi, ma da interventi sparsi e ad alto impatto che sbloccano traiettorie di ragionamento già accessibili al modello base, ma che richiedono decisioni critiche specifiche per essere attivate.