🤖 machine learning

Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe

Questo articolo esamina sistematicamente la distillazione on-policy dei grandi modelli linguistici, identificando le condizioni critiche per il suo successo, svelando i meccanismi a livello di token e proponendo strategie pratiche per ottimizzare il processo, pur sollevando interrogativi sulla sua scalabilità a lungo termine.

Autori originali: Yaxuan Li, Yuxin Zuo, Bingxiang He, Jinqian Zhang, Chaojun Xiao, Cheng Qian, Tianyu Yu, Huan-ang Gao, Wenkai Yang, Zhiyuan Liu, Ning Ding

Pubblicato 2026-04-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yaxuan Li, Yuxin Zuo, Bingxiang He, Jinqian Zhang, Chaojun Xiao, Cheng Qian, Tianyu Yu, Huan-ang Gao, Wenkai Yang, Zhiyuan Liu, Ning Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un giovane apprendista (il Modello Studente) a risolvere problemi complessi, come equazioni matematiche difficili. Per farlo, hai due opzioni: fargli vedere le soluzioni di un maestro esperto (il Modello Insegnante) e chiedergli di copiarle, oppure fargli provare a risolvere i problemi da solo e correggerlo passo dopo passo mentre lo fa.

Questo secondo metodo è quello che gli scienziati chiamano "Distillazione On-Policy" (OPD). È una tecnica molto potente che sta rivoluzionando come si addestrano le intelligenze artificiali moderne. Ma c'è un problema: a volte funziona benissimo, e altre volte, anche con un maestro geniale, l'apprendista non impara nulla o addirittura peggiora.

Questo paper, scritto da ricercatori del Tsinghua University, vuole capire perché succede e come sistemare le cose. Ecco la spiegazione semplice, con qualche metafora.

1. Il Paradosso del Maestro "Troppo Bravo"

Di solito, pensiamo che più l'insegnante è intelligente, meglio impara lo studente. Ma gli autori hanno scoperto che non è sempre vero.

L'analogia: Immagina di insegnare a un bambino di 5 anni a suonare il violino. Se usi come maestro un violinista che suona musica classica complessa (ma che non sa parlare la lingua del bambino), il bambino sarà confuso. Se invece usi un maestro che parla la stessa lingua e ha lo stesso "stile" di pensiero, anche se è meno famoso, il bambino imparerà molto di più.
La scoperta: Se lo studente e l'insegnante hanno "stili di pensiero" diversi (ad esempio, uno ragiona passo-passo e l'altro salta direttamente alla risposta), l'insegnamento fallisce. Non importa quanto sia bravo l'insegnante: se non si capiscono, non si impara.

2. La Scatola dei "Token Sovrapposti" (Il segreto del successo)

Come funziona esattamente l'apprendimento? Gli scienziati hanno guardato cosa succede parola per parola (o "token per token").

L'analogia: Immagina che l'insegnante e lo studente stiano giocando a un gioco di parole. Ogni volta che l'insegnante dice una parola, lo studente deve indovinare quale sarà la prossima.
- Se l'insegnante e lo studente pensano allo stesso modo, c'è una grande sovrapposizione: entrambi pensano alle stesse 3 o 4 parole probabili.
- Il successo dell'OPD avviene quando lo studente inizia a concentrarsi solo su quelle parole che l'insegnante considera probabili.
La scoperta: L'apprendimento avviene quasi esclusivamente su queste parole "in comune" (i token sovrapposti). Se lo studente e l'insegnante non concordano sulle parole chiave fin dall'inizio, l'insegnamento si blocca. È come cercare di costruire un muro su fondamenta che non si toccano.

3. Quando l'insegnante non insegna nulla di nuovo

C'è un'altra trappola: a volte l'insegnante è più forte dello studente, ma non gli insegna nulla di nuovo.

L'analogia: Immagina di insegnare a un cuoco a fare la pasta. Se il cuoco (lo studente) ha già imparato a fare la pasta guardando le stesse ricette dell'insegnante, e l'insegnante è solo un po' più veloce, non c'è nulla di nuovo da imparare. L'insegnante deve avere nuove conoscenze o nuovi trucchi che lo studente non ha mai visto prima.
La scoperta: Se l'insegnante è stato addestrato sugli stessi dati dello studente, anche se è più grande (più "intelligente"), non può insegnargli nulla di nuovo. Per funzionare, l'insegnante deve aver visto cose che lo studente non ha mai visto.

4. Come salvare un insegnamento fallito (La "Ricetta")

Se l'insegnamento sta fallendo perché lo studente e l'insegnante non si capiscono, cosa si può fare? Gli autori propongono due trucchi:

L'Attacco Freddo (Off-Policy Cold Start): Prima di farli lavorare insieme "in diretta", fai studiare lo studente sulle risposte già scritte dall'insegnante. È come far leggere allo studente i quaderni dell'insegnante prima di metterlo al banco. Questo allinea i loro stili di pensiero e rende il lavoro successivo molto più facile.
Le Domatte Giuste (Prompt Alignment): A volte il problema non è l'insegnante, ma le domande che gli vengono fatte. Se l'insegnante è abituato a rispondere a domande in un certo formato, bisogna fargli fare domande simili a quelle. Se gli chiedi cose in modo strano, si confonde e non insegna bene.

5. Il Limite della Lunghezza (Il "Muro" della lunghezza)

C'è un ultimo avvertimento importante. Questo metodo funziona bene per ragionamenti di media lunghezza, ma c'è un limite.

L'analogia: Immagina di guidare un'auto. Se devi guidare per 100 metri, l'istruttore può dirti "gira a destra" e "frena". Ma se devi guidare per 1000 chilometri, dopo un po' l'istruttore si stanca, si confonde e inizia a dare istruzioni sbagliate perché la strada si è allontanata troppo da quella che lui conosce.
La scoperta: Se il ragionamento è troppo lungo (molte parole), la qualità delle correzioni dell'insegnante peggiora. L'insegnante non riesce più a seguire lo studente e le correzioni diventano rumorose e inutili.

In Sintesi

Questo studio ci dice che per insegnare a un'intelligenza artificiale con la distillazione:

Non basta avere un maestro geniale: deve avere lo stesso "stile" di pensiero dello studente.
Deve avere cose nuove da insegnare: non deve solo essere una versione più grande dello stesso libro di testo.
Il segreto è nella sovrapposizione: l'apprendimento avviene quando i due si concentrano sulle stesse parole chiave.
C'è un limite: non funziona bene per ragionamenti lunghissimi.

È come dire che per imparare, non serve il professore più famoso del mondo, ma serve un professore che ti capisce, che ti insegna cose che non sai già, e che riesce a seguirti finché non ti perdi nel labirinto.

1. Il Problema

La Distillazione On-Policy (OPD) è diventata una tecnica fondamentale nel post-training dei Large Language Models (LLM). A differenza della distillazione off-policy (che addestra lo studente su sequenze fisse generate dal docente, soffrendo di exposure bias), l'OPD fa generare allo studente le proprie traiettorie (rollout) e utilizza le log-probabilità del docente come segnale di ricompensa denso per token per affinare il comportamento.

Nonostante il successo industriale (es. Qwen3, MiMo, GLM-5), l'OPD rimane poco compresa e fragile. Il paper identifica un paradosso critico: un docente più forte (con punteggi benchmark superiori) può fallire completamente nel migliorare uno studente, mentre un docente più debole può avere successo. La comunità manca di una comprensione sistematica delle condizioni che governano il successo o il fallimento dell'OPD e dei meccanismi a livello di token che ne guidano la dinamica.

2. Metodologia

Gli autori hanno condotto un'indagine sistematica attraverso esperimenti controllati su diverse famiglie di modelli (DeepSeek, Qwen) e dataset matematici (AIME, AMC, DAPO-Math).

Setup Sperimentale: Hanno confrontato coppie studente-docente variando:
- La compatibilità dei "pattern di pensiero" (es. modelli base vs modelli addestrati con RL/GRPO).
- La presenza di "nuove conoscenze" (docenti addestrati con RL aggiuntivo vs docenti base della stessa famiglia).
- La direzione della distillazione (inclusa la distillazione inversa, da modelli più piccoli a più grandi o viceversa).
Metriche Dinamiche: Hanno introdotto metriche specifiche per monitorare l'addestramento a livello di token:
- Overlap Ratio: La sovrapposizione tra i top- $k$ token dello studente e del docente.
- Overlap-Token Advantage: L'allineamento delle probabilità sui token condivisi.
- Entropy Gap: La differenza di incertezza tra le distribuzioni.
Ablazioni: Hanno testato varianti della funzione di perdita (solo token campionati, top- $k$ , solo token di sovrapposizione) e strategie di inizializzazione (SFT off-policy come "cold start").

3. Contributi Chiave e Risultati

A. Fenomenologia: Le Due Condizioni per il Successo

Il paper stabilisce che l'OPD non dipende semplicemente dalla forza del docente, ma da due condizioni fondamentali:

Coerenza dei Pattern di Pensiero: Lo studente e il docente devono condividere pattern di ragionamento compatibili. Se c'è un disallineamento iniziale (basso overlap ratio), anche un docente molto più forte fallisce. L'OPD impara fondamentalmente i pattern di pensiero, non solo la conoscenza fattuale.
Nuova Conoscenza (Non solo Punteggio): Un docente deve possedere capacità che lo studente non ha già acquisito durante il suo addestramento. Se studente e docente sono della stessa famiglia e addestrati sugli stessi dati, un docente più grande (es. 7B vs 1.5B) offre poco segnale trasferibile, portando a un plateau o a un regresso delle prestazioni.

Evidenza: In esperimenti di distillazione inversa, un modello 1.5B addestrato con RL (JustRL-1.5B) è stato "distillato" verso il suo checkpoint pre-RL (più debole) o verso un modello 7B della stessa famiglia. In entrambi i casi, lo studente è regredito allo stesso livello pre-RL, dimostrando che la dinamica di addestramento è governata dal pattern di pensiero e non dal punteggio benchmark.

B. Meccanismo a Livello di Token

Analizzando le dinamiche di successo vs fallimento, gli autori scoprono che:

Allineamento Progressivo: L'OPD di successo è caratterizzato da un aumento progressivo della sovrapposizione (overlap) sui token ad alta probabilità visitati dallo studente.
Sufficienza dei Token di Sovrapposizione: Il 97%-99% della massa probabilistica è concentrata su un piccolo insieme di token condivisi. Ottimizzare solo su questi token di sovrapposizione è sufficiente per ottenere le stesse prestazioni della distillazione completa, mentre i token non condivisi contribuiscono poco al gradiente.
Fallimento: Le esecuzioni fallite mostrano un overlap stagnante e un disallineamento persistente dell'entropia fin dall'inizio.

C. Ricetta Pratica per Ripristinare l'OPD

Per recuperare configurazioni che altrimenti fallirebbero, il paper propone due strategie:

Cold Start Off-Policy: Eseguire una fase di Supervised Fine-Tuning (SFT) su rollout generati dal docente prima di iniziare l'OPD. Questo aumenta l'overlap ratio iniziale, colmando il divario nei pattern di pensiero e permettendo all'OPD di funzionare efficacemente.
Selezione di Prompt Allineati al Docente: Utilizzare prompt che rispecchiano il formato e il contenuto dei dati di post-training del docente. Questo affina l'allineamento sui token ad alta probabilità, sebbene richieda un'attenta gestione per evitare il collasso dell'entropia (mescolando prompt fuori distribuzione).

D. Limiti e Costi della Supervisione Densa

Il paper evidenzia un compromesso fondamentale:

Degradazione della Ricompensa: La qualità del segnale di ricompensa del docente degrada con la profondità della traiettoria (lunghezza della risposta). Per risposte molto lunghe (>10k token), l'incertezza del docente aumenta, portando a instabilità e collasso dell'addestramento.
Geometria Locale vs Globale: Anche quando il segnale globale è informativo (correlato alla correttezza), la geometria locale del gradiente può essere inefficace se i docenti hanno pattern di pensiero incompatibili, rendendo i gradienti per-token anisotropi e poco utili per l'aggiornamento della policy.
Sufficienza del Token Campionato: Contrariamente all'intuizione, l'OPD basato su un singolo token campionato (sampled-token) funziona quasi quanto le varianti top-k più costose, purché si eviti la configurazione Top-1 (che è instabile).

4. Significato e Implicazioni

Questo lavoro rappresenta un punto di svolta nella comprensione dell'OPD:

Sfata il mito della "forza del docente": Dimostra che un modello docente più grande e con punteggi più alti non garantisce un addestramento migliore se i pattern di pensiero non sono allineati o se non c'è nuova conoscenza da trasferire.
Definisce i limiti di scalabilità: Mette in guardia sull'uso dell'OPD per ragionamenti a lungo termine (long-horizon), suggerendo che la supervisione densa a livello di token potrebbe non essere scalabile senza strategie ibride o curricolari.
Fornisce una "Ricetta" operativa: Offre linee guida concrete (SFT iniziale, selezione dei prompt) per ingegneri e ricercatori che vogliono implementare l'OPD in scenari reali, trasformando un processo spesso fragile in uno più robusto.

In sintesi, il paper sposta il focus dall'ingegneria dei modelli (dimensione, punteggi) all'ingegneria delle dinamiche di addestramento (allineamento dei pattern, gestione della conoscenza), fornendo un quadro teorico e pratico per l'uso efficace della distillazione on-policy.