Riepilogo Tecnico: Svelare la Distillazione On-Policy

Enunciato del Problema

La distillazione on-policy (OPD) è emersa come una tecnica fondamentale di post-addestramento per i modelli di ragionamento, offrendo una supervisione densa, per token, per integrare l'apprendimento per rinforzo (RL) con ricompense sparse. In questo paradigma, un modello "insegnante" (un modello esterno più grande o lo stesso studente con contesto privilegiato) guida la generazione dei token da parte dello studente. Tuttavia, i professionisti mancano di linee guida principiali per le scelte progettuali critiche:

• Selezione dell'Insegnante: L'insegnante dovrebbe essere un modello esterno più grande o lo studente stesso (auto-distillazione)?
• Progettazione del Contesto: Quale contesto specifico (ad esempio, tracce complete di soluzioni, soluzioni riassunte o esempi di risposte errate) dovrebbe fungere da segnale di supervisione?
• Granularità: La configurazione ottimale varia in base al compito, alla capacità dello studente o persino ai singoli token?

La valutazione attuale si basa su metriche di performance aggregate provenienti da esecuzioni di addestramento costose, che oscurano le dinamiche a livello dei singoli token. Rimane incerto in quali condizioni il segnale dell'insegnante sia benefico, neutro o dannoso.

Metodologia

Gli autori introducono un framework diagnostico senza addestramento che opera alla massima risoluzione: per token, per domanda e per configurazione dell'insegnante. Il framework è composto da tre componenti principali:

1. Il Gradiente Ideale per Nodo

Per valutare la guida dell'insegnante, gli autori derivano un gradiente "ideale" che massimizza la probabilità dello studente di raggiungere una risposta corretta.

• Albero di Generazione: Decompongono il processo di generazione in un albero in cui i nodi rappresentano le posizioni dei token e gli spigoli rappresentano le scelte del token successivo.
• Probabilità di Successo Empirica ($\hat{P}^k_{succ}$): Campionando le espansioni (rollouts) dallo studente, stimano la probabilità di raggiungere una risposta corretta data la selezione del token $k$ al nodo $u$.
• Obiettivo Ideale: L'obiettivo locale ideale è massimizzare il tasso di successo atteso: $L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$.
• Gradiente Ideale: Il gradiente di questo obiettivo rispetto ai logit dello studente è derivato come $g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$. Questa direzione spinge lo studente verso token che portano al successo più spesso della media.
• Connessione con Dr. GRPO: Gli autori dimostrano che Dr. GRPO (una variante di GRPO senza normalizzazione della lunghezza) recupera questo gradiente ideale in media, validandolo come stimatore non distorto del segnale basato sulla ricompensa.

2. Analisi del Gradiente di Distillazione

Il framework analizza i gradienti prodotti da vari algoritmi di distillazione (GKD, stimatori a singolo campione, MiniLLM). Dimostra che questi metodi condividono una struttura locale comune: $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$, dove $f_j$ è derivato dalla distribuzione dell'insegnante (ad esempio, rapporti logaritmici) o da ricompense a livello di traiettoria.

3. Punteggio di Allineamento del Gradiente

Per quantificare quanto bene una specifica configurazione dell'insegnante approssimi il segnale ideale, gli autori definiscono il Punteggio di Allineamento del Gradiente:
$$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$$
Questa similarità coseno tra il gradiente ideale e il gradiente di distillazione per ogni token misura se la guida dell'insegnante spinge verso il successo (allineamento positivo), verso il fallimento (allineamento negativo) o è ortogonale/rumorosa (allineamento vicino allo zero).

4. Stima Scalabile tramite Espansioni Mirate

Calcolare $\hat{P}^k_{succ}$ per tutti i token in lunghe catene di ragionamento è computazionalmente proibitivo. Gli autori propongono un algoritmo di espansione mirata:

• Finestre di Profondità Esponenziale: La sequenza di generazione è suddivisa in finestre di dimensioni crescenti.
• Prioritizzazione: All'interno di ogni finestra, le espansioni sono allocate ai token dove l'insegnante è in disaccordo più forte con lo studente (alta magnitudine del gradiente GKD o differenza di probabilità).
• Efficienza: Questo approccio scala con un budget scelto dall'utente piuttosto che con la lunghezza della sequenza, rendendolo fattibile per tracce che vanno da ~200 token (BoolQ) a ~30.000 token (AIME).

Risultati Chiave

Il framework è stato applicato ai modelli Qwen3-0.6B e Qwen3-1.7B sui dataset BoolQ, MMLU e AIME 2025 con 8 diverse configurazioni di insegnante.

1. La Distillazione Aiuta di Più sui Percorsi Errati

La scoperta più coerente è che la guida della distillazione mostra un allineamento significativamente più alto sulle espansioni errate rispetto a quelle corrette.

• Quando lo studente è su un percorso fallimentare, l'insegnante spinge in modo affidabile verso token che portano al successo.
• Quando lo studente è già su un percorso corretto, il segnale dell'insegnante diventa rumoroso e debolmente allineato con l'ideale, poiché lo studente sta già performando bene.
• Questo pattern si mantiene in tutti i contesti, scale di modello e dataset.

2. Interazione tra Progettazione del Contesto e Capacità dello Studente

Il contesto di distillazione ottimale non è universale; dipende congiuntamente dalla capacità dello studente e dalla difficoltà del compito:

• Modelli Piccoli (0.6B): Beneficiano maggiormente dell'auto-distillazione con dimostrazioni corrette esclusivamente nel loro stesso stile di ragionamento. Faticano a decifrare i pattern di ragionamento di insegnanti esterni molto più grandi. Contesti riassunti possono danneggiare le performance se lo studente ha bisogno di tracce complete passo-passo.
• Modelli Più Grandi (1.7B): Possono sfruttare efficacemente insegnanti esterni (ad esempio, Qwen3-8B) e contesti riassunti, che raddoppiano quasi l'allineamento rispetto alle tracce grezze.
• Dimostrazioni Errate: Includere esempi errati (Self-1C1W) generalmente danneggia le performance su compiti di ragionamento breve (BoolQ, MMLU) introducendo rumore. Tuttavia, su problemi matematici difficili (AIME), le dimostrazioni errate forniscono segnali contrastivi utili, diventando la migliore configurazione di insegnante per domande complesse.

3. Nessuna Ricetta Universale

Non esiste un singolo insegnante o una configurazione di contesto che massimizzi l'allineamento su tutti i compiti.

• Dipendenza dal Compito: Gli insegnanti esterni superano l'auto-distillazione per il modello 1.7B su BoolQ ma non su MMLU.
• Dipendenza dalla Difficoltà: Su matematica difficile, includere una dimostrazione errata migliora l'allineamento, mentre lo degrada su compiti più semplici.
• Limiti Predittivi: Sebbene la divergenza tra le distribuzioni dello studente e dell'insegnante (KL, JS) correli positivamente con l'allineamento, la correlazione è debole ($|\rho| < 0.05$). La divergenza può servire come filtro economico per una condizione necessaria, ma non è un predittore affidabile del fatto che un specifico disaccordo sia utile.

Significato e Affermazioni

Il documento afferma di fornire il primo metodo rigoroso e senza addestramento per valutare la qualità della guida dell'insegnante a livello di token. I suoi contributi principali sono:

1. Framework Diagnostico: Una pipeline scalabile per calcolare l'allineamento dei gradienti offline, rivelando che i segnali degli insegnanti sono un miscuglio eterogeneo di contributi benefici, neutri e dannosi.
2. Insight Meccanicistico: La scoperta che la distillazione è più efficace sulle espansioni fallimentari suggerisce che le attuali pipeline di addestramento, che trattano tutti i token allo stesso modo, potrebbero sprecare il budget del gradiente su token dove lo studente è già corretto.
3. Sfumatura Contestuale: La dimostrazione che la "comprensibilità" è un fattore chiave – i segnali sono utili solo se lo studente può decifrarli – spiega perché i modelli piccoli non riescono ad apprendere da insegnanti esterni molto più grandi e perché la progettazione del contesto (riassunto vs. tracce grezze) deve essere adattata alla capacità del modello.
4. Direzioni Future: I risultati motivano analisi diagnostiche per compito e per token e suggeriscono futuri algoritmi di addestramento che potrebbero pesare la perdita di distillazione in base all'allineamento (ad esempio, enfatizzando le traiettorie fallimentari) o utilizzare la divergenza come meccanismo di controllo.

Gli autori concludono che, sebbene la distillazione on-policy sia uno strumento potente, la sua efficacia è altamente condizionata, e la configurazione "ottimale" cambia dinamicamente in base allo stato dello studente, alla difficoltà del compito e al token specifico che viene generato.