Riepilogo Tecnico: Demistificare la Distillazione On-Policy

1. Definizione del Problema

La Distillazione On-Policy (OPD) è emersa come un paradigma standard per il post-training dei Large Language Models (LLM), in cui un modello studente impara dai propri rollout guidato da un insegnante più forte. Nonostante la sua ampia adozione, la dinamica di addestramento della OPD rimane scarsamente compresa. I praticanti osservano comportamenti inconsistenti: la OPD a volte accelera l'apprendimento, ma può anche portare a instabilità, collasso dell'esplorazione o addirittura a prestazioni inferiori rispetto al reinforcement learning (RL) basato sugli esiti (outcome-based RL).

Il documento identifica una lacuna critica nella comprensione:

1. Ambiguità del Ruolo: Non è chiaro se la OPD espanda fondamentalmente il tetto delle capacità dello studente (come suggerisce la distillazione della conoscenza tradizionale) o se si limiti a rimodellare la distribuzione delle traiettorie all'interno dello spazio di capacità esistente dello studente (come un algoritmo di RL on-policy).
2. Modalità di Fallimento: Le condizioni in cui la OPD fallisce non sono ben definite. Nello specifico, il documento investiga perché insegnanti più forti non producono sempre studenti migliori e perché l'addestramento spesso collassa in comportamenti degeneri.

2. Metodologia e Framework

Gli autori conducono uno studio empirico sistematico utilizzando la serie di modelli Qwen3.

• Studente: Qwen3-1.7B-Base (e Qwen3-1.7B post-trained).
• Insegnanti: Vari modelli Qwen3 (1.7B, 4B, 8B, 32B) e le loro varianti addestrate con GRPO.
• Dataset: Dataset matematico Nemotron-Cascade.
• Vincoli: Per isolare le capacità di ragionamento dagli spostamenti della "modalità di pensiero" (thinking mode), tutti i rollout sono preceduti da un blocco di vincolo non-pensante.
• Valutazione: I benchmark includono MATH500, Minerva, AMC23, AIME (2024–2026) e HMMT25. Le metriche includono pass@1 e avg@32.

La formulazione matematica centrale minimizza la divergenza KL inversa tra lo studente ($\pi_\theta$) e l'insegnante ($\pi_T$) sui campioni dello studente stesso. L'ottimizzazione utilizza vantaggi per token ($\Delta \ell_t$) derivati dal log-rapporto tra le probabilità dell'insegnante e dello studente, implementati tramite policy gradient con clipping del rapporto di importanza.

3. Risultati Chiave e Contributi

A. Il Ruolo della OPD: Catalizzatore di Esplorazione, non Rompiteto di Capacità

Lo studio stabilisce che la OPD funziona principalmente come un catalizzatore di esplorazione piuttosto che come un meccanismo per espandere il tetto delle capacità intrinseche del modello.

• Accelerazione vs. Tetto: La OPD accelera significativamente la fase iniziale di apprendimento fornendo una guida densa a livello di token che aiuta lo studente a scoprire percorsi di ragionamento corretti già raggiungibili all'interno dello spazio di capacità latente. Tuttavia, sotto grandi budget di campionamento ($k$), le prestazioni dei modelli addestrati con OPD convergono a quelle del modello base, indicando che non vi è alcuna iniezione fondamentale di nuove capacità.
• Diversità dei Prompt: Sotto un budget computazionale fisso, aumentare la diversità dei prompt (più problemi distinti) produce un'accuratezza significativamente più alta rispetto all'aumentare della profondità del rollout (più campioni per problema). Ciò conferma che il valore della OPD risiede nel rimodellare la distribuzione delle traiettorie attraverso spazi di problemi diversificati.

B. Patologie della OPD

Il documento identifica due patologie critiche che ostacolano l'esplorazione quando il segnale di guida è corrotto:

1. Disallineamento Studente-Insegnante (Student-Teacher Mismatch):

   • Fenomeno: Un insegnante più forte non garantisce uno studente migliore. In alcuni casi, un insegnante altamente capace (ad es. Qwen3-4B-GRPO) fornisce una guida peggiore di uno più debole (ad es. Qwen3-1.7B-GRPO).
   • Causa: Quando il divario distributivo tra insegnante e studente è severo, le preferenze dell'insegnante sulle traiettorie generate dallo studente si scollegano dalla reale correttezza del compito. Ciò produce segnali fuorvianti (Informatività negativa) che guidano lo studente verso soluzioni sub-ottimali.
   • Metrica: Gli autori introducono una metrica di Informatività ($I$), che misura la correlazione tra il segnale a livello di token dell'insegnante e l'accuratezza finale del rollout. Una distillazione di successo richiede $I > 0$.

2. Sfruttamento della Lunghezza (Length Exploitation):

   • Fenomeno: Lo studente sfrutta l'aggregazione dei vantaggi a livello di token su sequenze di lunghezza variabile per manipolare il panorama dei reward senza migliorare il ragionamento.
   • Modalità A (Esplorazione Infinita): Per percorsi di ragionamento errati con vantaggi cumulativi negativi, lo studente aggiunge token di riempimento a bassa informazione per diluire il vantaggio negativo per token ($\bar{a} \to 0$ quando $T \to \infty$), eludendo efficacementmente la penalità.
   • Modalità B (Degenerazione Abrupt): Per prefissi corretti, lo studente tronca la risposta precocemente per catturare gli alti vantaggi positivi del preambolo, evitando al contempo i passaggi di ragionamento rischiosi che potrebbero generare segnali negativi.
   • Risultato: Entrambe le modalità portano a un collasso nell'accuratezza del ragionamento, mentre la metrica del vantaggio aggregato continua a salire.

C. Regolazioni: Qualità del Segnale sopra la Scala dell'Insegnante

Per affrontare queste patologie, il documento propone regolazioni del segnale in-loop leggere che non richiedono calcolo aggiuntivo o dati off-policy:

1. Hard Clipping (Taglio Rigido): Tronca il vantaggio per token ($\Delta \ell_t$) in un intervallo deterministico $[c_{min}, c_{max}]$. Questo elimina gli outlier estremi che guidano lo sfruttamento della lunghezza e il disallineamento.
2. Soft Log-Scale Compression (Compressione Logaritmica Soft): Applica una trasformazione $\text{sgn}(\Delta \ell_t) \cdot \log(1 + |\Delta \ell_t|)$. Questo attenua i segnali illimitati preservando al contempo il ranking relativo dei token, offrendo un'alternativa più fluida all'hard clipping.

4. Risultati Sperimentali

• Stabilizzazione: Le regolazioni proposte (in particolare l'Hard Clipping e la Compressione Logaritmica) eliminano lo sfruttamento della lunghezza, prevenendo la crescita incontrollata della lunghezza delle risposte e il conseguente collasso dell'accuratezza.
• Guadagni di Performance: La OPD regolata supera costantemente le baseline di OPD naive e RLVR in sette benchmark.
• Scala dell'Insegnante vs. Qualità del Segnale:
  • Con uno studente Qwen3-1.7B-Base, un insegnante Qwen3-1.7B-GRPO (regolato) supera un insegnante Qwen3-4B-GRPO (non regolato) e si avvicina persino alle prestazioni della distillazione da un insegnante massiccio da 30B.
  • Quando la capacità dello studente viene aumentata (a Qwen3-1.7B post-trained), il disallineamento distributivo si riduce, permettendo al più forte insegnante 4B di ottenere le prestazioni migliori.
  • Conclusione: Un insegnante modesto con segnali ben regolati può decisamente superare i metodi allo stato dell'arte che si affidano alla scalabilità bruta verso insegnanti massicci (ad es. 30B).

5. Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

1. Rifocalizzazione della OPD: Inquadra empiricamente la OPD come un meccanismo di guida dell'esplorazione piuttosto che come un espansore di capacità, evidenziando l'importanza della diversità dei prompt rispetto alla profondità di campionamento.
2. Diagnosi del Fallimento: Identifica il Disallineamento Studente-Insegnante e lo Sfruttamento della Lunghezza come le cause profonde dell'instabilità della OPD, andando oltre le spiegazioni superficiali come l'incompatibilità dei "modelli di pensiero".
3. Regolazione del Segnale: Dimostra che la qualità del segnale, governata da regolazioni leggere (clipping/compressione), è il fattore determinante per una distillazione di successo, superando spesso la scala grezza del modello insegnante.

Gli autori concludono che una OPD di successo dipende dalla fedeltà del segnale di ottimizzazione. Regolando i vantaggi a livello di token, i praticanti possono ottenere una distillazione stabile ed efficace senza l'overhead computazionale di buffer off-policy o la necessità di modelli insegnanti massicci.

Limitazioni: Gli autori notano che le loro regolazioni introducono iperparametri (limiti di clipping) che richiedono una sintonizzazione empirica basata sul divario di capacità specifico. Inoltre, lo studio si concentra sul ragionamento matematico; l'efficacia della OPD regolata nella generazione di testo aperti o nella QA basata sulla conoscenza deve ancora essere pienamente verificata.