Sintesi Tecnica: Sulla Geometria della Distillazione On-Policy

Definizione del Problema

I Large Reasoning Models (LRM) hanno fatto progressi significativi attraverso paradigmi di post-training, principalmente il Supervised Fine-Tuning (SFT) e il Reinforcement Learning con Verifiable Rewards (RLVR). Recentemente, l'On-Policy Distillation (OPD) è emersa come un approccio complementare, addestrando un modello studente sulle proprie traiettorie campionate utilizzando una guida densa a livello di token da parte di un insegnante più forte. Sebbene l'OPD dimostri utilità empirica, la sua dinamica nello spazio dei parametri rimane scarsamente compresa. Nello specifico, non è chiaro se l'OPD rappresenti una semplice interpolazione tra le impronte geometriche di SFT e RLVR, o se induca una traiettoria di ottimizzazione distinta. Il documento affronta tre domande fondamentali:

1. Dove si colloca l'OPD all'interno dello spettro dello spazio dei parametri tra SFT e RLVR?
2. Quale traiettoria di aggiornamento intrinseca segue l'OPD durante l'addestramento?
3. Quale componente dell'obiettivo OPD controlla questa traiettoria?

Metodologia

Gli autori analizzano la geometria degli aggiornamenti OPD utilizzando una serie di diagnostiche dello spazio dei parametri applicate ai checkpoint della famiglia Qwen3 (specificamente Qwen3-8B). L'assetto sperimentale confronta tre paradigmi inizializzati da un anchor SFT condiviso (per OPD e RLVR) o da un pre-trained base (per SFT):

• SFT: Standard supervised fine-tuning su dimostrazioni offline.
• RLVR: Ottimizzazione della policy utilizzando reward sparsi a livello di esito (GRPO).
• OPD: On-policy distillation utilizzando la supervisione densa dell'insegnante a livello di token.

L'analisi impiega quattro diagnostiche primarie per caratterizzare gli aggiornamenti ($\Delta W = W_+ - W_0$):

1. Sparsità dell'aggiornamento: Misurazione della frazione di pesi invariati a precisione bfloat16.
2. Rotazione dell'angolo principale: Quantificazione della rotazione dei sottospazi singolari dominanti ($U, V$) tra i pesi iniziali e finali.
3. Drift Spettrale: Misurazione dello spostamento spettrale normalizzato (NSS) dei valori singolari.
4. Sovrapposizione della maschera di aggiornamento: Determinazione se gli aggiornamenti visibili si concentrano su pesi principali (alta curvatura) o a bassa magnitudo.

Per investigare la dinamica dell'addestramento, gli autori tracciano gli aggiornamenti cumulativi ($\Delta W_t$) attraverso i checkpoint utilizzando lo stable rank, le norme di Frobenius e le stime della coda di Hill. Conducono inoltre esperimenti di controllo perturbando tre fattori: la densità della supervisione dei token (sparsificazione), la policy di rollout (generazione off-policy) e la composizione dell'obiettivo (interpolazione tra i segnali di vantaggio di OPD e RLVR).

Contributi Chiave e Risultati

1. L'OPD occupa un regime "Relaxed Off-Principal"

Lo studio colloca l'OPD in una regione distinta dello spazio dei parametri, intermedia tra SFT e RLVR ma orientata verso il lato RLVR.

• Sparsità: L'OPD presenta una sparsità di aggiornamento intermedia (51,6% di pesi invariati), situandosi tra gli aggiornamenti densi di SFT (8,1% di pesi invariati) e quelli sparsi di RLVR (77,2% di pesi invariati).
• Geometria: L'OPD induce meno rotazione del sottospazio e meno drift spettrale rispetto a SFT, ma più rispetto a RLVR.
• Localizzazione: Gli aggiornamenti OPD si spostano lontano dai pesi principali e verso regioni a bassa magnitudo, similmente a RLVR, ma con un supporto visibile maggiore (minore selettività).
• Interpretazione: Gli autori propongono una visione "Relaxed Three-Gate". L'OPD mantiene il bias di preservazione della geometria tipico di RLVR (Gate II: l'aggiornamento della geometria del modello devia dalle direzioni principali) ma rilassa la selettività grazie alla supervisione densa a livello di token (Gate I: ancora distributiva), permettendo a più coordinate di superare la soglia di realizzazione della precisione (Gate III).

2. Subspace Locking (Blocco del Sottospazio)

L'OPD segue una traiettoria distinta caratterizzata dal subspace locking.

• Convergenza precoce: A differenza di SFT (che espande il proprio subspace di aggiornamento) o RLVR (che si contrae tardivamente), l'OPD entra rapidamente in una banda di aggiornamento stretta e a bassa dimensionalità.
• Stabilità: Questo canale a bassa dimensionalità emerge precocemente (entro i primi checkpoint misurati) e rimane persistente durante tutto l'addestramento.
• Sufficienza Funzionale: Vincolare l'addestramento successivo al sottospazio a bassa dimensionalità (rank-16) formato precocemente durante l'addestramento OPD preserva le prestazioni dell'OPD. Al contrario, lo stesso vincolo degrada significativamente le prestazioni di SFT. Ciò indica che il sottospazio bloccato è funzionalmente sufficiente per l'apprendimento OPD.
• Magnitudo: L'OPD accumula una norma di aggiornamento cumulativo sostanzialmente maggiore rispetto a RLVR pur mantenendo uno stable rank comparabile, escludendo la possibilità che la bassa dimensionalità sia solo un artefatto di un movimento dei parametri trascurabile.

3. La composizione dell'obiettivo controlla la traiettoria

Gli esperimenti di controllo rivelano che il meccanismo di subspace locking è robusto alle perturbazioni a runtime, ma sensibile alla composizione dell'obiettivo.

• Robustezza: La sparsificazione dei token (riduzione della densità di supervisione) e i rollout off-policy (utilizzo di dati generati dall'insegnante) preservano la traiettoria dello stable-rank di OPD, influenzando solo la scala dell'aggiornamento.
• Sensibilità: L'interpolazione dell'obiettivo OPD con il segnale di vantaggio RLVR altera la dinamica del rank. Quando la componente OPD viene indebolita, la traiettoria si allontana dal regime bloccato.
• Meccanismo: Gli autori sostengono che la sparsificazione dei token e i rollout off-policy si limitino a riscalare la covarianza del gradiente, preservando le direzioni spettrali dominanti. Al contrario, mescolare gli obiettivi cambia la sorgente stessa del gradiente, alterando la geometria della covarianza dominante e rompendo la traiettoria bloccata.

Significato e Rivendicazioni

Il documento afferma che l'OPD non è semplicemente un endpoint intermedio tra SFT e RLVR, ma induce la propria geometria di aggiornamento unica. Il significato primario risiede nell'identificare il subspace locking come una proprietà fondamentale dell'addestramento OPD.

Gli autori suggeriscono che i futuri algoritmi OPD dovrebbero essere progettati con il controllo della geometria in mente, piuttosto che trattare la densità della supervisione a livello di token come l'asse di design primario. Le ricette efficaci dovrebbero:

• Monitorare ed esplorare il canale di aggiornamento a bassa dimensionalità, persistente e che emerge precocemente.
• Utilizzare la composizione dell'obiettivo come leva principale per regolare la geometria dell'aggiornamento.
• Trattare la selezione dei token e le policy di rollout come fattori secondari che influenzano la scala dell'aggiornamento piuttosto che la struttura spettrale fondamentale.

Il documento conclude che queste diagnostiche forniscono una descrizione nello spazio dei parametri dell'OPD, offrendo una base per strategie di ottimizzazione più stabili, interpretabili e trasferibili basate sulla geometria. Gli autori prendono nota dei limiti riguardanti il focus sui setting di ragionamento controllati di Qwen3 e la dipendenza da diagnostiche basate su checkpoint piuttosto che da teorie causali formali.