Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

Sintesi Tecnica: PIÙ DENSO ≠ MIGLIORE: I LIMITI DELL'AUTODISTILLAZIONE ON-POLICY PER IL POST-TRAINING CONTINUO

Problema

Il post-training continuo è essenziale per consentire ai modelli di fondazione di acquisire nuove conoscenze attraverso diversi domini preservando al contempo le capacità esistenti. Mentre la letteratura recente suggerisce che il fine-tuning per rinforzo (RFT) on-policy mitighi meglio l'oblio catastrofico rispetto al fine-tuning supervisionato (SFT), un nuovo paradigma — l'autodistillazione on-policy — è emerso come un'alternativa promettente. Questo approccio, esemplificato dalla Self-Distillation Policy Optimization (SDPO), converte i rollout generati dal modello in una supervisione densa a livello di token, utilizzando il modello stesso come insegnante condizionato da un contesto privilegiato (ad es., soluzioni, feedback o dimostrazioni).

Il problema centrale affrontato in questo lavoro è se la visione ottimistica dell'autodistillazione on-policy sia valida nei contesti di apprendimento continuo. Nello specifico, gli autori indagano se la SDPO erediti i benefici di ritenzione attribuiti al RL on-policy o se la densità della supervisione a livello di token introduca nuovi modi di fallimento, come instabilità, interferenza e collasso, quando applicata a task sequenziali.

Metodologia

Lo studio impiega un framework sperimentale comparativo analizzando la Self-Distillation Policy Optimization (SDPO) contro la Group Relative Policy Optimization (GRPO), un metodo di ottimizzazione del reward a livello di sequenza.

1. Configurazione Sperimentale:

   • Modelli: Gli esperimenti utilizzano serie di modelli Qwen3-4B e Olmo-3-7B.
   • Task: L'addestramento avviene su quattro domini: Matematica (MATH), Scienza (SCIENCE), Uso di Strumenti (TOOLUSE) e Programmazione (CODING).
   • Valutazione: Le prestazioni sono misurate su benchmark in-distribuzione e su task out-of-distribution (OOD) (ad es., AIME, GPQA, BFCLv4, MMLU-R) per valutare specializzazione, ritenzione e trasferimento.
   • Setting Continuo: I modelli vengono addestrati sequenzialmente (MATH → SCIENCE → TOOLUSE → CODING) per simulare il post-training continuo.

2. Variazioni Chiave:

   • Stabilità dell'Insegnante: Gli autori variano il tasso di aggiornamento della Media Mobile Esponenziale (EMA) ($\alpha$) del modello insegnante per testare il compromesso tra "freschezza" e "stabilità temporale". Introducono una strategia "Restart-and-Freeze" (StableSDPO) per disaccoppiare questi fattori.
   • Densità della Supervisione: Lo studio confronta la SDPO standard con varianti che distillano i token della Chain-of-Thought (CoT) per valutare se una supervisione più densa (livello di token vs. livello di sequenza) migliori l'apprendimento.
   • Diagnostica: Gli autori analizzano lo spostamento dei parametri tramite metriche di Decomposizione a Valori Singolari (SVD) (spostamento spettrale, rotazione dell'angolo principale, sovrapposizione delle maschere) e gli spostamenti del manifold di risposta tramite similitudine degli embedding. Forniscono inoltre un'analisi teorica utilizzando un framework di "eccesso di deriva KL".

Contributi Chiave

Il documento presenta quattro contributi primari:

1. Disaccoppiamento tra Dati e Obiettivo: Gli autori separano la fonte dei dati (on-policy) dall'obiettivo di addestramento. Dimostrano che, sebbene i dati on-policy siano benefici, l'obiettivo specifico della densa autodistillazione non eredita automaticamente il bias di aggiornamento conservativo del RL on-policy a livello di sequenza.
2. Fragilità dei Segnali Densi: La SDPO si rivela essere un metodo di specializzazione potente ma un segnale di apprendimento continuo fragile. La sua efficacia è altamente condizionata dalla stabilità dell'insegnante e dall'affidabilità dei token. Lo studio rivela che la distillazione della CoT e gli rapidi aggiornamenti dell'insegnante possono amplificare rumore e artefatti di formattazione.
3. Compromessi dell'Apprendimento Continuo: Nei contesti continui, le varianti SDPO mostrano una ritenzione significativamente più debole rispetto a GRPO. L'oblio non è uniforme; si concentra sui task a "distanza intermedia" — task abbastanza vicini da essere influenzati dagli aggiornamenti del dominio sorgente, ma troppo disallineati per beneficiarne.
4. Diagnostica Meccanicistica: Il documento diagnostica le cause del fallimento della SDPO attraverso:
   • Drift di Parametri/Risposta: La SDPO induce spostamenti spettrali e cambiamenti del manifold di risposta maggiori rispetto a GRPO.
   • Amplificazione degli Artefatti: Un loop di "bias di conferma" dove gli artefatti di formattazione (ad es., token ripetuti) sono rinforzati dal loop insegnante-studente, portando al collasso del modello.
   • Eccesso di KL Teorico: Una prova che mostra come la proiezione a livello di token della SDPO verso un insegnante privilegiato induca un eccesso di deriva KL rispetto alla proiezione del reward di sequenza minimizzata rispetto alla KL, prevedendo un ulteriore oblio.

Risultati

• Specializzazione vs. Ritenzione: La SDPO eccelle nella specializzazione immediata (ad es., migliorando significativamente i punteggi Math500 dopo l'addestramento MATH) ma fallisce nel mantenere le capacità attraverso i cambiamenti di dominio. In una sequenza di addestramento continuo a quattro stadi, la SDPO con un insegnante veloce ($\alpha=5\%$) è collassata a prestazioni quasi nulle, mentre GRPO ha mantenuto e migliorato le capacità in tutti i domini.
• Stabilità dell'Insegnante: Nessun tasso EMA singolo è globalmente ottimale. Gli aggiornamenti rapidi ($\alpha=5\%$) spesso degradano le prestazioni a causa dell'instabilità temporale. La strategia "Restart-and-Freeze" supera significativamente l'EMA continua, suggerendo che aggiornamenti dell'insegnante stabili e periodici siano cruciali.
• Distillazione CoT: La distillazione dei token CoT migliora le prestazioni su tracce strutturate e brevi (Uso di Strumenti) ma danneggia le prestazioni su compiti di ragionamento lunghi e rumorosi (Math, Science), dove i token intermedi spesso contengono artefatti o auto-controlli ridondanti che diluiscono l'assegnazione del credito.
• Interferenza a Distanza Intermedia: La generalizzazione OOD segue un pattern non monotono. I task molto vicini al dominio di addestramento o molto lontani sono spesso preservati o migliorati. Tuttavia, i task a una distanza intermedia soffrono il declino più significativo, un fenomeno coerente con la teoria dell'interferenza nei modelli lineari.
• Modi di Collasso: Lo studio identifica un modo di fallimento specifico in cui il modello collassa nella ripetizione di token di formattazione (ad es., \boxed). Ciò è attribuito al loop di auto-rinforzo degli artefatti ad alta frequenza nella densa autodistillazione.

Significato e Rivendicazioni

Il documento conclude che l'autodistillazione on-policy non è un stabilizzatore predefinito per il post-training continuo. Sebbene offra un segnale potente per una rapida specializzazione quando i target dell'insegnante sono stabili e la supervisione a livello di token è affidabile, introduce un compromesso: una supervisione più densa rafforza i segnali di apprendimento locale ma aumenta la sensibilità al rumore, al disallineamento del dominio e agli artefatti accumulati.

Gli autori sostengono che l'intuizione "più denso è meglio" sia errata nel contesto dell'apprendimento continuo. A differenza dei metodi a livello di sequenza come GRPO, che si adattano in modo conservativo e preservano le capacità precedenti, gli aggiornamenti aggressivi a livello di token della SDPO possono portare all'oblio catastrofico e al collasso del modello. Il documento suggerisce che il futuro dell'autodistillazione on-policy nel apprendimento continuo non dipenda dall'aumento della densità del segnale, ma dalla salvaguardia dello stesso attraverso il pesatura dei token, il controllo dell'insegnante e il bilanciamento dei dati per garantire stabilità e consapevolezza degli artefatti.