Riepilogo Tecnico: Distillazione di Dati Offline Corretta per la Distribuzione per Modelli Linguistici di Grandi Dimensioni

Enunciato del Problema

Il documento affronta la sfida di trasferire capacità di ragionamento complesse da grandi e potenti modelli linguistici di grandi dimensioni (LLM) "insegnanti" a modelli "studenti" più piccoli e con risorse limitate. Sebbene la distillazione offline (addestrare uno studente su tracce di ragionamento fisse generate da un insegnante) sia efficiente in termini di campioni e fornisca supervisione di alta qualità, soffre di una fondamentale deriva distribuzionale.

Durante l'addestramento, il modello studente è condizionato su prefissi generati dall'insegnante. Tuttavia, durante l'inferenza, lo studente deve generare autoregressivamente i propri prefissi. Man mano che i token generati dallo studente si discostano dalla traiettoria dell'insegnante, il modello entra in regioni dello spazio dei token sottorappresentate nei dati di addestramento. Ciò porta a errori cumulativi e a comportamenti inaffidabili su lunghe traiettorie di ragionamento, un limite che gli obiettivi di distillazione raffinati esistenti (ad esempio, la minimizzazione della divergenza KL bidirezionale) non risolvono completamente poiché ottimizzano ancora contro una distribuzione fornita dall'insegnante.

Al contrario, i metodi on-policy (ad esempio, GRPO, RLHF) mitigano questa deriva addestrandosi su dati auto-generati, ma sostengono costi computazionali elevati per il campionamento online e spesso faticano con tracce di bassa qualità nelle prime fasi di addestramento.

Metodologia: DISCORD

Gli autori propongono DISCORD (Distillazione Corretta per la Distribuzione), un framework offline fondato su principi che mantiene l'efficienza dei dati generati dall'insegnante correggendo al contempo il disallineamento distribuzionale. Il meccanismo centrale consiste nel ripesare adattivamente la supervisione dei token dell'insegnante in base al supporto corrente dello studente (la sua probabilità di generare quel token).

Componenti Tecnici Chiave:

1. Ripesatura Consapevole del Supporto dello Studente:
   Il metodo introduce un rapporto di densità per ripesare le traiettorie di addestramento $\{x, y \sim \pi_T(x; c)\}$:
   $$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$$
   dove $\pi_\theta$ è lo studente, $\pi_T$ è l'insegnante e la barra indica un'operazione di stop-gradient. Questo rapporto dà priorità ai token dell'insegnante che lo studente è probabile incontrare durante l'inferenza.

2. Trasformazione Stabilizzata:
   L'applicazione diretta del rapporto di densità causa instabilità nell'addestramento a causa di valori illimitati e alta varianza su sequenze lunghe. Gli autori applicano due stabilizzazioni:

   • Trasformazione Sigmoidale: Il rapporto di log-densità viene passato attraverso una funzione sigmoide $\sigma(\tau \cdot \log(\dots))$ per mappare la correzione in un intervallo limitato $(0, 1)$, preservando l'ordinamento del rapporto mentre si previene l'esplosione.
   • Approssimazione a Livello di Token: Per mitigare il bias di lunghezza (dove sequenze più lunghe accumulano pesi aggregati maggiori), la correzione viene applicata a livello di token. Per ogni token $y_t$ in una traiettoria, il peso è:
     $$r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$$
     Questo peso viene applicato come moltiplicatore del gradiente durante l'addestramento dell'obiettivo di base (ad esempio, SFT o divergenza KL).

3. Interpretazione:
   Il peso di correzione $r_t$ (con $\tau=1$) è interpretato come la probabilità a posteriori che un token sia stato estratto dalla distribuzione dello studente piuttosto che da quella dell'insegnante, assumendo una prior uniforme. Ciò collega il metodo ai principi di decodifica contrastiva, ma li applica durante l'addestramento per dare priorità all'apprendimento in regioni che lo studente può abitare in modo affidabile.

Contributi Chiave

• Un Framework Offline Fondato su Principi: DISCORD è il primo metodo a correggere efficacemente la deriva distribuzionale insegnante-studente utilizzando solo dati offline forniti dall'insegnante, eliminando la necessità di costosi rollout online dello studente.
• Integrazione Flessibile: Il meccanismo di ripesatura a livello di token è compatibile con vari backbones di distillazione offline, inclusi il Fine-Tuning Supervisionato (SFT) standard e gli obiettivi basati sulla divergenza KL.
• Tecniche di Stabilizzazione: L'introduzione della trasformazione sigmoide e dell'approssimazione a livello di token affronta i problemi di varianza e instabilità intrinseci alle correzioni basate su rapporti di densità per sequenze lunghe.

Risultati Sperimentali

Il metodo è stato valutato su benchmark di ragionamento matematico (GSM8K, MATH, MATH500) e compiti più difficili tenuti fuori (AMC, AIME, OlympiadBench, Omni-Math) utilizzando i modelli Qwen2.5 e Llama-3.2.

• Miglioramenti delle Prestazioni: DISCORD supera costantemente forti baseline offline (SFT, ToDi, KL Simmetrica) su compiti in dominio e fuori dominio (OOD). Ad esempio, nella distillazione Qwen2.5-7B $\to$ 3B, DISCORD ha migliorato l'accuratezza su MATH500 di 4,60 punti rispetto all'SFT standard e di 2,60 punti rispetto alla KL Simmetrica.
• Robustezza alla Deriva dei Prefissi: Le valutazioni utilizzando ExAccErr (divergenza distribuzionale) mostrano che, mentre le prestazioni dell'SFT standard degradano significativamente all'aumentare della lunghezza del prefisso (i prefissi generati dallo studente divergono da quelli dell'insegnante), DISCORD mantiene prestazioni stabili, indicando una riduzione degli errori cumulativi.
• Efficienza rispetto ai Metodi Online: DISCORD raggiunge prestazioni comparabili ai metodi di rollout online dello studente (come GKD) ma con costi computazionali significativamente inferiori. Nel setting 7B $\to$ 3B, DISCORD ha richiesto solo 3,12 ore GPU rispetto alle 49,56 ore GPU per GKD, senza utilizzare token online dello studente.
• Qualità del Ragionamento: L'analisi qualitativa rivela che DISCORD produce tracce più pulite, concise e logicamente coerenti. Riduce i comuni modi di fallimento come la ripetizione, la continuazione dopo la risposta e risposte finali multiple distinte. Crucialmente, nei casi di "recupero dal fallimento", DISCORD preserva la struttura matematica sottostante della soluzione dell'insegnante anche quando non imita la formattazione di superficie dell'insegnante.

Significato e Affermazioni

Il documento afferma che un addestramento leggero e consapevole della correzione distribuzionale può rafforzare sostanzialmente la distillazione offline del ragionamento senza richiedere interazione online.

• Colmare il Divario: Il lavoro dimostra che è possibile ridurre il divario prestazionale tra i metodi di distillazione offline e online pesando intelligentemente i dati offline esistenti, piuttosto che generando nuovi dati.
• Generalizzabilità: Sebbene gli esperimenti si concentrino sul ragionamento matematico, gli autori ipotizzano che il metodo sia applicabile ad altri setting di generazione a lungo orizzonte, inclusa la generazione di codice e il ragionamento scientifico.
• Deploy Pratico: Evitando i costi computazionali elevati del campionamento online, DISCORD offre un percorso praticabile per il deploy di modelli di ragionamento capaci in ambienti con risorse limitate.

Gli autori rimangono modesti, notando che, sebbene il loro metodo migliori le precedenti baseline offline, i metodi online come GKD mantengono ancora un vantaggio in alcuni benchmark specifici in dominio a causa della loro osservazione diretta della distribuzione di rollout dello studente. Tuttavia, DISCORD offre un compromesso superiore tra prestazioni ed efficienza computazionale.