🤖 AI

DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models

Il documento introduce DASH (Divergence-Adaptive Supervision Horizons), un metodo che migliora l'auto-distillazione on-policy per i modelli di ragionamento regolando adattivamente i pesi della supervisione a livello di token in base all'evoluzione temporale delle divergenze tra insegnante e studente, migliorando così le prestazioni nei benchmark matematici senza richiedere passaggi forward aggiuntivi.

Autori originali: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Pubblicato 2026-08-07

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: ZhiYan Hou, Xinyu Tang, Hongyan An, Jianjin Zhang, Weizhen Wang, Yunyun Han, Gengsheng Li, Xiangzhao Hao, Haiyun Guo, Wenbin Hu, Jinqiao Wang, Yafeng Deng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer stanno imparando a risolvere puzzle complessi, come problemi matematici avanzati o la scrittura di codice informatico, esercitandosi ancora e ancora. Questo campo è chiamato Apprendimento per Rinforzo (Reinforcement Learning), dove il computer (lo "studente") prova diverse risposte e riceve un semplice "sì" o "no" alla fine per vedere se ha ragione. Il problema è che, se lo studente segue un percorso lungo e tortuoso per arrivare lì, quel singolo "sì" o "no" non gli dice quali passaggi specifici siano stati buoni e quali cattivi. È come ricevere un "B" a un esame finale senza sapere quali domande si sono sbagliato. Per risolvere questo problema, i ricercatori utilizzano un trucco chiamato "Auto-distillazione On-Policy". Pensate a questo come a uno studente che chiede a un "insegnante privilegiato" (che conosce la chiave della risposta segreta) di valutare ogni singolo passo del suo percorso mentre procede. Questo fornisce allo studente un flusso denso di feedback invece di un solo risultato alla fine. Ma ecco l'inghippo: il modo standard di utilizzare questo insegnante tratta ogni singolo passo di feedback esattamente allo stesso modo, come se un errore commesso all'inizio fosse importante quanto un errore commesso alla fine, indipendentemente da come le prestazioni dello studente stessero cambiando lungo il percorso.

Questo articolo introduce un nuovo metodo chiamato DASH (Divergence-Adaptive Supervision Horizons) per correggere questo punto cieco. I ricercatori hanno scoperto che l'approccio standard è troppo rigido; non presta attenzione alla storia degli errori dello studente. A volte, un piccolo errore all'inizio può portare a un disastro totale più tardi, mentre un errore simile più avanti potrebbe essere innocuo. DASH agisce come un editor intelligente che osserva l'intera sequenza di feedback. Se lo studente si sta allontanando dal consiglio dell'insegnante in un modo che suggerisce un problema crescente, DASH amplifica il peso di quei segnali per correggere la rotta. Se lo studente sta andando bene, ne attenua l'intensità. L'articolo mostra che, rendendo questi aggiustamenti, DASH aiuta lo studente a imparare molto più velocemente e meglio di prima, migliorando i punteggi di ragionamento matematico attraverso diversi modelli, senza richiedere potenza di calcolo extra o un insegnante più intelligente.

Il Probleo: Il Valutatore "Taglia Unica"

Nel mondo dell'addestramento dell'IA al ragionamento, abbiamo un modello studente e un modello insegnante. Lo studente genera una lunga catena di pensieri (un "rollout") per risolvere un problema. L'insegnante, che ha accesso alla soluzione corretta, osserva lo studente e dice: "Ehi, a questa specifica parola, avresti dovuto scegliere quest'altra parola". Questo è chiamato supervisione a livello di token.

Il metodo standard, chiamato OPSD (On-Policy Self-Distillation), raccoglie tutti questi piccoli segnali di "hai sbagliato" dall'insegnante e li media. È come un insegnere che dà a uno studente una pagella dove ogni singolo errore conta esattamente allo stesso modo, a prescindere da quando è avvenuto.

Gli autori hanno capito che questo è un po' sciocco. Immaginate uno studente che risolve un problema di matematica.

Scenario A: Lo studente commette un piccolo errore di calcolo nel passaggio 1, ma poi si corregge e lo sistema nel passaggio 2. La "divergenza" (il divario tra studente e insegnante) è stata alta per un momento, ma poi è scomparsa.
Scenario B: Lo studente commette esattamente lo stesso piccolo errore nel passaggio 1, ma poi continua a peggiorarlo sempre di più, precipitando in una risposta completamente errata entro il passaggio 10.

Nell'OPSD standard, entrambi gli scenari ricevono esattamente la stessa "penalità" per quel primo passaggio. Il sistema non si rende conto che nello Scenario B, quell'errore iniziale era l'inizio di un disastro, mentre nello Scenario A, era stato solo un inciampo minore. Il metodo standard tratta l'errore locale in isolamento, ignorando la storia di come lo studente si è comportato fino a quel momento e il futuro di dove quel errore possa portare.

La Soluzione: DASH, l'Allenatore Adattivo

Gli autori propongono DASH per dare al sistema di valutazione una memoria e un senso di contesto. Invece di limitarsi a mediare gli errori, DASH chiede: "Come si inserisce questo specifico errore nella storia dell'intera risposta?".

Ecco come funziona DASH, usando un'analogia semplice:

Immaginate che lo studente stia percorrendo un sentiero e l'insegnante stia tenendo una corda attaccata alla vita dello studente. La "divergenza" è quanto lo studente si sta allontanando dal percorso ideale dell'insegnante.

Misurare il Divario: DASH osserva quanto lo studente è lontano dall'insegnante in ogni singolo passaggio.
Il Meccanismo a "Gate" (Cancello): Invece di tirare indietro lo studente con la stessa forza ogni volta, DASH utilizza un "gate" speciale.
- Se lo studente sta andando peggio della media (il divario sta aumentando), il gate si apre ampiamente. Ciò significa che il feedback dell'insegnante per i passi futuri riceve un segnale più forte per riportare lo studente sulla strada giusta con forza. Dice: "Ehi, questa è una tendenza negativa! Dobbiamo prestare un'attenzione extra per correggere questo percorso".
- Se lo studente sta andando meglio della media (il divario è piccolo), il gate si chiude un po'. Il feedback dell'insegnante è ancora presente, ma non urla così forte perché lo studente è già sulla strada giusta.
Guardare Indietro: DASH utilizza un trucco intelligente chiamato "aggregazione a ritroso" (backward aggregation). Parte dalla fine della risposta e torna indietro verso l'inizio. Chiede: "Se guardo la fine di questo percorso, quanto ha contribuito questo specifico passaggio al disastro (o al successo) finale?". Poi regola il peso del feedback per quel passaggio in base a ciò che è accaduto dopo.

Questo crea un sistema dinamico in cui l' "importanza" di un errore non è fissa. Un errore che porta a una lunga serie di errori riceve un peso maggiore. Un errore che viene corretto rapidamente riceve un peso minore.

Cosa Hanno Scoperto

I ricercatori hanno testato questa idea su tre diverse dimensioni di modelli IA (1,7 miliardi, 4 miliardi e 8 miliardi di parametri) utilizzando tre difficili benchmark matematici (AIME 2024, AIME 2025 e HMMT February 2025).

I Risultati: DASH ha costantemente battuto il metodo standard (OPSD) in tutti i casi. Per il modello più piccolo (1.7B), l'accuratezza media è passata dal 41,87% al 45,07%. Per i modelli più grandi, i guadagni sono stati altrettanto evidenti, con il modello da 8B che è passato dal 64,80% al 66,40%.
Il "Perché": Attraverso una serie di esperimenti, hanno dimostrato che il miglioramento non era dovuto solo all'aggiunta di più "rumore" o al cambiamento casuale della matematica. Hanno testato cosa sarebbe successo se avessero usato un gate fisso (come il vecchio metodo) rispetto a un gate intelligente e variabile. Il gate intelligente (DASH) è stato il vincitore. Hanno anche verificato se la direzione della logica importasse (ad esempio, dovremmo punire i grandi divari di più o di meno?). Hanno scoperto che la loro specifica logica — punire i grandi divari aprendo il gate più ampiamente per permettere più correzioni — era la chiave.
Efficienza: La cosa migliore è che DASH non ha bisogno di un insegnante super-intelligente o di potenza di calcolo extra. Riutilizza semplicemente le informazioni che il metodo standard stava già calcolando, ma le elabora in modo più intelligente. È come prendere un mucchio di dati grezzi e organizzarli meglio, piuttosto che raccogliere più dati.

La Conclusione

L'articolo suggerisce che, quando si insegna all'IA a ragionare, non dovremmo limitarci a contare gli errori; dovremmo comprendere la storia degli errori. Rendendo la supervisione "adattiva" — cambiando quanto ascoltiamo l'insegnante in base a come lo studente si comporta nel tempo — possiamo aiutare l'IA a imparare in modo molto più efficace. DASH dimostra che un po' di contesto fa la differenza, trasformando un sistema di valutazione rigido in un coach flessibile e intelligente che sa quando essere severo e quando essere indulgente.

Sintesi Tecnica: DASH - Divergence-Adaptive Supervision Horizons per l'Auto-Distillazione On-Policy di Modelli di Ragionamento

1. Definizione del Problema

Il Reinforcement Learning con Ricompense Verificabili (RLVR) ha migliorato le capacità di ragionamento dei Large Language Models (LLM) utilizzando segnali automaticamente verificabili (ad esempio, la correttezza della risposta). Tuttavia, il RLVR standard si basa su ricompense sparse a livello di sequenza, creando una sfida di "assegnazione del credito temporale" (temporal credit assignment) in cui è difficile distinguere il contributo delle singole decisioni a livello di token rispetto all'esito finale.

Per mitigare questo problema, è stata introdotta l'On-Policy Self-Distillation (OPSD). In OPSD, un modello studente genera una risposta, mentre lo stesso modello, condizionato da informazioni privilegiate (come una soluzione di riferimento), agisce come insegnante per fornire una supervisione densa e distribuionale a livello di token.

Il Limite Centrale: Sebbene l'OPSD mitighi la scarsità del segnale, il documento identifica che l'OPSD standard ("vanilla") sottoutilizza la struttura temporale del rollout. L'OPSD vanilla aggrega le discrepanze locali (divergenze) utilizzando coefficienti uniformi ( $1/T$ ) per ogni token, indipendentemente da:

La posizione del token.
La storia delle discrepanze che hanno portato a quel token.

Gli autori sostengono che nella generazione autoregressiva, la stessa entità di divergenza locale può verificarsi in contesti temporali molto diversi (ad esempio, dopo una lunga storia di ragionamento corretto rispetto a dopo una serie di errori). Poiché il solo scalare locale non può distinguere questi contesti, l'assegnazione di un peso uniforme impedisce al segnale di supervisione di adattarsi alla sequenza di discrepanza realizzata.

2. Metodologia: Divergence-Adaptive Supervision Horizons (DASH)

Per affrontare l'incapacità dell'OPSD vanilla di adattarsi ai profili di divergenza temporale, gli autori propongono DASH. Il metodo introduce un meccanismo per regolare dinamicamente i pesi della supervisione a livello di token basandosi su come le divergenze locali evolvono durante la generazione.

Componenti Chiave

Gap di Divergenza Relativi alla Sequenza:
Invece di utilizzare direttamente i valori di divergenza locale grezzi ( $d_t$ ), DASH calcola il gap tra il segnale di distillazione locale e la media a livello di sequenza ( $\bar{r}$ ):
$g_t = r_t - \bar{r}$
dove $r_t$ è la divergenza KL locale troncata al passo $t$ .
Adaptive Propagation Gates ( $\lambda_t$ ):
Questi gap vengono mappati in gate di propagazione adattivi utilizzando una funzione sigmoide con un parametro di sensibilità $\kappa$ :
$\lambda_t = \text{sg}[\sigma(-\kappa g_t)]$

Logica: Se la divergenza locale è inferiore alla media della sequenza ( $g_t < 0$ ), il gate $\lambda_t$ è più grande, permettendo ai segnali futuri di propagarsi più indietro nel tempo. Se la divergenza è superiore alla media ( $g_t > 0$ ), il gate è più piccolo, limitando la propagazione. Ciò crea un "orizzonte di supervisione" che si adatta alla sequenza.

Aggregazione Backward Multi-Step:
DASH sostituisce l'aggregazione uniforme dell'OPSD vanilla con una ricorsione backward che costruisce un segnale aggregato dipendente dal percorso ( $A_t$ ):
$A_T = r_T$
$A_t = r_t + \lambda_t A_{t+1} \quad \text{per } t = T-1, \dots, 1$
La perdita finale è la media di questi segnali aggregati:
$L_{\text{DASH}} = \frac{1}{T} \sum_{t=1}^T A_t$

Intuizione Strutturale

Gli autori derivano una decomposizione del gradiente a orizzonte fisso per l'obiettivo atteso, dimostrando che il gradiente esatto contiene un termine di traiettoria in cui i coefficienti dipendono dalle divergenze future. Sebbene DASH non stimi esplicitamente le divergenze future né utilizzi gradienti della funzione di punteggio (score-function gradients), esso imita questa struttura dipendente dall'ordine utilizzando la sequenza di discrepanza realizzata per condizionare i pesi del termine di distillazione diretta.

3. Contributi Principali

Il documento delinea tre contributi primari:

Identificazione di un Gap Temporale: Gli autori caratterizzano un limite dell'OPSD vanilla in cui l'assegnazione di pesi uniformi alle divergenze locali rende l'obiettivo invariante rispetto a diverse disposizioni temporali degli stessi valori di divergenza, impedendo l'adattamento alla struttura temporale.
Proposta di DASH: Un nuovo metodo che utilizza gap di divergenza relativi alla sequenza per costruire gate di propagazione adattivi. Ciò consente una supervisione di distillazione densa per sfruttare l'evoluzione temporale delle discrepanze locali attraverso l'aggregazione multi-step.
Validazione Empirica: Esperimenti esaustivi su tre benchmark di ragionamento matematico (AIME 2024, AIME 2025, HMMT 2025) e tre scale di modelli (Qwen3-1.7B, 4B, 8B) dimostrano che DASH supera costantemente le esecuzioni corrispondenti di vanilla OPSD e altri recenti baseline di distillazione.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti utilizzando modelli Qwen3 Instruct (1.7B, 4B, 8B) su compiti di ragionamento matematico.

Guadagni di Performance: DASH ha ottenuto i punteggi più alti in tutti i nove setting benchmark-modello rispetto ai baseline (Base, SFT, GRPO, OPSD, EOPD, AVSD, PW-OPSD).
- Su Qwen3-1.7B, DASH ha migliorato l'accuratezza media dal 41.87% (OPSD) al 45.07% (+3.20 punti).
- Su Qwen3-4B, ha migliorato dal 63.60% al 65.00% (+1.40 punti).
- Su Qwen3-8B, ha migliorato dal 64.80% al 66.40% (+1.60 punti).
Studi di Ablazione:
- Adattivo vs. Fisso: Sostituire i gate adattivi con coefficienti fissi ( $\lambda$ ) ha migliorato le prestazioni rispetto all'OPSD vanilla, ma è rimasto inferiore a DASH, confermando che l'adattamento alla specifica sequenza di discrepanza è cruciale.
- Direzione del Gate: Invertire il segno della funzione del gate (Inverse-gap) ha prodotto scarse prestazioni, validando l'ipotesi di design specifica secondo cui la propagazione dovrebbe rimanere aperta dopo piccole discrepanze e limitarsi dopo grandi discrepanze.
- Allocazione dei Coefficienti vs. Scala: Disaccoppiare il profilo del coefficiente relativo dalla scala media ha mostrato che i guadagni primari derivano dall'allocazione condizionata dalla discrepanza, non semplicemente da un aumento della scala complessiva della supervisione.
Scelte di Design:
- Sensibilità ( $\kappa$ ): Una sensibilità moderata ( $\kappa=5$ ) ha prodotto i risultati migliori, bilanciando un adattamento insufficiente e risposte eccessivamente nette.
- Metrica di Divergenza: La divergenza KL forward ha superato la JSD simmetrica e la Reverse KL.
- Supporto al Vocabolario: Il supporto completo al vocabolario era ottimale; la compressione ai primi-1 token ha causato cali significativi delle prestazioni.

5. Significato e Rivendicazioni

Il documento sostiene che DASH offre un miglioramento significativo nell'auto-distillazione on-policy sfruttando la struttura temporale delle discrepanze tra insegnante e studente senza richiedere costi computazionali aggiuntivi.

Efficienza: DASH riutilizza le distribuzioni di insegnante e studente già calcolate dal normale OPSD. Non richiede alcun passaggio forward aggiuntivo per l'insegnante o lo studente, rendendo i guadagni computazionalmente efficienti.
Generalizzabilità: I miglioramenti sono stati coerenti attraverso diverse scale di modelli e benchmark, suggerendo che il metodo non è limitato a specifiche capacità o dataset del modello.
Intuizione: Il lavoro fornisce nuove intuizioni su come la supervisione densa debba essere allocata nel ragionamento a lungo orizzonte, andando oltre la ponderazione uniforme verso orizzonti adattivi e consapevoli della sequenza.

Gli autori concludono che adattando i pesi a livello di token alla sequenza di discrepanza realizzata, DASH affronta efficacementamente la sfida dell'assegnazione del credito temporale inerente agli approcci standard di RLVR e OPSD.