Sintesi Tecnica: Trovare l'Evidenza per la Distillazione del Ragionamento On-Policy

1. Definizione del Problema

La distillazione on-policy (OPD) è emersa come un paradigma dominante per insegnare ai modelli piccoli a ragionare, fornendo una supervisione densa a livello di token da parte di un modello teacher. Tuttavia, gli attuali metodi OPD affrontano un limite critico: non riescono a distinguere tra diversi tipi di conoscenza all'interno delle catene di ragionamento. L'addestramento su tutti i token diluisce il segnale di apprendimento, mentre i recenti metodi basati sull'entropia (ad es., Wang et al., 2026) catturano solo i "token decisionali" (dove lo studente è incerto) ma perdono i "token di evidenza".

Il documento identifica un punto cieco strutturale nei metodi esistenti:

• Token Decisionali: Posizioni in cui lo studente affronta una reale incertezza (ad es., punti di diramazione, scelte strategiche). Questi sono identificati naturalmente da un'alta entropia dello studente.
• Token di Evidenza: Passaggi intermedi che giustificano le decisioni (ad es., derivazioni, sostituzioni di variabili). Questi appaiono spesso dove lo studente è sicuro ma errato. Poiché lo studente è sicuro, l'entropia è bassa, rendendo questi token invisibili ai selettori basati sull'entropia. Di conseguenza, la conoscenza sostanziale del ragionamento rimane non trasferita, portando a studenti che sanno quando diramarsi ma falliscono nel capire come eseguire correttamente la diramazione.

2. Metodologia: DEAR (Decision-Evidence Aware Reasoning Distillation)

Gli autori propongono DEAR, un meccanismo di selezione dei token in due fasi progettato per recuperare sia i token decisionali che quelli di evidenza per l'addestramento OPD.

Fase 1: Identificazione Decisionale

Il metodo identifica prima i token decisionali utilizzando l'entropia dello studente ($H^S_t$). I top-$p\%$ dei token con la maggiore entropia vengono selezionati come set decisionale ($D$). Questi token segnano lo "scheletro" del processo di ragionamento in cui lo studente deve compiere una scelta.

Fase 2: Scoperta dell'Evidenza

Per trovare i token di evidenza di supporto che l'entropia omette, DEAR sfrutta la relazione tra le decisioni e il loro contesto circostante:

1. Similitudine Contestuale: Il metodo estrae gli stati latenti dello studente ($h^L_t$) dallo strato più profondo del transformer. Per ogni token non decisionale, calcola la similarità del coseno rispetto all'ancora decisionale più vicina (qualsiasi token nell'insieme $D$). Un'alta similarità indica che il token partecipa allo stesso contesto di ragionamento (ovvero, fa parte della derivazione che supporta una decisione).
2. Potenziamento del Gap di Conoscenza: Non tutti i token contestualmente simili richiedono una correzione. Per dare priorità ai token in cui lo studente manca di conoscenza, il metodo incorpora la divergenza teacher-student ($\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$).
3. Scoring: Un Punteggio di Salienza dell'Evidenza ($s_j$) viene calcolato per i token non decisionali:
   $$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$$
   Dove $\hat{a}_j$ è la similitudine del coseno normalizzata (che funge da gate per filtrare il rumore) e $\hat{\delta}_j$ è la divergenza normalizzata (che potenzia i token con grandi gap di conoscenza).
4. Selezione: I top-$q\%$ dei token non decisionali con i punteggi più alti formano l'insieme di evidenza ($E$).

Obiettivo di Addestramento Finale

Il set di addestramento finale $S$ è l'unione delle decisioni e delle evidenze ($S = D \cup E$). La perdita OPD è calcolata esclusivamente su questi token selezionati, garantendo che il modello apprenda sia la strategia di diramazione che i passaggi intermedi sostanziali.

3. Contributi Chiave

1. Decomposizione delle Catene di Ragionamento: Il documento dimostra empiricamente che le catene di ragionamento consistono in due tipi distinti di conoscenza che richiedono diversi meccanismi di scoperta: decisioni (alta entropia) ed evidenza (bassa entropità, alta divergenza).
2. Meccanismo di Scoperta: Introduce un metodo per scoprire i token di evidenza "sicuramente errati" combinando la similitudine del coseno degli stati latenti (per collegare i token alle decisioni) con il potenziamento della divergenza (per dare priorità ai gap di conoscenza). Questo supera l'impossibilità strutturale della selezione basata sull'entropia di trovare questi token.
3. Guadagni di Performance: DEAR supera costantemente la standard OPD e la distillazione offline su molteplici benchmark.

4. Risultati Sperimentali

Gli autori hanno valutato DEAR attraverso tre configurazioni student-teacher (variando famiglie di modelli e dimensioni) su sei benchmark di ragionamento matematico e tre benchmark di generazione di codice.

• Ragionamento Matematico:
  • DEAR ha ottenuto un miglioramento fino a +2,5 punti percentuali (pp) sulla matematica di livello competitivo (ad es., AIME) rispetto alla standard OPD.
  • I guadagni sono stati più pronunciati nella distillazione "cross-family" (Setting B: studente Qwen2.5-1.5B, teacher Qwen3-4B), dove il gap di conoscenza è maggiore.
  • Su AIME 2024 (Setting A), DEAR ha raggiunto il 4,58% di accuratezza contro il 2,08% della standard OPD (un miglioramento di 2,2×).
• Generazione di Codice:
  • DEAR ha migliorato i pass rate di +5,74pp su MBPP, +2,13pp su HumanEval e +2,56pp su APPS.
  • Notevolmente, la standard OPD ha degradato le prestazioni su MBPP rispetto al modello base, mentre DEAR ha risolto questo problema, suggerendo che filtra efficacemente il rumore nella generazione di codice.
• Analisi del Segnale:
  • La selezione basata solo sull'entropia ha catturato solo il ~39% della massa totale del gradiente.
  • L'inclusione dei token di evidenza da parte di DEAR ha aumentato la cattura della massa del gradiente a ~76%, quasi raddoppiando il segnale di apprendimento effettivo.
  • L'analisi ha confermato che i token di evidenza sono concentrati nella regione "bassa entropia, alta divergenza", che i metodi basati sull'entropia ignorano sistematicamente.

5. Significato e Rivendicazioni

Il documento sostiene che la completa distillazione del ragionamento richiede di trasferire non solo dove decidere, ma anche la conoscenza che giustifica quelle decisioni.

• Oltre l'Entropia: Il lavoro sfida l'assunto prevalente che i token ad alta entropia siano gli unici portatori di capacità di ragionamento. Dimostra che gli "errori sicuri" contengono una conoscenza critica non trasferita.
• Intuizione Strutturale: Identificando che i token di evidenza si raggruppano attorno alle decisioni nello spazio degli stati latenti, il documento fornisce un meccanismo per recuperare passaggi di ragionamento sostanziali che erano precedentemente invisibili agli algoritmi di selezione.
• Scalabilità: I guadagni scalano con la difficoltà del problema; i problemi più difficili con catene di evidenza più lunghe beneficiano maggiormente del meccanismo di scoperta dell'evidenza.

Gli autori mantengono una posizione modesta, notando che la struttura decisione-evidenza è stata verificata principalmente in matematica e codice, e che l'attuale classificazione dei token si basa su euristiche di superficie piuttosto che su interventi causali. Suggeriscono che il lavoro futuro potrebbe esplorare la programmazione adattiva dei rapporti di selezione ($p, q$) durante l'addestramento.