Where Did This Sentence Come From? Tracing Provenance in LLM Reasoning Distillation

1. Il Problema: L'Opacità della Distillazione del Ragionamento

La distillazione del ragionamento è un approccio efficace per migliorare le prestazioni dei modelli "studenti" (più piccoli) utilizzando i percorsi di ragionamento generati da modelli "insegnanti" (più grandi e potenti). Tuttavia, esiste un problema fondamentale non ancora risolto: non è chiaro se lo studente abbia effettivamente appreso la logica di ragionamento dell'insegnante o se, in contesti di test nuovi, regredisca ai suoi schemi di output originali.

Le approcci precedenti si sono concentrati sulla creazione di dataset di alta qualità o sulla selezione dei dati basata su euristiche (es. allineamento con la distribuzione originale dello studente), ma mancano di un'analisi esplicativa delle origini delle capacità del modello distillato. La domanda chiave è: quando un modello distillato risponde a una nuova domanda, sta seguendo il comportamento dell'insegnante o sta ricadendo sui suoi vecchi pattern?

2. Metodologia: Reasoning Distillation Provenance Tracing (RDPT)

Gli autori introducono un framework chiamato Reasoning Distillation Provenance Tracing per tracciare l'origine di ogni azione (frase) prodotta dal modello distillato.

Meccanismo di Analisi

Il metodo non confronta semplicemente le risposte finali, ma analizza la probabilità assegnata a ogni singola frase all'interno di un percorso di ragionamento da tre modelli diversi, sotto lo stesso contesto:

1. Modello Insegnante ($M_T$)
2. Modello Studente Originale ($M_S$)
3. Modello Distillato ($M_D$)

Per ogni frase $a_{(i,j)}$ generata dal modello distillato, si calcolano le probabilità $p_T$, $p_S$ e $p_D$. Confrontando queste probabilità, ogni azione viene classificata in quattro categorie:

1. Teacher Sentence (Frase di origine insegnante): L'insegnante assegna una probabilità significativamente più alta rispetto allo studente originale. Indica che la capacità di generare questa frase deriva principalmente dal trasferimento di conoscenza durante la distillazione.
2. Student Sentence (Frase di origine studente): Lo studente originale assegna una probabilità significativamente più alta. Indica che la frase riflette i pattern preesistenti dello studente.
3. Shared Sentence (Frase condivisa): Le probabilità sono simili tra insegnante e studente, e la distillazione non le ha alterate significativamente. Sono pattern presenti in entrambi i modelli prima della distillazione.
4. Boosted Sentence (Frase potenziata): Le probabilità di insegnante e studente sono simili (o vicine), ma il modello distillato le potenzia (aumenta la probabilità) grazie all'addestramento. Rappresenta pattern latenti nello studente che sono stati attivati dalla distillazione.

Selezione dei Dati Guidata dall'Insegnante

Basandosi su questa analisi, gli autori propongono una nuova strategia di selezione dei dati per l'addestramento. Invece di scegliere dati che si allineano alla distribuzione originale dello studente (come fanno metodi precedenti tipo GRAPE), il nuovo metodo:

• Confronta le divergenze tra insegnante e studente sui dati di addestramento.
• Prioritizza le risposte che contengono un'alta proporzione di Teacher Sentences.
• L'obiettivo è massimizzare l'esposizione del modello studente ai comportamenti specifici dell'insegnante che non possiede nativamente.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli open-source (DeepSeek-Distill-Qwen-7B, DeepSeek-R1-0528-Qwen3-8B, LIMO-v2) e su benchmark di ragionamento complessi (AIME24, GPQA-D, MATH500, OlympiadBench).

Analisi delle Origini (Provenance)

• Correlazione con la Correttezza: Le Teacher Sentences sono fortemente correlate con le risposte corrette, specialmente nelle fasi iniziali del ragionamento. Questo suggerisce che la distillazione funziona perché permette allo studente di adottare i pattern di ragionamento dell'insegnante quando è necessario.
• Attivazione di Pattern Latenti: Le Boosted Sentences (pattern attivati nello studente) appaiono frequentemente, ma il loro impatto varia. In alcuni casi (modelli più piccoli), un'eccessiva attivazione di pattern interni non ottimali può portare a errori.
• Fase Iniziale: Le Teacher Sentences sono predominanti all'inizio del processo di inferenza, suggerendo che l'insegnante guida la pianificazione e l'analisi iniziale del problema.

Performance della Selezione dei Dati

La strategia di selezione guidata dall'insegnante ("Ours") ha superato sia la distillazione classica ("Vanilla") sia il metodo GRAPE (che seleziona dati allineati allo studente):

• Miglioramenti Medi: Un aumento delle prestazioni dell'1.7% - 2.5% su vari benchmark.
• Robustezza: Il metodo ha dimostrato efficacia su diverse coppie insegnante-studente (es. DeepSeek-R1, QwQ, GPT-OSS-120B come insegnanti; Qwen2.5/3 come studenti).
• Generalizzazione: Il metodo ha mostrato capacità di generalizzazione anche in domini diversi (es. addestramento su dati scientifici che migliora le performance su test matematici), grazie alla selezione di frasi di ragionamento trasferibili.

4. Contributi Chiave

1. Framework di Tracciamento della Provenienza: Introduzione di un metodo sistematico per disambiguare l'origine di ogni azione in un modello distillato, classificandole in Teacher, Student, Shared e Boosted. Questo offre una spiegazione quantitativa del perché la distillazione migliora la generalizzazione.
2. Analisi Empirica: Dimostrazione che i modelli distillati generano effettivamente "Teacher Sentences" in contesti di test non visti, e che queste sono correlate alla correttezza della risposta.
3. Nuova Strategia di Selezione Dati: Proposta di un criterio di selezione basato sulla divergenza insegnante-studente, che privilegia i dati ricchi di comportamenti originali dell'insegnante, superando i metodi euristici basati solo sullo studente.

5. Significato e Implicazioni

Questo lavoro sposta il focus della ricerca sulla distillazione da una mera ottimizzazione delle prestazioni a una comprensione meccanicistica di come le capacità vengono trasferite.

• Trasparenza: Fornisce strumenti per capire se un modello "ragiona" davvero o se sta solo imitando superficialmente.
• Efficienza dell'Addestramento: Dimostra che non tutti i dati di distillazione sono uguali; selezionare attivamente i dati che contengono le "Teacher Sentences" massimizza il trasferimento di capacità.
• Futuro della Ricerca: Apre la strada a protocolli di distillazione più affidabili per compiti complessi e a metodi di audit per tracciare la genealogia delle capacità nei modelli di intelligenza artificiale.

In sintesi, il paper conferma che la distillazione del ragionamento è efficace quando riesce a trasferire attivamente i pattern dell'insegnante, e propone un metodo pratico per massimizzare questo trasferimento durante la fase di addestramento.