Riepilogo Tecnico: MIXSD - Auto-distillazione Contestale Mista per l'Iniezione di Conoscenza

Enunciato del Problema

Il Fine-Tuning Supervisionato (SFT) è l'approccio standard per iniettare nuove conoscenze nei Modelli Linguistici di Grande Dimensione (LLM). Tuttavia, questo processo induce frequentemente una dimenticanza catastrofica, in cui il modello si degrada nelle capacità pre-addestrate come il ragionamento, l'adesione alle istruzioni e le prestazioni in domini generali.

Gli autori sostengono che questa dimenticanza derivi da una disallineamento distributivo tra gli obiettivi di supervisione e la distribuzione autoregressiva nativa del modello. Nelle pipeline standard, le sequenze target sono redatte da esseri umani o sistemi esterni, contenendo spesso formulazioni, formattazioni o strutture di ragionamento che risiedono nelle code a bassa probabilità della distribuzione del modello base. Costringere il modello a imitare queste sequenze di token a bassa probabilità, token per token, induce aggiornamenti dei parametri lungo direzioni sensibili, interrompendo i comportamenti appresi in precedenza.

Metodologia: MIXSD

Per affrontare questo problema, il documento propone MIXSD (Auto-distillazione Contestale Mista), un metodo semplice e privo di insegnante esterno per l'iniezione di conoscenze allineata alla distribuzione. Invece di addestrare su target fissi redatti esternamente, MIXSD costruisce la supervisione dinamicamente utilizzando lo stesso modello base.

Meccanismo Principale

Ad ogni passo di decodifica $t$, dato un prefisso autoregressivo condiviso, MIXSD campiona il token di supervisione da una miscela di due distribuzioni condizionali definite dal modello base $p_{\theta^*}$:

1. Condizionale Esperta: $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$, dove l'input $x^+_i$ include il fatto iniettato (verità fondamentale) nel contesto. Questo genera token che esprimono il fatto corretto nella forma superficiale del modello.
2. Condizionale Ingenua: $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$, dove l'input $x_i$ contiene solo il prompt originale senza la conoscenza iniettata. Questo riflette il prior originale del modello.

L'obiettivo di supervisione $y^{mix}_{i,t}$ viene campionato come:
$$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{con probabilità } 1 - \lambda \\ \tilde{y}^-_{i,t} & \text{con probabilità } \lambda \end{cases}$$
dove $\lambda \in [0, 1]$ è un tasso di miscelazione. Il modello viene quindi aggiornato utilizzando la classica funzione di perdita Negativa Log-Likelihood (NLL) su questi target misti.

Scelte Chiave di Progettazione

• Nessun Insegnante Esterno: A differenza della distillazione della conoscenza tradizionale, MIXSD non richiede un modello insegnante più potente, evitando il costo computazionale di generare multiple simulazioni (rollout) per query (come osservato nelle baseline di Auto-distillazione On-Policy).
• Allineamento Distributivo: Miscelando token ingenui, gli obiettivi di supervisione rimangono sostanzialmente più vicini alla distribuzione nativa del modello base, riducendo l'NLL degli obiettivi di addestramento sotto il modello base.
• Iperparametro $\lambda$: Controlla il compromesso. Un $\lambda$ più basso enfatizza il segnale esperto (memorizzazione), mentre un $\lambda$ più alto ancora il modello al suo prior (ritenzione).

Configurazione Sperimentale

Gli autori hanno valutato MIXSD su più scale di modello (Qwen3-1.7B, 4B e 8B) e su due corpora sintetici progettati per isolare specifici tipi di conoscenza:

• KGFACT: Un corpus di conoscenza fattuale derivato da un grafo mondiale simulato con entità nuove, per testare il richiamo e il recupero fattuale.
• KGFUNC: Un dataset per l'acquisizione di funzioni aritmetiche, che richiede al modello di inferire regole da operazioni a livello di cifre.
• Benchmark: La valutazione ha incluso benchmark generali tenuti da parte (AIME, MATH, GSM8K, HumanEval, MMLU) per misurare la dimenticanza, insieme all'accuratezza di addestramento nel dominio specifico.

Risultati Chiave

1. Miglioramento del Compromesso Memorizzazione-Ritenzione: Su tutti i dataset e le scale di modello, MIXSD ha costantemente superato le baseline SFT standard e Auto-distillazione On-Policy (OPSD).
   • Lo SFT standard ha raggiunto un'accuratezza di addestramento quasi perfetta ma ha mantenuto solo l'1% delle capacità tenute da parte del modello base.
   • MIXSD (con $\lambda=0.3$ o $0.5$) ha mantenuto un'accuratezza di addestramento quasi perfetta, preservando fino al 100% della capacità tenuta da parte del modello base (ad esempio, su Qwen3-4B, MIXSD ha mantenuto circa il 77% delle capacità generali contro il 43% per SFT).
2. Allineamento Distributivo: Gli obiettivi di supervisione di MIXSD hanno mostrato un NLL per token significativamente inferiore sotto il modello base rispetto agli obiettivi SFT. I token ad alto NLL (che indicano bassa probabilità sotto il modello base) costituivano il 27–42% degli obiettivi SFT, ma solo il 4–8% per MIXSD con $\lambda=0.3$.
3. Analisi delle Modalità di Errore: Lo SFT ha causato cambiamenti qualitativi nel comportamento di generazione, portando a "perdite" (generazione di entità fittizie non correlate al prompt) e "collassi" (risposte brevi e in stile modello senza ragionamento). MIXSD ha preservato in gran parte il profilo di errore originale del modello base, con la maggior parte degli errori che erano tentativi di ragionamento "genuini" piuttosto che fallimenti patologici.
4. Direzione di Aggiornamento dei Parametri: Il documento introduce una metrica di spostamento dei parametri pesato con Fisher. I risultati mostrano che la direzione degli aggiornamenti dei parametri (allineamento con direzioni Fisher sensibili) correla fortemente con la dimenticanza ($r \approx 0.56-0.82$), mentre la magnitudine degli aggiornamenti non lo fa ($r \approx 0.02-0.34$). MIXSD riduce l'allineamento con queste direzioni sensibili rispetto allo SFT.

Significato e Affermazioni

Il documento afferma che allineare la supervisione alla distribuzione di generazione nativa del modello è un principio semplice ed efficace per l'iniezione di conoscenze che mitiga la dimenticanza catastrofica.

• Insight Teorico: Il lavoro suggerisce che la dimenticanza catastrofica è guidata meno dalla magnitudine dei cambiamenti dei parametri e più dagli aggiornamenti lungo direzioni sensibili indotti da una supervisione disallineata distributivamente.
• Utilità Pratica: MIXSD offre una sostituzione "plug-and-play" per gli obiettivi SFT standard che non richiede insegnante esterno e comporta un sovraccarico computazionale minimo aggiuntivo (solo un costo di pre-elaborazione una tantum per generare rollout misti).
• Generalizzabilità: I benefici sono stati osservati su diverse famiglie di modelli (Qwen e Llama) e impostazioni, inclusa l'editing della conoscenza (sovrascrittura di fatti esistenti) e l'acquisizione di nuove funzioni aritmetiche.

Gli autori concludono che mentre lo SFT costringe i modelli a imitare traiettorie esterne a bassa probabilità, MIXSD preserva il segnale di apprendimento fattuale mantenendo la traiettoria di supervisione all'interno delle regioni ad alta probabilità del modello, stabilizzando così le capacità pre-addestrate.