Riepilogo Tecnico: Accoppiamento Introspettivo nei Modelli Linguistici

Definizione del Problema

Una sfida centrale nel rendere interpretabili i modelli linguistici (LM) è garantire che le loro spiegazioni auto-generate seguano fedelmente i loro attuali processi decisionali, piuttosto che limitarsi a imitare plausibili schemi di spiegazione. Lavori precedenti hanno esplorato l'addestramento di LM per generare spiegazioni controfattuali (ad esempio, "come cambierebbe la tua risposta se questo suggerimento venisse rimosso?") utilizzando il Fine-Tuning Supervisionato (SFT) su etichette derivate da uno snapshot iniziale del modello. Tuttavia, esiste un limite critico: mentre il modello viene sottoposto a fine-tuning per generare spiegazioni, il suo comportamento sottostante sugli input non legati alle spiegazioni può subire una deriva. Di conseguenza, il modello rischia di imparare a spiegare il comportamento del checkpoint originale (il target di addestramento) piuttosto che il proprio comportamento attuale. Ciò solleva la domanda: i modelli addestrati su dataset di spiegazioni fissi e statici possono ancora apprendere l'introspezione sui propri comportamenti in evoluzione?

Metodologia

Gli autori propongono un framework per investigare l' "Accoppiamento Introspettivo", un fenomeno in cui le spiegazioni di un modello rimangono accoppiate al proprio comportamento attuale nonostante l'addestramento su etichette statiche provenienti da una versione precedente.

Setup Sperimentale

1. Modello Base e Dati: Gli esperimenti primari utilizzano Qwen3-8B come modello base ($M_0$). Lo studio utilizza tre compiti distinti:
   • Hint-MMLU: Test della sicofanzia dove i modelli cambiano risposta in base a suggerimenti iniettati.
   • AITA: Test della sicofanzia nel giudizio morale basato sulla formulazione del prompt di sistema (prima persona vs terza persona).
   • Refusal (Rifiuto): Test del comportamento di rifiuto basato sul ruolo dell'utente (es. insegnante vs scrittore).
2. Costruzione delle Spiegazioni: Le spiegazioni ground-truth ($E(M_0)$) sono costruite deterministicamente dal comportamento del modello base. Per un dato input $x$ con un segnale $C$ (ad esempio, un suggerimento), la spiegazione descrive se la risposta del modello cambia quando $C$ viene rimosso ($x \setminus C$).
3. Obiettivo di Addestramento: Il modello viene sottoposto a fine-tuning per predire queste spiegazioni. Crucialmente, l'obiettivo di addestramento include un regolarizzatore comportamentale (divergenza KL) per mantenere il comportamento del modello vicino al modello base $M_0$ durante la fase di addestramento della spiegazione:
   $$\mathcal{L}(M) = \mathbb{E}_{(q,e) \sim E(M_0)} [-\log p_M(e|q)] + \lambda \mathbb{E}_{(x,y) \sim B(M_0)} [\text{KL}(p_{M_0}(y|x) \parallel p_M(y|x))]$$
   Qui, $\lambda$ controlla la forza della regolarizzazione comportamentale.
4. Metriche di Valutazione:
   • Explanation Exact Match (EM): Misura quanto bene la spiegazione predetta dal modello addestrato corrisponda alla verità di base (ground truth).
   • Self vs. Orig: La metrica centrale confronta l'accuratezza della spiegazione del modello rispetto a:
     • Orig: Le spiegazioni ground-truth del modello base originale ($E(M_0)$).
     • Self: Le spiegazioni ground-truth del comportamento attuale del modello ($E(M_{reg})$).
   • Accoppiamento Introspettivo: Definito come la condizione in cui Self > Orig, ovvero il modello spiega il proprio comportamento attuale meglio del comportamento che era stato addestrato a imitare.

Contributi Chiave e Risultati

1. Emergenza dell'Accoppiamento Introspettivo (Self > Orig)

Il paper dimostra che quando i modelli vengono addestrati con la regolarizzazione comportamentale, producono frequentemente spiegazioni che sono più fedeli al loro comportamento attuale rispetto ai target di addestramento statici.

• Risultato: In tutti i compiti Hint-MMLU, AITA e Refusal, il modello regolarizzato ($M_{reg}$) ottiene un Explanation EM più elevato sul proprio comportamento attuale (Self) rispetto al comportamento del modello base originale (Orig).
• Contrasto: Senza la regolarizzazione comportamentale ($\lambda=0$), questo effetto scompare; il modello performa effettivamente meglio nell'ه spiegare il modello originale (Orig) rispetto a se stesso (Self), indicando che ha semplicemente memorizzato le etichette di addestramento senza tracciare la propria deriva.

2. Evidenza Meccanicistica

Utilizzando il activation patching, gli autori forniscono un'evidenza meccanicistica che i circuiti del comportamento e della spiegazione sono causalmente collegati nei modelli che esibiscono accoppiamento introspettivo.

• Correlazione: Le interazioni che spostano i logit del comportamento del modello spostano anche i logit della spiegazione nella stessa direzione (correlazione di Pearson $r \approx 0.89$ per i modelli regolarizzati).
• Baseline: I modelli non regolarizzati mostrano una correlazione significativamente inferiore ($r \approx 0.53$), suggerendo che l'accoppiamento è un risultato specifico della dinamica di addestramento, non una proprietà generica dell'architettura.

3. Condizioni per l'Emergenza

Il paper indaga quando emerge questo accoppiamento:

• Compatibilità tra Etichette Online e Self: L'accoppiamento dipende dalla somiglianza tra le etichette di supervisione della spiegazione e il comportamento attuale del modello durante l'addestramento. Se il comportamento del modello devia troppo dalle etichette (basso accordo online), l'accoppiamento si interrompe.
• Soglia: È richiesto un livello minimo di accordo (circa il 70% per Qwen3-8B su Hint-MMLU) tra le etichette di supervisione e il comportamento attuale del modello affinché emerga la condizione Self > Orig.
• Generalizzazione Cross-Model: L'accoppiamento persiste anche quando le etichette di spiegazione sono generate da una famiglia di modelli diversa (ad esempio, addestrare Qwen sulle spiegazioni di Llama). Finché la regolarizzazione comportamentale mantiene il comportamento del modello addestrato simile alla fonte delle etichette, il modello impara a spiegare il proprio stato attuale, non lo stato del modello straniero.

4. Generalizzazione all'Addestramento Ausiliario

Gli autori testano se l'accoppiamento introspettivo si generalizza ai comportamenti acquisiti attraverso l'addestramento concomitante su dataset ausiliari (ad esempio, dati nonsense "Jabberwocky" o log di chat reali).

• Risultato: I modelli addestrati su compiti di spiegazione insieme a dati comportamentali ausiliari possono spiegare accuratamente i comportamenti che hanno acquisito solo attraverso l'addestramento ausiliario, nonostante non abbiano mai ricevuto supervisione di spiegazione per quei comportamenti specifici.
• Implicazione: La funzione di spiegazione si generalizza per tracciare i nuovi cambiamenti comportamentali indotti da altri obiettivi di post-training.

Significato e Rivendicazioni

Il paper sostiene che l'accoppiamento introspettivo offre una via scalabile verso una spiegazione auto-generata fedele nei LM.

• Scalabilità: I risultati suggeriscono che i dataset di spiegazione non devono essere costantemente rigenerati man mano che un modello viene sottoposto a fine-tuning. Un dataset fisso di spiegazioni controfattuali derivate da un checkpoint precoce può servire come segnale generalizzabile per l'introspezione, a patto che la regolarizzazione comportamentale mantenga una sufficiente somiglianza.
• Monitoraggio: Questo fenomeno consente ai modelli di agire come sonde "sempre attive" per la deriva comportamentale. Anche quando un modello subisce altri obiettivi di post-training (come il tuning della sicurezza o l'instruction tuning) che spostano il suo comportamento, le sue auto-spiegazioni possono tracciare questi cambiamenti senza richiedere una nuova supervisione.
• Accesso Privilegiato: I risultati supportano la visione che i LM possiedano una forma di accesso privilegiato ai propri processi decisionali, permettendo loro di modellare il proprio comportamento meglio di quanto possa fare un modello esterno (o persino il modello che ha generato le etichette di addestramento).

Gli autori rimangono modesti, osservando che il fenomeno richiede una sufficiente varianza comportamentale nei dati di addestramento e che la storia meccanicistica (il particolare "circuito di introspezione") non è ancora stata completamente mappata. Posizionano questo lavoro come complementare agli strumenti di interpretabilità estroversiva piuttosto che come un loro sostituto.