Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations

Questo lavoro propone una pipeline che collega l'analisi dei circuiti neurali alle spiegazioni in linguaggio naturale per i modelli linguistici, dimostrando che è possibile generare spiegazioni fedeli e di alta qualità per l'identificazione di oggetti indiretti, pur rivelando la presenza di meccanismi di backup distribuiti e la scarsa correlazione tra la confidenza del modello e la fedeltà della spiegazione.

L'essenziale

Immagina che un'intelligenza artificiale (come un grande modello di linguaggio) sia una cucina enorme e complessa, piena di cuochi, fornelli, ingredienti e ricette segrete. Quando la cucina produce un piatto delizioso (una risposta corretta), sappiamo cosa è stato cucinato, ma non sappiamo esattamente chi ha fatto cosa e come.

Questo articolo di ricerca è come un investigatore privato che entra in quella cucina per capire non solo il risultato finale, ma il processo esatto che ha portato a quel piatto.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: "La Scatola Nera"

Fino a poco tempo fa, gli scienziati guardavano la cucina e dicevano: "Ehi, il cuoco numero 9 ha guardato molto il pomodoro, quindi deve essere stato lui a decidere il piatto!". Ma spesso, guardare molto un ingrediente non significa averlo usato davvero. Era solo una distrazione.
Gli scienziati volevano capire la causa reale: quale cuoco ha davvero aggiunto il sale? Quale fornello ha acceso il fuoco?

2. La Soluzione: L'Esperimento del "Taglio" (Activation Patching)

Gli autori hanno inventato un metodo geniale, simile a un esperimento scientifico:

• Immagina di prendere un piatto finito e dire: "Ok, ora proviamo a cucinare lo stesso piatto, ma spegniamo il cuoco numero 9 e il fornello numero 3".
• Se il piatto viene rovinato, allora quei cuochi erano fondamentali.
• Se il piatto viene comunque bene, allora c'erano altri cuochi che hanno fatto da "backup" (riserva).

Hanno applicato questo metodo al modello GPT-2 su un compito specifico: capire chi ha dato da bere a chi in una frase tipo "Quando Maria e Giovanni sono andati al negozio, Giovanni ha dato da bere a...". La risposta giusta è "Maria".

3. La Scoperta: Chi sono i "Cuochi Chiave"?

Hanno scoperto che non serve tutta la cucina per capire la risposta. Solo 6 cuochi specifici (chiamati "testine di attenzione") fanno il 61% del lavoro pesante.

• Trovata: Hanno identificato esattamente questi 6 cuochi.
• Risultato: Se usiamo solo le informazioni di questi 6 cuochi, possiamo spiegare al 100% perché il modello ha scelto "Maria". Questo si chiama Sufficienza (abbiamo tutto ciò che serve per capire).

4. Il Paradosso: Perché non è tutto perfetto? (Il problema della "Completezza")

C'è un problema curioso. Anche se quei 6 cuochi sono sufficienti per spiegare la risposta, se li "spegniamo" (come nell'esperimento), il modello non smette di funzionare perfettamente! Riesce ancora a indovinare bene, anche se peggio.

• L'analogia: È come se avessi un'auto con 6 ruote principali. Se le togli, l'auto non va. Ma scopri che l'auto ha anche 4 ruote di scatto nascoste sotto il telaio che si attivano se quelle principali vengono rimosse.
• Conclusione: Il modello ha dei meccanismi di backup. Questo rende difficile dare una spiegazione semplice e completa, perché la verità è distribuita in molti posti, non solo nei 6 cuochi principali.

5. La Traduzione: Dall'Inglese Tecnico all'Italiano Semplice

Ora, come spieghiamo tutto questo a una persona normale?

• Metodo A (Vecchio): Usare un modulo precompilato. "Il modello ha scelto Maria perché il cuoco L9H9 ha guardato Maria." (Noioso, generico).
• Metodo B (Nuovo): Chiedere a un'altra intelligenza artificiale (un LLM) di leggere i dati dei cuochi e scrivere una storia.
  • Risultato: L'IA nuova scrive: "Il modello ha scelto Maria perché il cuoco L9H9 ha guardato Maria con il 66% di attenzione, ignorando Giovanni."
  • Vantaggio: Le spiegazioni generate dall'IA sono molto più ricche, precise e leggibili rispetto ai vecchi moduli.

6. La Sorpresa Finale: L'Arroganza del Modello

C'è una cosa molto importante che hanno scoperto: La sicurezza del modello non significa che la spiegazione sia giusta.

• Se il modello è al 99% sicuro della risposta, potresti pensare che la sua spiegazione sia perfetta.
• Realtà: Non c'è alcuna correlazione. Il modello può essere super sicuro, ma la sua spiegazione potrebbe essere sbagliata o incompleta perché si affida a quei "cuochi di riserva" che noi non vediamo.
• Lezione: Non fidarti ciecamente della sicurezza di un'IA. Bisogna sempre controllare come ha ragionato.

In Sintesi

Questo lavoro ci dice tre cose fondamentali:

1. Possiamo trovare i "motori" reali di un'intelligenza artificiale usando esperimenti di "spegnimento" (patching).
2. Possiamo tradurre questi dati tecnici in storie comprensibili usando un'altra IA, rendendo le spiegazioni molto migliori.
3. Attenzione: Le spiegazioni sono spesso incomplete perché l'IA ha molti piani di riserva nascosti. Non fidarti solo della "sicurezza" del modello; la verità è più complessa e distribuita di quanto sembri.

È come dire: "Sì, sappiamo chi ha acceso il motore principale, ma l'auto ha anche un motore elettrico di riserva che si attiva se spegniamo quello principale. Quindi, se vuoi capire davvero come funziona l'auto, devi guardare tutto il sistema, non solo il motore principale".

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations" in lingua italiana.

Titolo

Interpretabilità Meccanicistica Causalmente Fondata per LLM con Spiegazioni in Linguaggio Naturale Fedeli

1. Il Problema

Nonostante i grandi modelli linguistici (LLM) eccellano in compiti diversificati, il loro processo decisionale interno rimane opaco. Esistono due filoni di ricerca principali che affrontano questo problema, ma che si sono sviluppati in isolamento:

1. Interpretabilità Meccanicistica: Cerca di reverse-engineerare i calcoli del modello a livello di "circuiti" (combinazioni di neuroni e attention heads), ma i risultati sono spesso espressi in termini tecnici inaccessibili agli umani (es. "L9H9 contribuisce per il 17,4% alla differenza di logit").
2. XAI (Explainable AI): Genera spiegazioni in linguaggio naturale (NL), ma spesso si basa su segnali correlativi (come i pesi dell'attenzione) che non riflettono necessariamente meccanismi causali.

Il gap fondamentale risiede nella difficoltà di tradurre automaticamente le scoperte a livello di circuiti causali in spiegazioni in linguaggio naturale che siano causalmente fedeli (faithful), ovvero che riflettano accuratamente la causa reale del comportamento del modello.

2. Metodologia

L'autore propone una pipeline in tre fasi per colmare questo divario, applicata al compito di Indirect Object Identification (IOI) sul modello GPT-2 Small (124M parametri).

• Fase 1: Identificazione del Circuito (Causal Patching)

  • Viene utilizzata la tecnica di Activation Patching. Per ogni prompt, viene creata una versione "corrotta" scambiando le posizioni dei nomi.
  • L'importanza causale di ogni attention head è misurata tramite il recupero dell'effetto (effect recovery): quanto il ripristino dell'attivazione di un head specifico nel contesto corrotto ripristina la differenza di logit corretta.
  • Vengono identificati gli head causalmente importanti che guidano la previsione.

• Fase 2: Generazione delle Spiegazioni

  • Vengono confrontati due approcci per trasformare i dati del circuito in testo:
    1. Metodo basato su Template: Frasi fisse riempite con valori estratti (es. percentuali di attenzione, nomi degli head).
    2. Metodo basato su LLM: Un LLM esterno viene istruito con i dati strutturati del circuito (nomi degli head, percentuali, confidenza) per generare spiegazioni contestuali di 1-2 frasi.

• Fase 3: Valutazione della Fedeltà

  • Vengono adattate le metriche ERASER (originariamente per token-level) al livello di componenti circuitali:
    • Sufficiency (Sufficienza): Gli head citati spiegano completamente la previsione?
    • Comprehensiveness (Completezza): Rimuovendo (ablazione) gli head citati, la previsione cambia?
    • F1 Score: Media armonica delle due metriche.
  • Viene inoltre valutata la qualità del testo (presenza di nomi specifici, percentuali, concisione).

3. Contributi Chiave

1. Pipeline di Traduzione: Un sistema end-to-end che trasforma l'analisi dei circuiti meccanici in spiegazioni in linguaggio naturale.
2. Adattamento delle Metriche ERASER: Applicazione delle metriche di sufficienza e completezza a componenti circuitali (attention heads) invece che a singoli token.
3. Confronto Sperimentale: Prima comparazione tra spiegazioni generate da template e quelle generate da LLM nel contesto dell'interpretabilità meccanica.
4. Tassonomia degli Errori: Identificazione di tre categorie di fallimento in cui le spiegazioni divergono dai meccanismi reali.

4. Risultati Principali

• Identificazione del Circuito:

  • Il modello GPT-2 Small ha raggiunto il 100% di accuratezza sul compito IOI.
  • Sono stati identificati 6 attention heads (tra cui L9H9 "Name Mover" e L8H10 "S-Inhibition") che collettivamente spiegano il 61,4% della differenza di logit.

• Valutazione della Fedeltà (Circuit-based):

  • Sufficienza: 100%. Gli head citati sono sufficienti a spiegare la previsione.
  • Completezza: Solo 22%. L'ablazione di questi head causa solo un degrado parziale della previsione, rivelando l'esistenza di meccanismi di backup distribuiti nel modello.
  • Il metodo basato sul circuito supera la baseline basata sull'attenzione (che usa i pesi raw) del 75% sul punteggio F1 (36,0% vs 20,6%), dimostrando che l'attenzione non è sempre causale.

• Qualità delle Spiegazioni:

  • Le spiegazioni generate dagli LLM superano quelle basate su template del 66% in termini di qualità complessiva.
  • Le spiegazioni LLM includono percentuali specifiche e riferimenti contestuali ai nomi, mentre i template tendono a essere generici.

• Analisi degli Errori (RQ3):

  • Nessuna correlazione tra confidenza e fedeltà: Il coefficiente di correlazione tra la confidenza del modello e la completezza della spiegazione è r = 0.009. Un'alta confidenza non garantisce che la spiegazione sia completa.
  • Categorie di fallimento:
    1. Calcolo Distribuito: Il comportamento emerge da molti head con contributi moderati, non da un sottoinsieme dominante.
    2. Head Citati Mancanti: I principali contributori per prompt specifici non rientrano nel circuito fisso "top-6".
    3. Attività Ridondante: L'aggiunta di altri head non aumenta la copertura causale.

5. Significato e Implicazioni

• Robustezza vs. Spiegabilità: Il divario tra l'100% di sufficienza e il 22% di completezza rivela che i trasformatori implementano calcoli ridondanti. Questo rende i modelli robusti all'ablazione ma difficili da spiegare in modo conciso e completo.
• Limiti della Confidenza: Gli utenti non possono dedurre la qualità di una spiegazione dalla confidenza del modello. I sistemi dovrebbero riportare metriche di completezza insieme alle spiegazioni.
• Ruolo degli LLM: Gli LLM si dimostrano strumenti efficaci per tradurre dati meccanici complessi in descrizioni leggibili, scalando meglio dei template all'aumentare della complessità del circuito.
• Avvertenze: Le spiegazioni fedeli richiedono un grounding causale che va oltre i semplici pattern di attenzione. Tuttavia, la bassa completezza (22%) indica che le spiegazioni attuali catturano solo una parte dei meccanismi; il loro utilizzo senza caveat potrebbe indurre gli utenti in eccessiva fiducia.

Il lavoro conclude che, sebbene sia possibile generare spiegazioni causalmente fondate, la natura distribuita e ridondante della computazione neurale pone sfide fondamentali per la creazione di spiegazioni completamente complete.