💬 NLP

Position: Mechanistic Interpretability Must Disclose Identification Assumptions for Causal Claims

Questo articolo sostiene che la ricerca sull'interpretabilità meccanicistica confonde frequentemente le metriche di validazione con l'identificazione causale non enunciando esplicitamente le ipotesi necessarie, e propone una nuova norma di divulgazione che richieda agli autori di articolare chiaramente le proprie strategie di identificazione e la robustezza delle proprie affermazioni causali.

Autori originali: Zezheng Lin, Fengming Liu

Pubblicato 2026-05-11

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zezheng Lin, Fengming Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di capire perché una macchina complessa (un'IA) fa ciò che fa. Sospetti che un ingranaggio specifico (un "circuito" o una "caratteristica") sia la causa di una specifica azione. Estrai quell'ingranaggio e la macchina smette di funzionare. Dichiarai: "Eureka! Quell'ingranaggio era la causa!"

Questo articolo sostiene che nel campo dell'"interpretabilità meccanicistica" dell'IA, i ricercatori fanno queste dichiarazioni troppo spesso senza seguire le regole della prova. Stanno affermando di aver trovato la causa, ma non hanno spiegato perché il loro esperimento lo dimostra come causa e non come una semplice coincidenza.

Ecco la spiegazione dell'argomento dell'articolo utilizzando semplici analogie:

1. Il Problema Centrale: la "Validazione" non è l'"Identificazione"

L'articolo fa una distinzione cruciale tra due cose:

Validazione (Il "Cosa"): "Ho estratto l'ingranaggio e la macchina si è fermata." Questo è un fatto. È un test riuscito.
Identificazione (Il "Perché"): "So per certo che solo quell'ingranaggio ha causato l'arresto della macchina, e non qualche ingranaggio di riserva nascosto o un effetto collaterale del mio intervento."

L'Analogia:
Immagina di essere un medico. Somministri una pillola a un paziente e la sua febbre scende.

Validazione: "La febbre è scesa dopo la pillola." (Questo è vero).
Identificazione: "La pillola ha causato la diminuzione della febbre." (Questo richiede assunzioni).

Forse la febbre è scesa perché era l'ora del giorno in cui la febbre si abbassa naturalmente. Forse il paziente ha bevuto acqua nello stesso momento. Forse la pillola non ha funzionato, ma la febbre stava comunque per diminuire.

Nella ricerca sull'IA, gli articoli spesso dicono: "Abbiamo modificato questa parte dell'IA e il comportamento è cambiato, quindi questa parte è la causa". L'articolo sostiene che saltano il passaggio di dimostrare che nessun'altra spiegazione avrebbe potuto causare quel cambiamento. Trattano il "calo della febbre" (validazione) come prova del "funzionamento della pillola" (identificazione) senza verificare se il paziente avesse un ciclo naturale di febbre.

2. La Trappola delle "Assunzioni Nascoste"

Ogni volta che un ricercatore afferma di aver trovato una causa, si basa su un insieme di assunzioni invisibili. L'articolo dice che queste assunzioni sono attualmente nascoste.

L'Analogia:
Immagina un mago che afferma: "Ho fatto sparire il coniglio perché ho agitato la bacchetta".

L'Assunzione Nascosta: "Il coniglio non è saltato fuori dalla porta sul retro".
L'Assunzione Nascosta: "Il coniglio non era già sparito prima che io agitassi la bacchetta".

Negli articoli sull'IA, i "trucchetti di magia" sono cose come:

Activation Patching (Riparazione delle attivazioni): "Abbiamo sostituito questa parte del cervello dell'IA. Il comportamento è cambiato."
- Assunzione Nascosta: "Non abbiamo accidentalmente risvegliato un sistema di riserva dormiente che svolge anche questo compito".
Sparse Autoencoders (SAE): "Abbiamo trovato una specifica 'caratteristica' nell'IA che rappresenta il concetto di 'onestà'".
- Assunzione Nascosta: "Questa caratteristica è un mattone unico e autonomo, non solo un miscuglio disordinato di altre cose che per caso assomiglia all'onestà".

L'articolo esamina 10 articoli principali (e ne controlla altri 30) e scopre che zero di essi hanno una sezione dedicata in cui elencano queste assunzioni nascoste. Mostrano solo il trucco di magia (il risultato) e dicono "Guardate, funziona!" senza ammettere quali regole stanno assumendo che l'universo segua.

3. L'Errore di "Sostituzione"

L'articolo definisce l'abitudine corrente "Sostituzione della Metrica di Validazione".

L'Analogia:
Immagina un meccanico che dice: "Ho riparato il tuo motore perché l'auto è partita".

L'Errore: Il meccanico sta sostituendo il risultato (l'auto è partita) con la prova (so esattamente quale parte ho riparato e che nient'altro avrebbe potuto far partire l'auto).
La Realtà: L'auto potrebbe essere partita perché la batteria si è ricaricata da sola, o perché il meccanico ha urtato la chiave, o perché il motore era sempre stato a posto.

Negli articoli sull'IA, i ricercatori riportano metriche come "fedeltà" (l'interpretazione corrisponde al modello?) o "completezza" (abbiamo trovato tutte le parti?). L'articolo sostiene che queste sono solo momenti di "l'auto è partita". È bene averle, ma non sono prova di causalità a meno che non si dichiarino le assunzioni che le rendono prova.

4. La Soluzione Proposta: il "Protocollo di Divulgazione"

L'autore suggerisce che il campo dovrebbe prendere in prestito una regola dall'Econometria (lo studio dei dati economici). In economia, se affermi che "X causa Y", devi dichiarare esplicitamente:

Cosa stai affermando: "Affermiamo che X causa Y".
La Strategia: "Stiamo usando il metodo Z per dimostrarlo".
Le Assunzioni: "Assumiamo che [Condizione A] e [Condizione B] siano vere".
Lo Stress Test: "Se [Condizione A] è falsa, la nostra conclusione crolla. Ecco come abbiamo verificato se è vera".

L'Analogia:
Invece di dire semplicemente "La pillola ha funzionato", il medico deve scrivere un rapporto:

"Affermiamo che la pillola ha abbassato la febbre".
"Assumiamo che il paziente non abbia assunto altri farmaci".
"Assumiamo che la febbre non stesse finendo naturalmente".
"Se il paziente avesse assunto altri farmaci, la nostra conclusione sarebbe errata. Ecco i dati che mostrano che non lo ha fatto".

5. Cosa ha Trovato l'Audit

L'autore ha esaminato 10 articoli chiave nel campo (coprendo diversi metodi come la scoperta di circuiti e gli autoencoder) e poi ne ha controllati altri 30.

Risultato: 0 su 30 articoli aveva una sezione dedicata che elencava le loro assunzioni di identificazione.
Risultato: La maggior parte degli articoli (circa 19 su 30, a seconda di quanto sei severo) ha utilizzato "metriche di validazione" (come "l'IA si è comportata come previsto") come sostituto per dimostrare che le loro assunzioni erano vere.
Risultato: Anche gli articoli più attenti, che hanno trovato errori nel lavoro altrui, non hanno elencato esplicitamente le assunzioni che stavano usando per trovare quegli errori.

Sintesi

L'articolo è un appello per onestà e chiarezza. Non dice che la ricerca sull'IA è sbagliata; dice che la ricerca sull'IA è incompleta.

Al momento, i ricercatori dicono: "Guardate, abbiamo trovato la causa!"
L'articolo dice: "Fermatevi e diteci quali regole state assumendo per fare quella affermazione. Se non ci dite le regole, non sappiamo se la vostra 'causa' è reale o solo un'ipotesi fortunata".

Chiede al campo di passare dal dire "Guardate quanto è figo il nostro trucco di magia" a "Ecco esattamente come funziona il trucco, ed ecco perché sappiamo che non è un trucco".

Sintesi Tecnica: L'Interpretabilità Meccanicistica Deve Rivelare le Assunzioni di Identificazione per le Affermazioni Causali

Enunciato del Problema
La ricerca sull'interpretabilità meccanicistica (MI) impiega sempre più un vocabolario causale—come "circuiti", "mediatori", "astrazione causale" e "monosemanticità"—per descrivere i comportamenti dei modelli. Tuttavia, il paper sostiene che queste affermazioni causali mancano frequentemente di assunzioni di identificazione esplicite. Nell'inferenza causale, un'affermazione è valida solo se vengono dichiarate le condizioni in base alle quali la quantità causale è identificata dai dati osservabili. Il paper individua un pattern ricorrente in cui i ricercatori sostituiscono le metriche di validazione (ad esempio, fedeltà, completezza, monosemanticità, allineamento o effetti di ablazione) alle assunzioni di identificazione. Sebbene queste metriche dimostrino che una descrizione sia coerente con il modello o con i dati, non stabiliscono che il meccanismo proposto sia la causa piuttosto che un correlato. Il paper ipotizza che, senza dichiarare le assunzioni in base alle quali un'affermazione è identificata, l'affermazione causale rimane non identificata, indipendentemente dai punteggi elevati di validazione.

Metodologia
Il paper utilizza un audit mirato della letteratura sulla MI per documentare l'assenza di divulgazione delle assunzioni di identificazione.

Audit Primario (n=10): Un audit condotto da un singolo codificatore su dieci paper influenti che coprono quattro filoni metodologici: scoperta di circuiti, autoencoder sparsi (SAE), astrazione causale e probing. Il campione include lavori provenienti da NeurIPS, ICLR, CLeaR, BlackboxNLP e il Thread sui Circuiti dei Trasformatori di Anthropic.
Audit di Estensione (n=30): Un audit condotto da due codificatori umani su un insieme ampliato di 30 paper per testare la robustezza e stimare l'affidabilità inter-codificatore.
Dimensioni di Codifica:
- Dim A: Tipo di affermazione astratta (causale esplicita con/senza base di identificazione, causale implicita, o solo associazione).
- Dim B: Presenza di una sezione dedicata "Assunzioni di Identificazione" nel testo principale.
- Dim C: Presenza di test di falsificabilità o analisi di sensitività.
- Dim D: "Sostituzione con metrica di validazione" (segnalazione di una metrica di validazione come supporto causale senza separarla dalle assunzioni di identificazione).
Validazione: Lo studio include una ricodifica da parte di un secondo codificatore umano su un sottocampione per misurare l'accordo ( $\kappa$ ) e un audit condotto da un singolo valutatore su un sottocampione stratificato per verificare i risultati strutturali.

Contributi Chiave

Distinzione Concettuale: Il paper distingue formalmente tra validazione (rispondere a "Cosa è cambiato quando abbiamo intervenuto?") e identificazione (rispondere a "Perché quel cambiamento identifica questo meccanismo?"). Sostiene che le metriche di validazione sono necessarie ma insufficienti per le affermazioni causali.
Documentazione del Divario: L'audit rivela una mancanza sistemica di divulgazione delle assunzioni. Tra i paper campionati, nessun singolo paper conteneva una sezione dedicata alle assunzioni di identificazione. La maggior parte dei paper ha implicitamente formulato affermazioni causali e ha sostituito le metriche di validazione alle dichiarazioni di identificazione.
Enumerazione delle Assunzioni Specifiche per Metodo: Il paper elenca le specifiche, spesso implicite, assunzioni di identificazione richieste per i metodi comuni di MI:
- Activation Patching: Assume la completezza del circuito (i componenti targetti spiegano tutti i percorsi) e l'esclusività del percorso (il patching non attiva circuiti paralleli dormienti).
- Autoencoder Sparsi: Assume la recuperabilità della base del dizionario (le caratteristiche corrispondono a una vera base, non a una rotazione arbitraria) e l'atomicità/monosemanticità delle caratteristiche.
- Astrazione Causale: Assume la fedeltà dell'allineamento e la validità dell'ottimizzazione.
- Probing: Assume la località causale e la completezza dell'intervento.
Protocollo di Divulgazione Proposto: Il paper propone una norma in cinque passaggi per i paper di MI che formulano affermazioni causali:
- Dichiarare nell'abstract se l'affermazione è causale o associativa.
- Nominare la strategia di identificazione.
- Includere una sezione numerata "Assunzioni di Identificazione" nel testo principale.
- Fornire un test di falsificabilità, un'analisi di sensitività o un'affermazione chiara di contro-evidenza per almeno un'assunzione fondamentale.
- Discutere come le conclusioni cambiano se le assunzioni chiave falliscono.

Risultati

Assenza di Sezioni Dedicata: Sia nell'audit n=10 che in quello n=30, 0/30 paper contenevano una sezione dedicata alle assunzioni di identificazione sotto qualsiasi regola di codifica o codificatore.
Prevalenza della Sostituzione: Nell'audit n=30, 19/30 paper (sotto adjudicazione rigorosa) o 26/30 (sotto regole permissive) sono stati codificati come aventi sostituito una metrica di validazione a una dichiarazione di identificazione.
Eterogeneità dei Filoni: Il pattern di sostituzione era più concentrato nei filoni degli Autoencoder Sparsi e dell'Astrazione Causale (rispettivamente 6/6 e 3/3 paper nel campione n=30 mostravano sostituzione completa). L'activation patching ha mostrato un tasso di sostituzione inferiore, potenzialmente dovuto alla letteratura esistente su "illusioni e modalità di fallimento" (ad esempio, Makelov et al., 2024) che fornisce una protezione parziale.
Affidabilità Inter-codificatore: L'accordo sulla presenza di una sezione dedicata (Dim B) è stato basso ( $\kappa = 0.26$ ), indicando che i paper attuali non forniscono dichiarazioni di assunzione stabili e facilmente identificabili. Tuttavia, il risultato strutturale di zero sezioni dedicate è stato robusto attraverso tutti i codificatori e le regole.

Significato e Affermazioni
Il paper afferma che la pratica corrente nell'interpretabilità meccanicistica tratta le metriche di validazione come un proxy per l'identificazione causale, portando a "illusioni di interpretabilità" in cui punteggi elevati coesistono con un'identificazione fallita (come dimostrato da lavori precedenti come Makelov et al., 2024, e Leask et al., 2025).

Non un'Imposizione di Framework: Il paper non importa framework econometrici specifici (ad esempio, variabili strumentali, do-calcolo) nella MI. Invece, importa la meta-pratica dell'inferenza causale: l'esigenza che le affermazioni causali siano valutate attraverso assunzioni dichiarate.
Necessità Logica: Gli autori sostengono che la divulgazione è un requisito logico di qualsiasi affermazione causale, non meramente una scelta stilistica. Senza assunzioni dichiarate, la comunità scientifica non può valutare se un risultato riflette una struttura causale genuina o un artefatto di condizioni non dichiarate.
Standard della Comunità: L'audit serve come prova che il divario è abbastanza diffuso tra le principali sedi per giustificare uno standard di comunità. Il protocollo proposto è progettato per essere generativo piuttosto che restrittivo, consentendo una critica cumulativa rendendo le assunzioni esplicite e falsificabili.

Il paper conclude che, sebbene il campione di audit sia piccolo e mirato (non una stima di prevalenza per l'intera letteratura), la coerenza del pattern attraverso i filoni e gli anni suggerisce che il campo non ha ancora adottato la pratica di base della divulgazione delle assunzioni, nonostante la crescente dipendenza dal linguaggio causale.