💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

Questo articolo sostiene che l'interpretabilità meccanicistica sia fondamentalmente un problema di stima statistica afflitto da un'elevata varianza intrinseca nei punteggi di mediazione causale, il che causa la produzione di risultati instabili e fragili nelle pipeline di scoperta dei circuiti e rende necessario un passaggio verso una rigorosa robustezza statistica e la segnalazione della stabilità.

Autori originali: Maxime Méloux, François Portet, Maxime Peyrard

Pubblicato 2026-06-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Maxime Méloux, François Portet, Maxime Peyrard

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Cercare di mappare una città con una bussola instabile

Immaginate di cercare di disegnare la mappa di una città complessa (una rete neurale) per capire come arrivi dal Punto A al Punto B (come risolve un problema). Gli scienziati nel campo della Interpretabilità Meccanicistica sono come esploratori urbani. Vogliono trovare le specifiche "strade" e "incroci" (neuroni e connessioni) che la città utilizza per prendere decisioni. Chiamano questi percorsi speciali "circuiti".

Il paper sostiene che, in questo momento, questi esploratori stanno usando una bussola che ruota selvaggiamente. Pensano di stare trovando l'unica vera mappa, ma in realtà stanno disegnando mappe diverse ogni volta che guardano, a seconda di minuscoli cambiamenti casuali nel meteo o di come tengono in mano la bussola.

Il problema centrale: La "bussola che ruota" (Varianza)

I ricercatori hanno scoperto che gli strumenti utilizzati per trovare questi circuiti sono fondamentalmente instabili. Hanno scomposto il problema in tre livelli di instabilità:

1. Il segnale grezzo è rumoroso (Variabilità intrinseca)

L'analogia: Immaginate di cercare di misurare la forza di una specifica corrente di vento durante una tempesta. Se misurate la velocità in un secondo esatto, otterrete un numero. Se misurate un secondo dopo, il vento potrebbe essere leggermente più forte o più debole a causa di una turbolenza casuale.
La tesi del paper: L'"importanza" di una specifica parte dell'IA non è un numero fisso come il peso di una roccia. È più simile alla velocità del vento. Cambia drasticamente a seconda dello specifico input (la "tempesta") che state osservando. Il paper dimostra che anche se calcolate questo valore perfettamente, il punteggio per una singola connessione fluttua così tanto che è difficile capire se sia effettivamente importante o solo una raffica casuale.

2. Gli strumenti aggiungono altro rumore (Errori di approssimazione)

L'analogia: Poiché misurare il vento perfettamente richiede troppo tempo, gli esploratori usano un sensore economico e veloce (metodi di approssimazione come l'EAP) per indovinare la velocità del vento. Ma questo sensore economico è tremolante. Aggiunge il proprio statico e i propri errori sopra il vento già variabile.
La tesi del paper: I metodi veloci che gli scienziati usano per risparmiare tempo (come l'Edge Attribution Patching) introducono ancora più rumore. Spesso fanno apparire i punteggi ancora più instabili di quanto non fossero già. Il "rapporto segnale-rumore" è così basso che gli strumenti stanno spesso solo captando interferenze piuttosto che il vero segnale.

3. La mappa cambia a ogni passo (Instabilità dell'aggregazione)

L'analogia: Per disegnare la mappa finale, gli esploratori prendono 100 misurazioni diverse e ne fanno la media. Ma poiché le misurazioni sono così traballanti, se cambiate la lista delle 100 misurazioni anche solo di poco (come sostituendone una con un'altra), la mappa finale appare completamente diversa. Un giorno, la mappa mostra un'autostrada; il giorno dopo, mostra un sentiero sterrato.
La tesi del paper: Quando gli scienziati combinano questi punteggi instabili per costruire un "circuito", il risultato è incredibilmente fragile.

Cambiamenti nei dati: Se utilizzano un set leggermente diverso di esempi per addestrare la loro mappa, trovano un circuito totalmente diverso.
Cambiamenti nel metodo: Se modificano un'impostazione (come cambiare il modo in cui mediano i numeri), trovano un circuito diverso.
Cambiamenti nelle perturbazioni: Se cambiano il modo in cui "rompono" l'IA per testarla (il controfattuale), il circuito trovato si sposta di nuovo.

L'effetto "Salmone Morto"

Il paper menziona che gli attuali metodi sono soggetti ad artefatti da "salmone morto".
L'analogia: Nella neuroscienza, i ricercatori un tempo trovarono "attività cerebrale" in un salmone morto solo perché non avevano corretto per il rumore statistico. Il paper suggerisce che anche i ricercatori di IA potrebbero fare la stessa cosa: trovare "circuiti" che sembrano reali ma che sono in realtà solo rumore casuale che si è allineato per caso.

Cosa hanno scoperto i ricercatori (Le prove)

Hanno eseguito esperimenti su diversi modelli di IA (come GPT-2 e Llama) e compiti (come la matematica o la grammatica).

Il risultato: Quando hanno eseguito lo stesso esperimento 100 volte con dati leggermente diversi, i "circuiti" che hanno trovato si sovrapponevano appena. A volte, la sovrapposizione era inferiore al 10%.
La conclusione: Non esiste un singolo "Circuito Vero" in attesa di essere scoperto. Inveve, esiste una nuvola di possibili circuiti, e gli attuali metodi stanno solo scegliendo un punto casuale da quella nuvola e chiamandolo verità.

La soluzione proposta: Smettere di indovinare, iniziare a misurare l'incertezza

Gli autori non dicono "rinunciate all'interpretazione dell'IA". Dicono invece "smettete di pretendere di sapere più di quanto sappiamo".

Il nuovo manuale di regole:

Riportate la varianza: Non mostrate solo una mappa. Mostrate 100 mappe e dite: "Ecco la media, ed ecco quanto differiscono".
Verificate la stabilità: Prima di affermare di aver trovato un circuito, controllate se rimane lo stesso cambiando leggermente i dati. Se il circuito scompare con un piccolo cambiamento, non è affidabile.
Accettate l'incertezza: Trattate queste scoperte come previsioni meteorologiche (es. "70% di probabilità di pioggia") piuttosto che come fatti assoluti (es. "Pioverà").

Riassunto

Il paper sostiene che l'Interpretabilità Meccanicistica sta attualmente cercando di fare scienza senza ammettere di avere a che fare con la statistica. È come cercare di misurare l'altezza di una montagna mentre si è in piedi su un tappeto elastico. Gli autori vogliono che il campo smetta di cercare un singolo e perfetto "ground truth" (verità fondamentale) del circuito e inizi a riportare quanto siano instabili e variabili le loro scoperte. Solo riconoscendo questa instabilità potremo fidarci delle mappe che stiamo disegnando delle menti artificiali.

Sintesi Tecnica: L'Interpretabilità Meccanicistica come Stima Statistica: Un'Analisi della Varianza

Definizione del Problema

L'Interpretabilità Meccanicistica (MI) mira a l'ingegneria inversa delle reti neurali profonde identificando i "circuiti": sottoreti funzionali responsabili di specifici comportamenti del modello. Questi circuiti vengono tipicamente scoperti tramite l'Analisi di Mediazione Causale (CMA), che consiste nell'intervenire sul grafo computazionale per misurare l'effetto causale di specifici componenti (nodi o archi) sugli output del modello.

Tuttavia, la validità scientifica di tali risultati è sempre più messa in discussione a causa di una mancanza di stabilità. Le attuali pratiche di MI producono spesso "stime puntuali" (singoli riassunti strutturali) senza quantificare l'incertezza. Il paper sostiene che la scoperta dei circuiti non sia un compito isolato, ma un problema di stima statistica basato sulla CMA. Il problema centrale identificato è l'instabilità fondamentale: l'effetto causale di un componente non è una proprietà fissa, ma una variabile aleatoria volatile. Di conseguenza, piccole perturbazioni nei dati di input, negli iperparametri o nelle definizioni di intervento producono circuiti molto diversi, minando l'affidabilità dei risultati della MI e la loro generalizzabilità.

Metodologia

Gli autori inquadrano la scoperta dei circuiti come una pipeline a valle alimentata dalla CMA e ne analizzano la stabilità attraverso una lente statistica, scomponendo l'instabilità in due fonti primarie:

Varianza (Sensibilità al Campionamento): Fluttuazioni derivanti dal fare affidamento su dataset finiti per approssimare le aspettative della popolazione.
Robustezza (Sensibilità Metodologica): Sensibilità alla specificazione dei controfattuali (strategie di intervento) e agli iperparametri.

Lo studio impiega la seguente configurazione sperimentale:

Task: Tre task standard di interpretabilità: Indirect Object Identification (IOI), Subject-Verb Agreement (SVA) e Greater-Than.
Modelli: GPT-2-small, Llama-3.2-1B e Llama-3.2-1B-Instruct.
Stimatori: Lo studio si concentra sulla famiglia Edge Attribution Patching (EAP), inclusa la CMA esatta (dove computazionalmente fattibile), EAP ed EAP-IG (con gradienti integrati per input e attivazioni).
Metriche di Stabilità:
- Stabilità Strutturale: Misurata tramite l'indice di Jaccard a coppie degli insiemi di archi scoperti.
- Stabilità Funzionale: Misurata tramite l'Errore del Circuito (CE) e la divergenza KL tra il modello completo e il circuito isolato.
Regimi di Perturbazione:
- Ricampionamento dei Dati: Bootstrap resampling per simulare dimensioni limitate del campione.
- Spostamenti di Distribuzione (Distribution Shifts): Utilizzo di meta-dataset e parafrasi dei prompt.
- Definizione dell'Intervento: Variazione dell'ampiezza del rumore nella generazione dei controfattuali (rumore Gaussiano sugli embedding dei token).
- Perturbazioni Metodologiche: Variazione delle funzioni di aggregazione (media vs mediana), tipi di patching e scelta dello stimatore.

Contributi Chiave e Risultati

1. Variabilità Intrinseca dei Punteggi CMA

Gli autori dimostrano che anche i punteggi CMA esatti mostrano un'alta variabilità intrinseca. Per un singolo arco, l'effetto causale non è costante tra gli input tratti dalla stessa distribuzione.

Risultato: Il coefficiente di variazione (CV) per gli score degli archi esatti è spesso vicino a 0,5.
Implicazione: L'effetto causale è una variabile aleatoria dipendente dalla specifica coppia input-controfattuale, non una proprietà fissa del componente.

2. Amplificazione da parte dei Metodi di Approssimazione

I metodi di approssimazione come EAP ed EAP-IG introducono ulteriore rumore di stima sopra la varianza intrinseca.

Risultato: Gli stimatori approssimati hanno spesso un CV > 1, il che significa che la deviazione standard dello score supera la sua media. Ciò risulta in un basso rapporto segnale-rumore, rendendo l'identificazione di circuiti stabili da campioni finiti statisticamente precaria.

3. Instabilità del Circuito attraverso la Pipeline

L'instabilità degli score degli archi si propaga alla struttura finale del circuito, portando a risultati altamente divergenti sotto variazioni minori:

Ricampionamento dei Dati: Il bootstrap resampling produce la minore coerenza strutturale (indice di Jaccard medio $\approx$ 0,56 per GPT-2-small) e la massima variabilità. I circuiti scoperti da dati ricampionati sono spesso strutturalmente disgiunti e meno fedeli al modello originale.
Dimensione del Modello: La stabilità degrada significativamente nei modelli più grandi (Llama-3.2-1B) rispetto a GPT-2-small, suggerendo che identificare circuiti affidabili in modelli più capaci è non banale.
Sensibilità Metodologica: Cambiare gli iperparametri (ad esempio, l'aggregazione da somma a mediana, o il tipo di patching) può far scendere la similarità di Jaccard vicino allo zero (ad esempio, 0,086), restituendo effettivamente un sottografo disgiunto. Diverse varianti di EAP spesso isolano diversi artefatti della distribuzione ad alta varianza piuttosto che convergere su un singolo circuito.
Sensibilità dell'Intervento: Il circuito identificato non è invariante rispetto all'ampiezza della perturbazione. Variare l'ampiezza del rumore nella generazione dei controfattuali sposta l'insieme dei componenti identificati come importanti, con regimi critici (ad esempio, ampiezza del rumore $\approx$ 0,2) che mostrano il picco di instabilità.

4. Non-Identificabilità vs Instabilità dello Stimatore

Il paper distingue tra non-identificabilità (un'impossibilità teorica di recuperare un circuito unico anche con dati infiniti) e instabilità dello stimatore (sensibilità empirica al campionamento finito e all'approssimazione). Sebbene l'alta instabilità sia coerente con la non-identificabilità, gli autori mostrano che la variabilità osservata è sufficientemente grande da minare le attuali pratiche di reporting indipendentemente dalla causa radice.

Significato e Raccomandazioni

Il paper sostiene che affinché l'Interpretabilità Meccanicistica evolva in una scienza rigorosa, deve adottare gli standard di inferenza statistica utilizzati nelle scienze naturali. L'attuale pratica di riportare singole scoperte di circuiti puntuali senza stime di incertezza è insufficiente.

Best Practices Proposte:

Riportare le Metriche di Stabilità: I ricercatori dovrebbero riportare regolarmente le metriche di stabilità insieme ai risultati della scoperta dei circuiti. Nello specifico, la varianza della struttura del circuito (ad esempio, l'indice di Jaccard medio tra coppie) e le prestazioni (CV dell'errore del circuito) sotto bootstrap resampling ( $n \ge 100$ $n \geq 100$ ).
- Soglia Suggerita: Un indice di Jaccard medio tra coppie superiore a 0,8 sotto bootstrap resampling potrebbe servire come barriera preliminare per riportare un circuito come stabile.
Quantificare l'Incertezza dello Stimatore: Dovrebbero essere condotte e riportate analisi di sensibilità riguardo agli iperparametri e ai metodi di aggregazione. Se un meccanismo è visibile solo sotto specifici iperparametri, questa fragilità deve essere dichiarata.
Caratterizzare la Sensibilità dell'Intervento: Inveve di affidarsi a un singolo intervento fisso, i ricercatori dovrebbero analizzare come i circuiti cambiano al variare delle definizioni di controfattuale (ad esempio, l'ampiezza del rumore) per distinguere i meccanismi core dagli artefatti localizzati.

Conclusione:
Gli autori concludono che il campo dovrebbe allontanarsi dalla ricerca di un singolo "vero" circuito. Inveve, il lavoro futuro dovrebbe mirare a caratterizzare una distribuzione su possibili circuiti (Scoperta del Circuito Probabilistico) e sviluppare obiettivi di ottimizzazione che penalizzino esplicitamente la varianza, dando priorità ai componenti che fungono da mediatori affidabili attraverso dataset e perturbazioni. Questo inquadramento statistico è presentato come un passo necessario verso la costruzione di sistemi IA affidabili e per garantire che gli strumenti di interpretabilità forniscano una base solida per decisioni di sicurezza e policy.