Riepilogo Tecnico: Suddivisione in Categorie delle Mele Buone

Enunciato del Problema

L'astrazione causale è un quadro rigoroso per l'interpretabilità meccanicistica che valuta se un modello causale di alto livello ($H$) astrae accuratamente una rete neurale di basso livello ($L$) sotto interventi controfattuali. Questa valutazione si basa tipicamente sull'Accuratezza dell'Intervento di Scambio (IIA), una metrica scalare che riassume l'accordo tra il comportamento del modello di basso livello sotto intervento e le previsioni del modello di alto livello.

Il documento identifica una limitazione critica nello stato dell'arte: l'IIA è una statistica riassuntiva globale. Sebbene indichi se un'ipotesi è generalmente fedele, non rivela dove nello spazio degli input l'ipotesi abbia successo o fallisca. I punteggi IIA intermedi sono particolarmente difficili da interpretare, offrendo poca guida su come raffinare un'ipotesi che è parzialmente corretta. Inoltre, i flussi di lavoro esistenti sono largamente valutativi piuttosto che costruttivi; possono diagnosticare che un'ipotesi è imperfetta, ma non forniscono un meccanismo per migliorarla o scoprire variabili intermedie mancanti.

Metodologia

Gli autori propongono una pipeline diagnostica in quattro passaggi che sposta l'unità di analisi da un punteggio globale alla struttura dello spazio degli input. L'idea centrale è partizionare lo spazio degli input in regioni "ben interpretate" (categorie target) e regioni "sotto-interpretate" basandosi sul comportamento di scambio-intervento a coppie.

1. Formalizzazione: Sottinsiemi Consistenti per Scambio

Il metodo formalizza il concetto di Coppia Consistente per Scambio: due input $i_1, i_2$ sono consistenti se lo scambio delle loro rappresentazioni interne produce output che corrispondono alle previsioni controfattuali di alto livello in entrambe le direzioni.

• Grafo di Scambiabilità: Lo spazio degli input è modellato come un grafo in cui i vertici sono gli input e gli archi connettono le coppie consistenti per scambio.
• Categorie Target: Un sottoinsieme di input è considerato una "categoria target" se forma un clique (o un $\gamma$-quasi-clique ad alta densità) in questo grafo. All'interno di queste categorie, l'astrazione è quasi perfetta; tra le categorie, essa fallisce.

2. La Pipeline di Diagnosi in Quattro Passaggi

Gli autori istanziano questo quadro in una ricetta pratica:

1. Specificare il Compito e lo Spazio degli Input: Definire un compito in cui il modello di basso livello $L$ opera in modo affidabile. L'analisi è limitata al sottoinsieme delle previsioni corrette ($I_{correct}$) per isolare i fallimenti di interpretabilità dai fallimenti del compito.
2. Trovare un Allineamento Candidato: Identificare un allineamento candidato $\Pi$ tra una variabile di alto livello e una caratteristica di basso livello utilizzando metodi standard (ad esempio, Ricerca di Allineamento Distribuito (DAS), patching vettoriale completo). Questo passaggio spesso produce punteggi IIA intermedi che motivano un'ulteriore diagnosi.
3. Categorizzare lo Spazio degli Input: Costruire il grafo di scambiabilità su $I_{correct}**. Cercare quasi-clique densi (categorie target) in cui l'astrazione vale. Il resto dello spazio forma la "categoria altro". Questo passaggio localizza specifici modi di fallimento.
4. Generalizzare e Caratterizzare: Addestrare un classificatore per prevedere l'appartenenza alla categoria per input non visti. Il classificatore utilizza caratteristiche etichettate a mano o caratteristiche interne al modello (ad esempio, attivazioni di Autoencoder Sparsi (SAE)) per determinare se la partizione scoperta riflette un confine strutturale stabile piuttosto che un artefatto del campione finito.

Contributi Chiave

• Spostamento Diagnostico: Il documento sposta l'astrazione causale da una valutazione puramente globale a uno strumento diagnostico che rivela dove un'interpretazione funziona e dove fallisce.
• Raffinamento Costruttivo: Analizzando la struttura delle regioni ben interpretate rispetto a quelle sotto-interpretate, il metodo fornisce euristiche per migliorare le interpretazioni. Può identificare distinzioni mancanti in un'ipotesi di alto livello, scoprire variabili intermedie non modellate e combinare interpretazioni parziali.
• Scoperta Ricorsiva di Ipotesi: La pipeline supporta un processo iterativo in cui un'ipotesi grezza è raffinata in un modello causale più dettagliato applicando ricorsivamente la procedura di categorizzazione ai nuovi modi di fallimento scoperti.

Risultati Sperimentali

Gli autori validano il metodo attraverso tre contesti di complessità crescente:

1. Compito Logico di Giocattolo:

   • Setup: Un modello GPT-2-small fine-tuned risolve un compito logico $o_5 = (o_1 \land o_2) \lor o_3$.
   • Risultato: Partendo da un'ipotesi contenente solo la variabile di output $o_5$, la pipeline ha identificato un allineamento con IIA intermedia. La categorizzazione ha rivelato che l'allineamento era fedele solo quando $o_1 \land o_2$ era falso.
   • Raffinamento: Promuovendo la variabile intermedia mancante $o_4 = o_1 \land o_2$ e rieseguendo la diagnosi, gli autori hanno recuperato ricorsivamente l'intera gerarchia causale di alto livello ($o_1, o_2, o_3 \to o_4 \to o_5$), dimostrando che il modello utilizza la fattorizzazione intesa piuttosto che un'alternativa estensionalmente equivalente.

2. Compito di Legame delle Entità:

   • Setup: Utilizzando Gemma-2-2B-Instruct, il compito consiste nel recuperare entità da gruppi basati su template in base a una posizione di gruppo interrogata ($q_{group}$).
   • Risultato: Un'ipotesi posizionale ha mostrato una curva di allineamento a forma di U (alta fedeltà ai bordi della sequenza, bassa nel mezzo). La categorizzazione ha isolato automaticamente queste regioni senza ispezione manuale.
   • Generalizzazione: I classificatori addestrati su caratteristiche interne SAE hanno generalizzato con successo questo confine a input non visti, raggiungendo un IIA del 98% sulla categoria target, confermando che la distinzione è codificata nelle rappresentazioni del modello.

3. Richiamo Fattuale Intrecciato (Benchmark RAVEL):

   • Setup: Isolamento dell'attributo LINGUAGGIO da attributi intrecciati (ad esempio, PAESE, FUSO_ORARIO) in Llama-3.1-8B utilizzando DAS Multi-task (MDAS).
   • Risultato: Nonostante MDAS sia progettato per il disintreccio, l'IIA globale era bassa (14,3%). La categorizzazione ha rivelato che il sottospazio appreso non era un'astrazione generale di "linguaggio", ma piuttosto collassava lo spazio degli input in cluster grossolani specifici per lingua (ad esempio, categorie inglese e spagnolo con alta IIA, ma bassa IIA cross-linguistica).
   • Insight: Ciò ha esposto un disallineamento strutturale in cui la rappresentazione preservava la struttura intra-linguistica ma falliva nello scambio cross-linguistico.

Significato e Affermazioni

Il documento afferma che la partizione dello spazio degli input è un passaggio cruciale verso un'interpretabilità meccanicistica più precisa, costruttiva e scalabile.

• Dalla Valutazione alla Costruzione: Il metodo trasforma le astrazioni "imperfette" in oggetti diagnostici azionabili, permettendo ai ricercatori di passare dalla valutazione ex-post alla scoperta costruttiva di ipotesi di alto livello.
• Scalabilità: L'approccio si è dimostrato ampiamente utile attraverso diverse dimensioni di modello (fine-tuned e pre-addestrati) e metodi di allineamento (DAS, MDAS, patching).
• Limitazioni: Gli autori notano modestamente che il metodo dipende da una precedente costruzione del compito e da un'astrazione candidata (è una ricerca strutturata di programmi, non un'interpretazione automatica senza vincoli) e si concentra attualmente su ipotesi a variabile singola. Suggeriscono che il lavoro futuro dovrebbe affrontare le interazioni multi-variabile e spazi degli input più ampi.

Il documento conclude che, "categorizzando le mele buone", i ricercatori possono identificare le condizioni specifiche in cui le astrazioni causali valgono, trasformando così i fallimenti dell'astrazione in prove per affinare e scoprire i meccanismi sottostanti delle reti neurali.