Riepilogo Tecnico: Scoperta di Circuiti Guidata dai Dati per l'Interpretabilità dei Modelli Linguistici

Enunciato del Problema

L'interpretabilità meccanicistica (MI) mira a ingegnerizzare all'inverso i meccanismi interni dei Modelli Linguistici (LM) localizzando e interpretando i "circuiti"—sottografi sparsi del grafo computazionale del modello responsabili di comportamenti specifici. Il paradigma prevalente nella scoperta di circuiti è guidato dall'ipotesi: i ricercatori definiscono un compito, costruiscono un dataset rappresentativo e applicano un algoritmo per scoprire un singolo circuito destinato a spiegare il comportamento del modello su quel compito.

Questo flusso di lavoro si basa su due assunzioni implicite:

1. Assunzione del Singolo Circuito: Il modello implementa un dato compito tramite un unico meccanismo computazionale coerente.
2. Assunzione di Adeguatezza del Dataset: Il dataset specifico utilizzato per la scoperta rappresenta adeguatamente l'intero ambito del compito così come è compreso dagli esseri umani.

Gli autori ipotizzano che queste assunzioni siano errate. Sostengono che i metodi esistenti potrebbero non scoprire circuiti di compito generali, bensì circuiti specifici del dataset che possono mescolare involontariamente meccanismi distinti in una singola spiegazione. Inoltre, mettono in discussione se un singolo circuito possa davvero rendere conto di tutte le istanze di un compito, o se il modello impieghi molteplici meccanismi distinti per ciò che gli esseri umani categorizzano come un singolo compito.

Metodologia

1. Valutazione Sistematica dei Metodi Guidati dall'Ipotesi

Gli autori testano rigorosamente la validità del paradigma esistente su quattro compiti consolidati: Identificazione dell'Oggetto Indiretto (IOI), Legame delle Entità (EB), Addizione Aritmetica e Completamento di Sequenza. Valutano questi compiti su tre modelli (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) utilizzando metodi di scoperta standard (EAP-IG, EAP, E-ACT).

Il loro disegno sperimentale coinvolge due indagini principali:

• Fedeltà Cross-Dataset: Costruiscono multiple varianti di dataset per ogni compito che preservano la semantica del compito ma variano nelle caratteristiche superficiali (complessità, sintassi, dominio). Scoprono un circuito su una variante e ne testano la fedeltà sulle altre.
• Scoperta di Compiti Misti: Costruiscono dataset che mescolano esempi da due compiti distinti (ad esempio, aritmetica e legame delle entità) e osservano se i metodi guidati dall'ipotesi restituiscono un singolo circuito fedele a entrambi, indicando potenzialmente una mescolanza di meccanismi.

2. Framework Proposto: Scoperta di Circuiti Guidata dai Dati (DCD)

Motivati dai risultati secondo cui i metodi guidati dall'ipotesi falliscono nel generalizzare e possono mescolare meccanismi, gli autori propongono la Scoperta di Circuiti Guidata dai Dati (DCD). Questo framework rimuove l'assunzione di un singolo circuito per compito.

Flusso di Lavoro DCD:

1. Raggruppamento per Computazione: Invece di assumere che tutti gli esempi in un dataset siano elaborati dallo stesso meccanismo, la DCD analizza prima come il modello elabora ogni singolo esempio. Calcola vettori di attribuzione degli archi per esempio (utilizzando metodi come EAP-IG) per caratterizzare la dipendenza del modello da archi specifici per ogni input.
2. Clustering: Questi vettori di attribuzione ad alta dimensionalità sono proiettati in uno spazio a dimensionalità inferiore (tramite PCA o SVD) e clusterizzati (ad esempio, utilizzando K-means). Questo raggruppa gli esempi elaborati da meccanismi computazionali simili.
3. Scoperta Indipendente: Un circuito separato viene scoperto indipendentemente per ogni cluster.

Il risultato è un insieme di circuiti distinti, ciascuno dei quali spiega un sottoinsieme specifico dei dati che si basa su un meccanismo coerente, piuttosto che un singolo circuito che tenta di spiegare l'intero dataset.

Risultati Chiave

1. Fallimento dei Circuiti di Compito Generali

Lo studio rileva che i circuiti scoperti dai metodi guidati dall'ipotesi sono specifici del dataset, non circuiti di compito generali:

• Bassa Fedeltà Cross-Dataset: I circuiti scoperti su una variante di dataset spesso mostrano una fedeltà significativamente inferiore su altre varianti dello stesso compito (ad esempio, un circuito IOI a 2 persone che fallisce su una variante a 3 persone), nonostante i compiti siano semanticamente identici.
• Bassa Sovrapposizione Strutturale: I circuiti scoperti su diverse varianti dello stesso compito condividono una bassa sovrapposizione di archi (similarità Jaccard che varia da 0,30 a 0,66), indicando che si basano su percorsi computazionali diversi.
• Mescolanza di Meccanismi: Quando i dataset di scoperta contengono esempi da due compiti distinti (ad esempio, aritmetica e legame delle entità), i metodi guidati dall'ipotesi restituiscono comunque un singolo circuito con alta fedeltà su entrambi i compiti. Ciò suggerisce che il metodo sta mescolando meccanismi distinti in un unico circuito invece di isolarli.

2. Efficacia della DCD

La DCD affronta con successo queste limitazioni:

• Scoperta di Multipli Meccanismi: Su dataset di compiti misti, la DCD recupera molteplici circuiti distinti. Ogni circuito si specializza in un sottoinsieme coerente di esempi (ad esempio, un circuito per l'aritmetica, un altro per il legame delle entità) e raggiunge un'alta fedeltà sul suo gruppo specifico fallendo sugli altri.
• Fedeltà e Sparsità Superiori: La DCD supera costantemente i baseline guidati dall'ipotesi (EAP-IG, EAP, E-ACT) e i baseline di partizione casuale (K-RANDOM) in termini di fedeltà best-of-K (selezionando il circuito più fedele per ogni istanza di test). Questo vantaggio è più pronunciato nei regimi a bassa sparsità (dimensioni del circuito $\le$ 0,05).
• Clustering Coerente: I cluster formati dalla DCD si allineano all'organizzazione interna del modello piuttosto che ai confini di compito definiti dagli umani. Ad esempio, all'interno di un singolo compito come l'IOI, la DCD separa gli esempi in base alla complessità (2 persone vs 3 persone) o al dominio (nomi vs lettere), scoprendo circuiti distinti per ciascuno.

Significato e Affermazioni

Il documento afferma che l'attuale approccio guidato dall'ipotesi alla scoperta di circuiti è fondamentalmente limitato dalla sua dipendenza dai confini di compito definiti dagli umani e dall'assunzione di un singolo meccanismo per compito.

• Riformulazione dell'Ambito della Spiegazione: Gli autori sostengono che un "circuito" non dovrebbe essere definito come il meccanismo per un compito definito dall'uomo, ma piuttosto come il meccanismo per un cluster specifico di esempi elaborati in modo simile dal modello.
• Cambiamento di Paradigma Guidato dai Dati: La DCD dimostra che lasciare che la struttura computazionale interna del modello determini l'ambito della scoperta di circuiti produce spiegazioni più fedeli e interpretabili. Rivela che ciò che gli umani percepiscono come un singolo compito comprende spesso molteplici meccanismi distinti che i metodi esistenti confondono.
• Limitazioni e Lavori Futuri: Gli autori notano modestamente che la DCD eredita assunzioni dai metodi di attribuzione sottostanti (ad esempio, che i punteggi di attribuzione riflettano fedelmente i meccanismi) e dipende da iperparametri di clustering. Identificano domande aperte su come assegnare nuovi esempi ai cluster al momento del test e su come interpretare cluster che resistono a descrizioni leggibili dall'uomo, lasciando questi aspetti per lavori futuri.

In conclusione, il documento fornisce prove empiriche che i metodi esistenti di scoperta di circuiti recuperano artefatti specifici del dataset piuttosto che meccanismi di compito generali e propone la DCD come un framework per scoprire la vera natura multi-meccanismo del calcolo dei modelli linguistici.