Riepilogo Tecnico: Gli LLM possono annotare i grafi di attribuzione

Definizione del Problema

L'interpretabilità meccanicistica ha fatto avanzare le tecniche per rivelare i grafi di computazione interni dei modelli linguistici, noti come circuit tracing. Queste tecniche producono grafi di attribuzione dove i nodi rappresentano singoli componenti del modello, come neuroni MLP o feature di Autoencoder Sparsi (SAE). Sebbene questi nodi possano essere interpretati tramite i loro esempi testuali con la massima attivazione, il processo richiede attualmente un passaggio manuale laborioso: raggruppare le singole feature in "supernodi" (insiemi di neuroni o feature corrispondenti a concetti simili). Annotare completamente un singolo grafo di attribuzione richiede da una a due ore di lavoro per un ricercatore, creando un collo di bottiglia per la scalabilità della ricerca sull'interpretabilità. I tentativi automatizzati esistenti per affrontare questo problema, come il clustering dei profili di attribuzione o l'uso di prompt di probing, non hanno ancora fornito una soluzione generale e a basso costo per l'esplorazione aperta.

Metodologia

Gli autori presentano una pipeline semplice e automatizzata che utilizza un Large Language Model (LLM) per sostituire gli annotatori umani nel passaggio di raggruppamento dei supernodi. La pipeline opera in tre fasi:

1. Generazione della Descrizione della Feature: Per ogni feature in un grafo di attribuzione potato, il sistema genera una descrizione in linguaggio naturale. Questo segue il protocollo standard "autointerp": un LLM riceve gli esempi testuali con la massima attivazione della feature (da Neuronpedia) e le informazioni sui logit riguardanti i token che la feature promuove o sopprime. L'LLM restituisce un'etichetta concisa e una breve descrizione (ad es., "say capital" o "Texas (state)").
2. Raggruppamento dei Supernodi: La pipeline utilizza un secondo LLM (specificamente GPT-5 mini) per raggruppare queste descrizioni in supernodi attraverso un processo a tre stadi:
   • Discovery (Scoperta): L'LLM riceve le 50 feature con la maggiore influenza e gli viene chiesto di identificare e nominare gruppi semantici significativi.
   • Iterative Assignment (Assegnazione Iterativa): Le restanti feature vengono elaborate in batch di 50. L'LLM assegna ciascuna a un gruppo esistente, ne crea uno nuovo (se il concetto è distinto e rilevante) o la lascia non raggruppata.
   • Refinement (Raffinamento): Un passaggio finale rimuove i gruppi irrilevanti, fonde quelli equivalenti e riassegna le feature posizionate erroneamente sulla base di euristiche rigorose (ad es., separando le feature di promozione "say X" dalle feature del concetto "X stesso", ed evitando token grammaticali).
3. Costo e Scala: La pipeline è a basso costo, variando da circa 3–6 centesimi per grafo per grafi pesantemente potati (80 nodi) a 61 centesimi per grafi più densi (585 nodi).

Contributi Chiave

1. Pipeline Automatizzata: Un metodo semplice e a basso costo per annotare i grafi di attribuzione utilizzando un LLM, eliminando la necessità del raggruppamento manuale dei supernodi.
2. Validazione dell'Interpretabilità: Dimostrazione che i supernodi generati da questa pipeline sono tanto interpretabili quanto quelli creati da esperti umani, secondo metriche automatizzate.
3. Alto Recupero su Task a 2-Hop: Applicazione al ben noto task "Capitals a due hop", dove la pipeline recupera con successo il supernodo del salto intermedio (ad es., identificando "Texas" nella query "The capital of the state containing Dallas is") in 97 casi su 100.
4. Prova di Concetto per l'Esplorazione Aperta: Una dimostrazione della scalabilità della pipeline per annotare 1.000 completamenti di prompt di Wikipedia, utilizzando un LLM judge per filtrare i grafi che mostrano comportamenti interni interessanti o sorprendenti (ad es., pianificazione nascosta o ipotesi parallele concorrenti).

Risultati

Il paper valuta la pipeline rispetto a baseline annotate da umani e raggruppamenti casuali utilizzando due metriche di interpretabilità automatizzate:

• Feature Detection Score: Un LLM può identificare quale feature appartiene a uno specifico supernodo data la descrizione del supernodo?
• Text Detection Score: Un LLM può identificare quali campioni testuali attivano un supernodo data la descrizione del supernodo?

Risultati Quantitativi:

• Su 15 grafi di riferimento, la pipeline automatizzata (utilizzando l'intero set di feature) ha raggiunto un Feature Detection score del 93,4% e un Text Detection score dell'83,2%, superando leggermente la baseline annotata da umani (rispettivamente 66,6% e 81,8%).
• Le prestazioni della pipeline sono robuste attraverso diverse dimensioni dei gruppi e passaggi di raffinamento.
• Nel task Capitals, la pipeline ha recuperato il supernodo del salto intermedio in 97/100 casi. L'intervento causale (constrained patching) ha confermato che sopprimere questi supernodi riduceva la probabilità della risposta corretta, mentre amplificarli l'aumentava.
• Generalizzazione: Quando applicata a neuroni MLP grezzi (anziché a feature di transcoder), la pipeline ha raggruppato meno feature (21,6% rispetto al 60,2% per i transcoder), suggerendo che i neuroni MLP sono meno chiaramente separabili in concetti, ma la pipeline ha comunque funzionato.

Risultati Qualitativi:

• La pipeline ha identificato con successo strutture complesse, come ipotesi parallele concorrenti (ad es., molteplici categorie degli Academy Award attive simultaneamente) e concetti intermedi nascosti (ad es., feature legate ai fiumi che si attivano in un prompt riguardante un'autostrada, rivelando una pianificazione interna).
• Limitazioni: Nei task aritmetici, la pipeline ha prodotto supernodi troppo grossolani (ad es., "DIGIT TOKENS" o "NUMERIC CONTEXT") per rivelare meccanismi noti più fini come la stima della grandezza rispetto alla ricerca esatta. Ciò suggerisce che, sebbene il raggruppamento sia internamente coerente, potrebbe non sempre catturare la struttura meccanicistica profonda senza ulteriore raffinamento.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro dimostra che una semplice automazione può produrre annotazioni significative per i grafi di attribuzione, eliminando efficacemente un importante collo di bottiglia lavorativo nell'interpretabilità meccanicistica.

Il paper sostiene che questa automazione consente:

• Scalabilità: Passare dall'annotazione di un singolo grafo all'esplorazione di migliaia, facilitando la ricerca non supervisionata di comportamenti interessanti del modello.
• Generazione di Ipotesi: Servire come strumento per far emergere potenziali circuiti (come la pianificazione o il ragionamento multi-hop) per ulteriori indagini umane.
• Accessibilità: Abbassare il costo e il tempo richiesti per interpretare gli interni del modello, accelerando potenzialmente l'intero campo dell'interpretabilità.

Gli autori rimangono modesti, riconoscendo che la loro attuale pipeline è semplificata (ignorando l'informazione spaziale, il flusso di attribuzione e le strategie di ricerca a ritroso, ovvero backward search) e che l'interpretazione umana spesso si basa su più contesto di quanto la pipeline utilizzi attualmente. Tuttavia, pongono che il "frutto più facile da cogliere" (low-hanging fruit) dell'automazione del passaggio di annotazione è sufficientemente significativo da motivare ulteriori ricerche sul circuit tracing automatizzato.