Circuit Insights: Towards Interpretability Beyond Activations

Il paper propone WeightLens e CircuitLens, due metodi complementari che superano l'analisi basata sulle attivazioni per interpretare direttamente i pesi e catturare le dinamiche circuitali, migliorando così la robustezza e la scalabilità dell'interpretabilità meccanica.

L'essenziale

Immagina che un'intelligenza artificiale (come un grande modello linguistico) sia una città futuristica e gigantesca, piena di milioni di piccoli lavoratori (i neuroni) che collaborano per scrivere storie, rispondere a domande o creare codice.

Per molto tempo, gli scienziati hanno cercato di capire come funziona questa città guardando solo chi sta lavorando in un dato momento. Se un lavoratore alza la mano, gli scienziati dicevano: "Ah, questo sta pensando a 'cane'!". Ma spesso questo metodo era confuso: il lavoratore alzava la mano per mille motivi diversi, e guardare solo il suo movimento non spiegava perché lo faceva o con chi collaborava.

In questo nuovo studio, presentato alla conferenza ICLR 2026, gli autori (un team di ricercatori europei) hanno inventato due nuovi strumenti magici, chiamati WeightLens e CircuitLens, per vedere la città in modo completamente diverso. Non guardano più solo chi si muove, ma guardano le strutture fisse e le connessioni della città.

Ecco come funzionano, spiegati con analogie semplici:

1. WeightLens: La "Mappa delle Strade Fisse"

Immagina che ogni lavoratore nella città abbia una mappa personale appesa al muro. Questa mappa non cambia mai, indipendentemente da chi entra nella stanza. Mostra quali altri lavoratori sono collegati al suo ufficio tramite cavi fissi.

• Il vecchio metodo: Guardava il lavoratore mentre parlava con qualcuno e cercava di indovinare il tema della conversazione.
• WeightLens: Guarda direttamente la mappa dei cavi fissi. Se il lavoratore A è collegato direttamente al lavoratore B con un cavo spesso e rosso, WeightLens sa che lavorano insieme, anche se non li sta guardando mentre parlano.
• Il vantaggio: Non ha bisogno di un grande libro di esempi (dataset) o di un altro computer super-intelligente per interpretare cosa stanno facendo. Basta guardare la struttura fisica. È come capire cosa fa un elettrodomestico guardando il suo schema elettrico, senza doverlo accendere.

2. CircuitLens: Il "Detective delle Catene di Eventi"

A volte, però, la mappa dei cavi non basta. A volte un lavoratore si attiva solo se sente una frase specifica detta da un altro, o se un certo tipo di rumore arriva da una finestra. Qui entra in gioco CircuitLens.

• Il vecchio metodo: Prendeva mille esempi di quando il lavoratore si attivava e chiedeva a un esperto: "Cosa hanno in comune tutte queste situazioni?". Spesso l'esperto si confondeva perché le situazioni erano troppo diverse.
• CircuitLens: Funziona come un detective che ricostruisce la scena del crimine.
  1. Isola i colpevoli: Guarda indietro e dice: "Chi ha dato il segnale che ha fatto alzare la mano a questo lavoratore?". Non guarda tutto il rumore di fondo, ma solo i cavi specifici che hanno portato l'energia.
  2. Guarda le conseguenze: Poi guarda avanti e dice: "Una volta alzata la mano, cosa ha fatto il lavoratore? Ha cambiato il testo che stava scrivendo?".
  3. Raggruppa i casi: Se il lavoratore si attiva in 100 situazioni diverse, CircuitLens le raggruppa in "famiglie" (cluster) basandosi su come è arrivato il segnale, non solo su cosa c'era scritto.

Perché è una rivoluzione?

Fino ad oggi, per capire l'IA, dovevamo:

1. Farle leggere milioni di libri (dataset enormi).
2. Chiedere a un'altra IA super-potente di spiegare cosa stava succedendo (spesso creando confusione).

Con WeightLens e CircuitLens, gli scienziati dicono: "Basta!".

• Possono capire l'IA guardando solo i suoi cavi interni (i pesi), senza bisogno di libri di esempi.
• Possono vedere le catene di causa-effetto (i circuiti) che collegano un pensiero all'altro, rendendo le spiegazioni più chiare e meno soggette a errori.

In sintesi

Immagina di dover spiegare come funziona un orologio.

• Il metodo vecchio era: "Ho guardato l'orologio per 1000 ore mentre segnava le ore, e ho chiesto a un amico di dirmi cosa fa".
• Il metodo nuovo (WeightLens + CircuitLens) è: "Ho smontato l'orologio, ho guardato le ruote dentate fisse (WeightLens) e ho tracciato il percorso preciso che l'energia fa per farle girare (CircuitLens)".

Questo rende l'Intelligenza Artificiale meno una "scatola nera" misteriosa e più una macchina trasparente, che possiamo capire, controllare e rendere più sicura, proprio come un orologio che conosciamo a fondo.

Sommario tecnico

1. Il Problema

L'interpretabilità meccanica e l'IA spiegabile (XAI) mirano a svelare la struttura interna delle reti neurali, in particolare dei Large Language Models (LLM). Sebbene i metodi esistenti si concentrino sulla scoperta di "circuiti" (sottografi responsabili di compiti specifici), affrontano diverse limitazioni critiche:

• Dipendenza da compiti banali: Molti studi sono limitati a compiti "toy" e richiedono un'analisi manuale estensiva.
• Limiti dell'interpretabilità automatizzata basata sulle attivazioni: I metodi attuali analizzano i pattern di attivazione dei neuroni o delle feature sparse (ottenute tramite Sparse Autoencoders - SAE) utilizzando un LLM esterno ("explainer") per generare descrizioni in linguaggio naturale. Questo approccio soffre di:
  • Polysemanticità: Le feature possono attivarsi su pattern specifici e complessi non catturabili solo dalle attivazioni.
  • Dipendenza da dataset e prompt: La qualità delle spiegazioni varia in base al dataset, al prompt e alla qualità del modello LLM usato come giudice, spostando il problema della "scatola nera" su un altro modello.
  • Mancanza di robustezza: Le spiegazioni possono essere inaffidabili o non fedeli alla realtà del modello.

2. Metodologia

Gli autori propongono un approccio che va oltre l'analisi delle sole attivazioni, sfruttando le informazioni strutturali dei Transcoder (una variante degli SAE che approssima strati MLP e separa le attribuzioni in componenti dipendenti dall'input e invarianti). Si basano su due metodi complementari:

A. WeightLens (Interpretabilità Automatizzata Invariante all'Input)

WeightLens interpreta le feature direttamente dai loro pesi appresi, eliminando la necessità di dataset di input o modelli LLM esterni per la generazione iniziale.

• Fondamento teorico: Sfrutta la separazione nei transcoder tra la componente di attivazione (dipendente dall'input) e la componente di connettività (invariante all'input, basata sui pesi encoder/decoder).
• Assunzioni:
  1. Le connessioni invarianti all'input indicano relazioni strutturali significative solo se sono outlier statistici (magnitudine molto superiore ad altre).
  2. Se un token è supportato da connessioni invarianti, la feature dovrebbe attivarsi su di esso anche in isolamento.
• Procedura:
  1. Proiezione: Proietta i vettori encoder/decoder della feature nello spazio delle embedding e nei logit del vocabolario per identificare token candidati (outlier).
  2. Analisi dei pesi: Identifica le feature contribuenti dai layer precedenti tramite i pesi.
  3. Validazione: Esegue un passaggio in avanti (forward pass) per verificare se i token candidati attivano effettivamente la feature in isolamento.
  4. Generazione: Combina i token validati (input) e quelli promossi (output) per creare una descrizione, utilizzando la lemmatizzazione invece di un LLM per la pulizia.

B. CircuitLens (Interpretabilità Automatizzata Basata sui Circuiti)

CircuitLens analizza le attivazioni considerando il contesto e le interazioni tra componenti (circuiti), affrontando la polysemanticità e la dipendenza dal contesto.

• Campionamento: Invece di selezionare solo i campioni con le attivazioni massime, campiona l'intera distribuzione delle attivazioni (inclusi i casi rari ma forti) usando il quantile sampling inverso.
• Rilevamento di Pattern:
  • Focus Input: Usa l'attribuzione (tramite le teste di attenzione) per isolare quali token hanno contribuito all'attivazione, mascherando il resto dell'input.
  • Focus Output: Analizza quali token di output sono stati influenzati dalla feature (tramite attribuzione sui logit).
• Clustering Basato sui Circuiti: Raggruppa gli input in cluster basandosi sui contribuenti del circuito (feature e teste di attenzione) piuttosto che solo sulle embeddings semantiche. Questo riduce il rumore e isola concetti monosemantici.
• Generazione: Fornisce al modello LLM solo i pattern isolati (input e output rilevanti) per generare descrizioni più precise, riducendo il carico cognitivo del modello.

3. Contributi Chiave

1. Framework WeightLens: Un metodo per interpretare le feature basandosi esclusivamente sui pesi, senza dipendere da dataset o LLM esterni. Funziona bene per feature indipendenti dal contesto, coprendo fino al 58,8% dei casi (su GPT-2).
2. Framework CircuitLens: Un metodo che estende l'interpretabilità alle feature dipendenti dal contesto isolando i pattern di attivazione e le influenze sull'output tramite clustering circuitale.
3. Integrazione Strutturale: Dimostrazione che l'uso delle informazioni strutturali (pesi e circuiti) migliora la robustezza, la scalabilità e la qualità delle spiegazioni rispetto ai metodi puramente basati sulle attivazioni.
4. Riduzione della Dipendenza: I metodi proposti riducono la necessità di dataset massicci e di modelli LLM esterni per la generazione di spiegazioni, mitigando i rischi di inaffidabilità.

4. Risultati

Gli esperimenti sono stati condotti su modelli come GPT-2 Small, Gemma-2-2B e Llama-3.2-1B, utilizzando il framework di valutazione FADE (Clarity, Responsiveness, Purity, Faithfulness).

• Performance di WeightLens:
  • Le descrizioni generate da WeightLens raggiungono o superano le baseline (Neuronpedia, MaxAct*) in termini di Chiarezza (Clarity) e Risposta (Responsiveness) per le feature basate su token.
  • Non richiede dataset di addestramento o LLM esterni, mantenendo costi computazionali bassi.
  • Tuttavia, ha difficoltà con le feature fortemente dipendenti dal contesto (specialmente nei layer intermedi), dove la purezza (Purity) è inferiore rispetto ai metodi basati sulle attivazioni.
• Performance di CircuitLens:
  • Il clustering basato sui circuiti permette di scoprire pattern che i metodi basati sulle sole attivazioni non vedono (es. feature che attivano su entità menzionate o riferimenti definiti).
  • L'analisi combinata (pesi + circuiti) riduce la sensibilità alla dimensione del dataset. Le descrizioni generate su dataset piccoli (24M token) sono competitive con quelle su dataset grandi (2.3B token).
  • Migliora significativamente la Chiarezza riducendo le descrizioni vaghe tipiche delle feature poli-semantiche.
• Limitazioni Osservate:
  • Il punteggio di Fedeltà (Faithfulness) rimane basso in tutti i metodi, probabilmente a causa della ridondanza del modello e dell'architettura dei transcoder (che scrivono nel residual stream come gli MLP, rendendo difficile l'isolamento di una singola feature).
  • WeightLens non è direttamente applicabile agli SAE standard e fatica con le feature dipendenti dal contesto.

5. Significato e Impatto

Questo lavoro segna un passo avanti verso un'interpretabilità meccanica più scalabile e robusta.

• Spostamento del paradigma: Sposta il focus dall'analisi passiva delle attivazioni all'analisi attiva della struttura del modello (pesi e circuiti).
• Scalabilità: Offre strumenti per analizzare milioni di feature senza la dipendenza critica da dataset enormi o modelli LLM esterni per la generazione di spiegazioni, rendendo l'interpretabilità più pratica per applicazioni reali.
• Robustezza: Dimostra che combinare informazioni strutturali (pesi) con analisi circuitale permette di superare i limiti della polysemanticità e della dipendenza dal contesto, fornendo una visione più completa del comportamento del modello.

In sintesi, gli autori propongono che per comprendere davvero i LLM, non basta guardare quando una feature si attiva, ma bisogna analizzare come è strutturata la sua connessione all'interno della rete e quali pattern specifici del circuito la attivano.