Riepilogo Tecnico: I Circuiti dei Modelli di Linguaggio sono Sparsi nella Base dei Neuroni

Problema

La ricerca sull'interpretabilità dei modelli di linguaggio si è ampiamente allontanata dall'analisi dei singoli neuroni, operando sotto la convinzione che i concetti di alto livello siano distribuiti tra i neuroni e che la base dei neuroni sia interpretabile. Di conseguenza, il campo ha adottato tecniche come gli Autoencoder Sparsi (SAE) e i transcoders per decomporre le rappresentazioni in basi di feature sparse e interpretabili. Tuttavia, queste basi apprese introducono errori di approssimazione, soffrono di splitting e assorbimento delle feature (polisemanticità) e richiedono un ulteriore overhead di addestramento. La domanda centrale che questo articolo affronta è se l'originale base dei neuroni sia intrinsecamente interpretabile o se la percepita mancanza di sparsità sia un artefatto di metodi di analisi subottimali.

Metodologia

Gli autori propongono una pipeline di attribuzione basata sul gradiente end-to-end per tracciare i circuiti direttamente sulla base dei neuroni MLP (specificamente sulle attivazioni pre-down projection) piuttosto che sulle feature apprese dagli SAE. La metodologia si basa su due cambiamenti tecnici chiave per colmare il divario di prestazioni tra neuroni e SAE:

1. Selezione della Base Privilegiata: Invece di utilizzare gli output MLP post-down projection (lo standard di riferimento), gli autori utilizzano le attivazioni MLP pre-down projection. Ipotizzano che, poiché l'architettura applica non-linearità elemento per elemento (es. SiLU) prima della down-projection, queste coordinate di attivazione costituiscano una "base privilegiata" dove le feature sono più naturalmente allineate, producendo circuiti significativamente più sparsi.
2. Attribuzione Avanzata (RelP): Il paper sostituisce Integrated Gradients (IG), che è rumoroso sui modelli profondi e computazionalmente costoso (richiede molteplici passaggi di backward pass), con RelP (Relevance Patching). RelP è un metodo di attribuzione basato sul gradiente che opera su un "modello di sostituzione" in cui le non-linearità sono linearizzate (ad esempio, trattando le porte SiLU come costanti). Ciò consente una scoperta di circuiti fedele con un singolo backward pass. Gli autori implementano una "regola dimezzata" (half-rule) per i MLP a gate per garantire che la proprietà di completezza degli score di attribuzione sia preservata.

La pipeline valuta i circuiti utilizzando due metrici standard:

• Fedeltà (Faithfulness): La capacità del complemento del circuito (il resto del modello) di riprodurre il comportamento del modello originale quando il circuito viene ablato.
• Completezza (Completeness): La capacità del circuito stesso di riprodurre il comportamento del modello quando il resto del modello viene ablato.

Gli esperimenti sono stati condotti sul benchmark Subject-Verb Agreement (SVA) (Marks et al., 2025) e su un compito di ragionamento multi-hop città-stato-capitale (Lind Lindsey et al., 2025) utilizzando Llama 3.1-8B-Instruct, con validazione aggiuntiva su modelli Gemma-2.

Risultati Chiave

1. Le Attivazioni MLP sono una Base Sparsa

Gli autori dimostrano che le attivazioni MLP producono circuiti che sono ordini di grandezza più sparsi rispetto a quelli derivati dagli output MLP.

• Sul benchmark SVA, i circuiti costruiti dalle attivazioni MLP sono circa 100 volte più piccoli di quelli degli output MLP, pur ottenendo una fedeltà e una completezza comparabili.
• Questo risultato riduce significativamente il divario tra la base dei neuroni e le rappresentazioni basate su SAE.

2. RelP Supera Integrated Gradients

Il passaggio da IG a RelP migliora ulteriormente la sparsità e la fedeltà.

• Utilizzando RelP sulle attivazioni MLP, gli autori ottengono una fedeltà e una completezza quasi perfette con solo ~200 neuroni sul benchmark SVA.
• RelP colma l'ultimo divario tra i circuiti basati su neuroni e i circuiti basati su SAE, rendendo i neuroni competitivi con i dizionari appresi in termini di sparsità.
• Sul Mechanistic Interpretability Benchmark (MIB), RelP raggiunge prestazioni state-of-the-art (punteggi CMD più bassi) in tre dei cinque compiti, superando gli esistenti baseline basati su IG.

3. Caso di Studio: Ragionamento Multi-Hop

In un caso di studio riguardante il recupero delle capitali degli stati (es. "Qual è la capitale dello stato che contiene Dallas?"), gli autori hanno tracciato i circuiti in Llama 3.1-8B-Instruct.

• Hanno identificato un circuito sparso di ~23 neuroni chiave (da un set tracciato più ampio) che corrispondono a specifici passaggi di ragionamento: mappare una città in uno stato, e mappare uno stato nella sua capitale.
• Questi neuroni si sono raggruppati in cluster con descrizioni interpretabili (es. "Dallas", "Texas", "capitale") che corrispondevano ai risultati di lavori precedenti che utilizzavano Cross-Layer Transcoders (CLT).
• Esperimenti di Steering: Intervenendo sui cluster di neuroni specifici (es. sopprimendo il cluster "Texas"), gli autori sono riusciti a alterare causalmente l'output del modello, confermando che questi specifici neuroni sono causalmente efficaci nella catena di ragionamento.

4. Generalizzabilità

Le scoperte si mantengono costanti attraverso diverse architetture di modelli (Gemma-2 2B e 9B) e diversi setting di dati (counterfactuals accoppiati e dati non accoppiati con zero baselines).

Significato e Rivendicazioni

Il paper sostiene di fornire la prima prova empirica che i neuroni MLP sono una base di feature sparsa quanto gli SAE, sfidando l'assunto prevalente che i neuroni siano ininterpretabili.

• Praticità: La base dei neuroni offre una rappresentazione "privilegiata" e fedele senza gli errori di ricostruzione, lo splitting o l'assorbimento inerenti ai dizionari appresi.
• Efficienza: La pipeline proposta evita il costo computazionale dell'addestramento di SAE o transcoders, richiedendo solo un singolo backward pass per input tramite RelP.
• Riproducibilità: La capacità di riprodurre complessi risultati di circuiti (come quelli di Lindsey et al., 2025) utilizzando solo la nativa base dei neuroni suggerisce che la "materia oscura" dei modelli di linguaggio potrebbe essere più accessibile di quanto precedentemente pensato.

Gli autori concludono che, sebbene l'interpretazione umana di grandi circuiti rimanga una sfida, la base dei neuroni dovrebbe essere esaurita come via primaria per l'interpretabilità prima di ricorrere a dizionari sparsi appresi. Inquadrano questo lavoro come un passo verso la democratizzazione della ricerca sulla sicurezza dell'IA, fornendo strumenti efficienti e scalabili per tracciare i calcoli interni.