Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

1. Il Problema

I Large Language Models (LLM) moderni possiedono una straordinaria capacità di rappresentare e ragionare su conoscenze relazionali (es. "La capitale della Cina è Pechino"). Tuttavia, la loro interpretazione meccanica rimane una sfida.

• Limiti degli approcci precedenti: I lavori precedenti hanno spesso modellato queste capacità tramite trasformazioni lineari semplici o aritmetica vettoriale, ma queste spiegazioni sono limitate a livelli singoli (layer-wise) e non offrono una comprensione fine-granulare delle interazioni tra specifiche feature.
• Complessità delle reti: Gli Autoencoder Sparsi (SAE) sono stati introdotti per estrarre feature interpretabili e monosemantiche dalle attivazioni interne degli LLM. Tuttavia, le reti di feature risultanti possono essere enormi e densamente connesse, rendendo difficile tracciare come le feature di diversi livelli si coordinano per produrre una risposta specifica senza un raggruppamento manuale.
• Obiettivo: Identificare componenti di rete coerenti semanticamente e consistenti nel contesto che codificano concetti specifici (es. "Cina") e relazioni (es. "capitale"), e dimostrare che la manipolazione di questi componenti altera causalmente l'output del modello.

2. Metodologia

Gli autori hanno sviluppato un framework per costruire reti di feature inter-layer basate sulla coattivazione di feature sparse, utilizzando il modello Gemma 2 2B (con validazioni su Gemma 2 9B).

Il processo si articola in quattro fasi principali:

1. Raccolta delle Attivazioni: I prompt vengono elaborati attraverso l'LLM integrato con SAE pre-addestrati. Per ogni layer, le attivazioni residue vengono mappate in rappresentazioni sparse ($\phi \in \mathbb{R}^{16384}$).
2. Selezione delle Feature: Vengono selezionate le feature attivate più frequentemente (top-k) per ogni token e layer per garantire la tracciabilità computazionale.
3. Costruzione del Grafo e Pruning:
   • Viene costruito un grafo diretto dove i nodi sono le feature selezionate.
   • Gli archi connettono feature di layer adiacenti se mostrano una forte correlazione temporale nelle loro pattern di attivazione (coefficiente di Pearson > 0.9).
   • Filtraggio: Per ridurre il rumore, il grafo viene "potato" rimuovendo le feature con alta densità di attivazione (frequenti in contesti non correlati), mantenendo solo feature sparse ($d \le 0.01$).
4. Identificazione dei Componenti: Vengono identificati i componenti connessi debolmente (weakly connected components) nel grafo potato. Questi gruppi di feature rappresentano i "moduli semantici".
5. Validazione Causale: Per verificare l'importanza funzionale, gli autori eseguono interventi mirati:
   • Ablazione: Azzerare le attivazioni delle feature di un componente.
   • Amplificazione: Aumentare le attivazioni di un componente target.
   • Si misura lo spostamento nella distribuzione dei token successivi (divergenza KL) e la capacità di generare risposte controfattuali.

3. Contributi Chiave

Il paper introduce un approccio automatizzato per scoprire moduli semantici senza tracciamento completo dei circuiti computazionali:

• Scoperta di Moduli Semantici: Identificazione di componenti di rete coerenti che rappresentano entità concrete (es. nomi di paesi, parole) e relazioni astratte (es. "capitale", "lingua di traduzione").
• Manipolazione Causale: Dimostrazione che l'ablazione e l'amplificazione di questi componenti permettono di guidare (steer) il modello verso risposte controfattuali in modo prevedibile.
• Componibilità: Evidenza che i moduli di concetto e relazione possono essere combinati per generare output composti controfattuali (es. cambiare sia il paese che la relazione in una sola operazione).
• Organizzazione Gerarchica: Analisi della distribuzione dei moduli attraverso i layer del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre task multi-relazionali:

1. Fatti sui Paesi: Capitale, valuta e lingua di 10 paesi.
2. Traduzione di Parole: Traduzione di 11 parole inglesi in spagnolo, francese e tedesco.
3. Trasformazione di Verbi: Sinonimo, antonimo, passato, maiuscole, prima lettera.

Risultati Principali:

• Efficacia dello Steering:
  • L'ablazione/amplificazione di singoli componenti ha guidato il modello verso risposte controfattuali nel 98% dei casi per concetti/relazioni singoli e nel 90% per coppie concetto-relazione composte.
  • Esempio: Ablando il componente "Cina" e amplificando "Nigeria" in un prompt sulla capitale, il modello risponde "Abuja" invece di "Pechino".
• Organizzazione per Layer:
  • Concetti: I componenti per entità concrete (es. "Cina", "amore") emergono prevalentemente nei primi layer della rete.
  • Relazioni: I componenti per relazioni astratte (es. "capitale", "lingua di traduzione") sono concentrati nei layer successivi (più profondi). Questo suggerisce una gerarchia di elaborazione dove le entità sono stabilite prima e le relazioni astratte emergono dopo.
• Specificità e Robustezza:
  • I componenti sono altamente specifici: l'ablazione di un componente per un task (es. fatti sui paesi) non degrada significativamente le prestazioni su altri task (es. traduzione), mantenendo l'accuratezza vicina al 100% nella maggior parte dei casi.
  • L'approccio basato su gruppi di feature (componenti) è superiore alla manipolazione di singole feature, indicando che i concetti sono rappresentati in modo distribuito su popolazioni di feature.
• Limiti: Le relazioni più complesse e meno oggettive (es. sinonimi, antonimi) hanno mostrato tassi di successo inferiori, suggerendo che queste potrebbero essere codificate in modo più diffuso (es. nelle attention heads) o richiedere moduli meno definiti.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nell'interpretabilità meccanica degli LLM:

• Nuova Visione dell'Organizzazione della Conoscenza: Conferma che la conoscenza negli LLM non è solo un blocco monolitico, ma è organizzata in moduli semantici coerenti e componibili, con una chiara separazione gerarchica tra rappresentazione di entità e relazioni.
• Metodologia Efficiente: Offre un framework leggero e automatizzato per analizzare e controllare il comportamento degli LLM, evitando la complessità computazionale del tracciamento completo dei circuiti.
• Sicurezza e Allineamento: La capacità di identificare e manipolare selettivamente moduli specifici apre nuove strade per correggere comportamenti indesiderati, allineare i modelli agli obiettivi umani e garantire che i sistemi siano trasparenti e resilienti a usi impropri.
• Generalizzabilità: Sebbene testato su modelli specifici, il framework basato sulla coattivazione di feature sparse sembra generalizzabile ad altri domini e tipi di conoscenza, offrendo uno strumento potente per la ricerca futura sull'architettura interna delle reti neurali.

In sintesi, il paper dimostra che è possibile "smontare" e "riassemblare" la conoscenza di un LLM agendo su specifici gruppi di feature sparse, rivelando una struttura modulare sottostante che governa il ragionamento relazionale.