Constructing Interpretable Features from Compositional Neuron Groups

Riepilogo Tecnico: Costruzione di Caratteristiche Interpretabili da Gruppi di Neuroni Compositi

Enunciazione del Problema
Una sfida centrale nell'interpretabilità meccanica è identificare le unità di analisi appropriate all'interno dei Modelli Linguistici su Larga Scala (LLM) che spieghino causalmente gli output del modello. Sebbene la ricerca iniziale si fosse concentrata sui singoli neuroni, le evidenze suggeriscono che i neuroni spesso codificano molteplici concetti (polisemanticità), motivando un passaggio verso l'analisi delle direzioni nello spazio di attivazione. Gli approcci non supervisionati attuali si basano su Autoencoder Sparsi (SAE) addestrati sulle attivazioni del flusso residuo per apprendere direzioni di caratteristiche da zero. Tuttavia, gli SAE affrontano limitazioni significative: spesso faticano nelle valutazioni causali (steering), mancano di interpretabilità intrinseca poiché le loro caratteristiche apprese non sono esplicitamente legate ai calcoli interni del modello e le loro caratteristiche non sono vincolate allo spazio di rappresentazione del modello. Esiste la necessità di un metodo che scopra caratteristiche interpretabili in modo non supervisionato, mantenendo al contempo un legame causale diretto con i meccanismi del modello.

Metodologia
Gli autori propongono di decomporre direttamente le attivazioni del Perceptron Multistrato (MLP) utilizzando la Fattorizzazione di Matrice Semi-Non Negativa (SNMF). A differenza degli SAE, che apprendono nuove direzioni, questo metodo rappresenta le caratteristiche come combinazioni lineari sparse di neuroni co-attivati esistenti all'interno dell'MLP.

1. Formulazione: Data una matrice $A \in \mathbb{R}^{d_a \times n}$ delle attivazioni MLP (dove $d_a$ è la dimensione interna e $n$ è il numero di token), il metodo fattorizza $A$ in due matrici:

   • $Z \in \mathbb{R}^{d_a \times k}$: Una matrice di $k$ caratteristiche MLP, dove ogni colonna definisce una combinazione lineare sparsa di neuroni.
   • $Y \in \mathbb{R}^{k \times n}_{\geq 0}$: Una matrice di coefficienti non negativa che mappa gli input alle caratteristiche.
     La decomposizione segue $A \approx ZY$.

2. Meccanismo di Interpretabilità:

   • Sparsità: Le colonne di $Z$ sono vincolate a essere sparse utilizzando un operatore "winner-take-all" rigido, assicurando che ogni caratteristica attivi solo un piccolo sottoinsieme di neuroni.
   • Fondamento Causale: La matrice non negativa $Y$ codifica esplicitamente quali token hanno contribuito alla creazione di una caratteristica, permettendo l'assegnazione diretta di etichette concettuali testuali basate su contesti ad alta attivazione.
   • Mappatura al Flusso Residuo: Ogni vettore di caratteristica $z_i$ nello spazio di attivazione è mappato al flusso residuo tramite i pesi di output dell'MLP ($W_V$), definendo una caratteristica del flusso residuo $f_i = W_V z_i$. Questo garantisce che le caratteristiche siano radicate nei percorsi computazionali effettivi del modello.

3. Ottimizzazione: Il metodo utilizza aggiornamenti moltiplicativi (Ding et al., 2010) per minimizzare la norma di Frobenius tra $A$ e $ZY$, con la sparsità imposta su $Z$.

Contributi Chiave

• SNMF per la Decomposizione MLP: Il documento introduce un metodo non supervisionato per decomporre le attivazioni MLP in caratteristiche interpretabili definite da gruppi di neuroni co-attivati, piuttosto che apprendere direzioni arbitrarie da zero.
• Superiorità nello Steering Causale: Gli autori dimostrano che le caratteristiche derivate da SNMF superano gli SAE all'avanguardia (GemmaScope, Llamascope) e una forte linea di base supervisionata (Difference-in-Means) nelle attività di steering causale, mentre performano in modo comparabile nel rilevamento dei concetti.
• Rivelazione della Composizione Gerarchica: Attraverso la SNMF ricorsiva, gli autori mostrano che le caratteristiche MLP sono composizionali. Concetti fini (ad esempio, specifici giorni della settimana) sono formati combinando neuroni "core" condivisi con neuroni esclusivi. Questo rivela una struttura gerarchica in cui concetti più ampi (ad esempio, "giorno della settimana") sono composti da sotto-concetti più specifici, invertendo efficacemente il fenomeno della "divisione delle caratteristiche" spesso osservato negli SAE.
• Riuso dei Neuroni: L'analisi conferma che le caratteristiche semanticamente correlate condividono un insieme centrale di neuroni, con neuroni esclusivi che controllano la promozione o la soppressione di specifici sotto-concetti.

Risultati
Gli esperimenti sono stati condotti su Llama 3.1-8B, Gemma 2-2B e GPT-2 Small.

• Rilevamento dei Concetti: Le caratteristiche SNMF hanno ottenuto punteggi di rilevamento positivi per la maggior parte delle caratteristiche (>75%), indicando che si attivano per input correlati al concetto e rimangono inattive per input neutri. Le prestazioni sono state comparabili o superiori a quelle degli SAE addestrati sugli output MLP.
• Steering dei Concetti: Nelle valutazioni di steering causale (misurando la capacità di orientare la generazione del modello verso un concetto preservando la fluidità), SNMF ha costantemente superato gli SAE in tutti i livelli. Ha anche frequentemente eguagliato o superato le prestazioni della linea di base supervisionata Difference-in-Means.
• Analisi Gerarchica: L'applicazione ricorsiva di SNMF ha fuso con successo caratteristiche fini (ad esempio, "Lunedì", "Martedì") in concetti di livello superiore (ad esempio, "Giorno della settimana", "Fine settimana"). Le interventi causali hanno confermato che l'amplificazione dei neuroni "core" promuoveva tutti i token correlati, mentre l'amplificazione dei neuroni "esclusivi" promuoveva token specifici e ne sopprimeva altri.

Significato e Affermazioni
Il documento afferma che SNMF fornisce uno strumento semplice ed efficace per identificare caratteristiche interpretabili negli LLM. Decomponendo direttamente le attivazioni MLP, il metodo lega le caratteristiche ai componenti specifici del modello responsabili della loro formazione. I risultati suggeriscono che l'MLP opera tramite aggiornamenti additivi composti da insiemi di neuroni interpretabili. Questo lavoro posiziona SNMF come un'alternativa valida agli SAE, offrendo migliori prestazioni causali e interpretabilità intrinseca senza richiedere supervisione. Inoltre, la scoperta della composizione gerarchica dei neuroni fornisce una nuova lente per comprendere come gli LLM costruiscono concetti complessi da blocchi neurali riutilizzabili, estendendo il ruolo funzionale dei neuroni oltre la codifica di singoli concetti.

Gli autori riconoscono le limitazioni, inclusa l'attuale focalizzazione su conteggi di caratteristiche $k < 500$ e la dipendenza dagli LLM come giudici per la valutazione, sebbene riportino un forte accordo con i giudizi umani. Suggeriscono che un lavoro futuro potrebbe esplorare il passaggio a valori di $k$ più grandi e l'utilizzo della discesa del gradiente proiettata per l'ottimizzazione.