Riepilogo Tecnico: Decomposizione dello Spazio di Rappresentazione in Sottospazi Interpretabili con Apprendimento Non Supervisionato

Enunciato del Problema

L'interpretabilità meccanicistica mira a scoprire gli algoritmi e i circuiti interni delle reti neurali. Sebbene siano stati compiuti progressi significativi nell'identificazione di componenti (testine di attenzione, MLP), feature sparse (tramite Auto-Encoder Sparsi) e sottospazi specifici, i metodi esistenti presentano limitazioni. L'analisi basata sui componenti richiede spesso dati controfattuali specializzati per l'intervento causale. Le feature sparse offrono interpretabilità ma generano circuiti dipendenti dall'input che modificano il calcolo del modello. Gli approcci attuali basati sui sottospazi si affidano tipicamente all'apprendimento supervisionato guidato da modelli causali astratti specificati dall'uomo, richiedendo ai ricercatori di anticipare specifici meccanismi in anticipo.

La domanda fondamentale affrontata da questo articolo è se sia possibile trovare sottospazi "naturali" e interpretabili all'interno dello spazio di rappresentazione dei modelli neurali in modo puramente non supervisionato, senza accesso a feature di verità fondamentale o ipotesi definite dall'uomo.

Metodologia: Minimizzazione della Distanza tra Vicini (NDM)

Gli autori propongono la Minimizzazione della Distanza tra Vicini (NDM), un metodo non supervisionato per partizionare lo spazio di rappresentazione in sottospazi ortogonali non allineati alle basi.

Intuizione Fondamentale

Il metodo si basa sull'ipotesi che le rappresentazioni neurali esibiscano mutua esclusività all'interno di gruppi di feature. Se un insieme di feature è mutuamente esclusivo (solo una o nessuna è attiva alla volta), possono essere sovrapposte all'interno di un sottospazio dedicato. Al contrario, le feature di gruppi diversi (che possono co-occorrere) dovrebbero essere rappresentate ortogonalmente per evitare interferenze.

• Interpretazione Geometrica: In uno spazio correttamente partizionato, i punti dati proiettati su un sottospazio specifico giaceranno su poche linee concentrate (che rappresentano le feature attive di quel gruppo). Di conseguenza, ogni punto avrà un vicino molto vicino all'interno di quel sottospazio.
• Obiettivo di Ottimizzazione: NDM cerca una matrice ortogonale $R$ e una configurazione di dimensioni $c$ che minimizzino la distanza tra ogni attivazione e il suo vicino più prossimo all'interno di ciascun sottospazio risultante.

Algoritmo

1. Trasformazione: Una matrice ortogonale $R$ ruota e riflette le attivazioni del modello $h$. Lo spazio trasformato viene partizionato in sottospazi basati su una configurazione di dimensioni $c = [d_1, \dots, d_S]$.
2. Funzione di Perdita: L'obiettivo minimizza la distanza media verso il vicino più prossimo all'interno di ciascun sottospazio $s$:
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   dove $\hat{h}_{n^*}^{(s)}$ è il vicino più prossimo di $\hat{h}_n^{(s)}$ nel sottospazio $s$.
3. Configurazione delle Dimensioni: Poiché il numero di sottospazi e le loro dimensioni sono sconosciuti, il metodo inizia con sottospazi piccoli e di dimensioni uguali. Durante l'addestramento, stima periodicamente l'Informazione Mutua (MI) tra i sottospazi utilizzando un stimatore KSG. Se la MI tra due sottospazi supera una soglia, essi vengono uniti. Questo processo continua finché nessuna coppia supera la soglia, trovando efficacemente una partizione in cui i sottospazi sono il più indipendenti possibile.

Contributi Chiave e Risultati

1. Validazione su Modello Giocattolo

In un ambiente controllato di tipo "toy" dove i gruppi di feature di verità fondamentale sono noti, NDM recupera con successo i sottospazi ortogonali dedicati a ciascun gruppo di feature. Il metodo minimizza la distanza verso i vicini più prossimi, portando a una partizione in cui ogni sottospazio codifica un solo gruppo di feature, validando il legame teorico tra mutualità esclusiva, sovrapposizione e ortogonalità dei sottospazi.

2. Valutazione Quantitativa su GPT-2 Small

Gli autori hanno valutato NDM su GPT-2 Small utilizzando il patching di attivazione dei sottospazi su circuiti noti (Identificazione dell'Oggetto Indiretto e circuiti "Maggiore di").

• Metrica: Hanno misurato la concentrazione degli effetti del patching utilizzando il coefficiente di Gini. Un alto coefficiente di Gini indica che una specifica informazione (ad esempio, il token precedente) è concentrata in un singolo sottospazio.
• Prestazioni: NDM ha superato significativamente le linee di base (Identità, Random, PCA e clustering delle feature SAE). NDM ha raggiunto un coefficiente di Gini medio di 0,71, ben al di sopra della soglia di 0,6 per una concentrazione soddisfacente, mentre le linee di base variavano da 0,21 a 0,38.
• Evidenza: I risultati dimostrano che NDM trova sottospazi allineati con "variabili" di alto livello in circuiti noti, come il token precedente o la posizione del soggetto, indipendentemente dai valori specifici assunti da tali variabili.

3. Analisi Qualitativa tramite InversionView

Utilizzando InversionView, gli autori hanno analizzato le preimmagini (input che mappano su attivazioni simili) dei sottospazi scoperti.

• Interpretabilità: È stato riscontrato che i sottospazi codificano aspetti distinti e interpretabili del contesto, come il token corrente, il token precedente, la posizione del token e l'argomento generale.
• Coerenza: La funzione di un sottospazio è stata coerente attraverso diversi input (ad esempio, un sottospazio specifico ha codificato coerentemente il token corrente), suggerendo che questi sottospazi agiscono come "variabili" stabili per il modello.

4. Scalabilità verso Modelli Più Grandi

Il metodo è stato applicato a Qwen2.5-1.5B e Gemma-2-2B per investigare scenari di conflitto di conoscenza (conoscenza parametrica vs conoscenza contestuale).

• Risultati: NDM ha identificato sottospazi separati che mediano il routing della conoscenza parametrica e il routing della conoscenza contestuale. Gli esperimenti di patching hanno mostrato che sottospazi specifici hanno avuto effetti forti sotto input controfattuali progettati per rompere un meccanismo lasciando l'altro intatto.
• Significato: Ciò suggerisce che anche in modelli più grandi senza circuiti di verità fondamentale noti, NDM può scoprire strutture funzionali significative e separabili.

Significato e Affermazioni

L'articolo afferma che NDM offre una nuova prospettiva sulla comprensione degli interni del modello decomponendo lo spazio di rappresentazione in sottospazi interpretabili e indipendenti dall'input senza supervisione.

• Nuove Unità di Base: Gli autori propongono che questi sottospazi possano servire come unità fondamentali per i circuiti di sottospazio. A differenza dei circuiti di feature che sono dipendenti dall'input, i circuiti di sottospazio operano su "variabili" (gruppi di feature) e possono essere costruiti analizzando i pesi del modello (ad esempio, da quali sottospazi una testina di attenzione legge e a quali scrive).
• Scoperta Non Supervisionata: Il metodo dimostra che partizioni "naturali" esistono nei modelli del mondo reale, guidate dalla struttura statistica dei dati (mutua esclusività) piuttosto che da ipotesi umane.
• Limitazioni: Gli autori riconoscono che le partizioni attuali potrebbero non essere abbastanza fini (ad esempio, mancano sottospazi minuscoli per variabili con piccoli insiemi di valori) e che alcuni sottospazi rimangono difficili da interpretare. Notano che il metodo si basa sull'Ipotesi di Rappresentazione Lineare e che l'ottimizzazione può talvolta rimanere bloccata in minimi locali.

In conclusione, l'articolo sostiene che la decomposizione non supervisionata tramite minimizzazione della distanza tra vicini è un percorso praticabile verso la scoperta delle "variabili" e dei circuiti che governano il comportamento dei modelli neurali, fornendo un framework scalabile e interpretabile per l'analisi meccanicistica.