💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

Questo articolo introduce la Feature-Effect Geometry Analysis (FEGA) per dimostrare che, sebbene le feature degli autoencoder sparsi possano essere causalmente rilevanti, esse raramente funzionano come direzioni di steering stabili, esibendo invece distinti pattern geometrici in cui le feature "di tipo valore" producono effetti strutturati e le feature "di tipo puntatore" generano cambiamenti diffusi e dipendenti dal contesto.

Autori originali: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Pubblicato 2026-07-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di comprendere una gigantesca, magica biblioteca dove i libri si scrivono da soli. Questa biblioteca è un "Large Language Model" (Modello di Linguaggio di Grandi Dimensioni), un tipo di intelligenza artificiale che ha letto quasi tutto ciò che esiste su internet e ha imparato a prevedere la parola successiva in una frase. All'interno di questa biblioteca ci sono milioni di minuscoli interruttori invisibili chiamati "neuroni" che si illuminano quando il modello pensa a qualcosa. Per molto tempo, gli scienziati hanno cercato di capire il modello semplicemente osservando quali interruttori si illuminavano. Pensavano: "Se un interruttore si illumina quando il modello parla di 'Parigi', allora quell'interruttore deve essere l'interruttore di 'Parigi'".

Ma ecco la parte complicata: il fatto che un interruttore si illumini non significa necessariamente che stia effettivamente facendo il lavoro. Potrebbe anche stare solo guardando. Per sapere davvero cosa fa un interruttore, devi entrare, spegnerlo e vedere se la storia cambia. Questo si chiama "intervento". Recentemente, gli scienziati hanno costruito uno strumento speciale chiamato "Sparse Autoencoder" (o SAE) per aiutarli a trovare questi interruttori. Pensa a un SAE come a un archivio super organizzato che smista gli interruttori disordinati e luminosi in cartelle ordinate e con etichetta. La speranza era che, se trovassimo una cartella etichettata "Parigi", potremmo semplicemente accendere o spegnere quella cartella per far parlare il modello di Parigi o fargli smettere di parlare di Parigi. Questa idea è chiamata "steering" (guida o orientamento).

Tuttavia, c'era un dubbio persistente. A volte, quando gli scienziati accendevano una cartella "Parigi", il modello non parlava affatto di Parigi. A volte parlava della Francia, a volte si confondeva, e a volte faceva esattamente l'opposto di quanto previsto. Era come avere un telecomando dove il tasto "Volume Su" a volte spegne la TV o cambia il canale. La grande domanda era: perché succede questo? Il telecomando è rotto, o la nostra comprensione di come funzionano i tasti è sbagliata?

Questo articolo, intitolato "Sparse Autoencoders Encode Both Concepts and Functions", intraprende una missione da detective per risolvere questo mistero. Gli autori, un team di ricercatori dalla Germania e dall'India, hanno deciso di smettere di limitarsi a guardare le etichette sulle cartelle e hanno iniziato a osservare cosa succede alla storia dopo che si preme un interruttore. Hanno inventato un nuovo metodo chiamato "Feature-Effect Geometry Analysis" (FEGA). Immagina FEGA come una telecamera ad alta tecnologia che scatta una foto alla biblioteca ogni volta che si preme un interruttore, non solo una volta, ma in migliaia di storie diverse. Poi osservano la "nuvola" di tutte queste foto per vedere se l'interruttore spinge sempre la storia nella stessa direzione.

Ciò che hanno scoperto è stata una sorpresa. Hanno scoperto che gli interruttori all'interno del modello rientrano in due categorie molto diverse, che hanno chiamato "Value-like" (tipo valore) e "Pointer-like" (tipo puntatore).

Per prima cosa, ci sono gli interruttori Value-like. Questi sono come i "fatti" nella biblioteca. Se un interruttore è legato al fatto che "Parigi è in Francia", agisce come un'informazione statica. Quando attivi questo interruttore, l'output del modello cambia in modo abbastanza organizzato, come un gruppo di persone che cammina in una formazione rilassata. Non è una singola linea retta, ma non è nemmeno un caos totale. Questi interruttori sono affidabili per contenere fatti specifici.

Poi, ci sono gli interruttori Pointer-like. Questi sono i veri scompigliatori per l'idea del "telecomando". Questi interruttori non contengono un fatto specifico; contengono invece un lavoro o una funzione. Pensa a un tasto "Copia" su una tastiera. Un tasto "Copia" non gli importa cosa sta copiando; il suo compito è solo quello di copiare. Nel modello, un interruttore di tipo puntatore potrebbe essere responsabile del "copiare la parola che si trova precedentemente nella frase". Se la frase è "Il gatto è grande", l'interruttore copia "grande". Se la frase è "Il gatto è piccolo", l'interruttore copia "piccolo". Poiché il compito è copiare qualunque cosa sia presente, attivare questo interruttore non spinge la storia in un'unica direzione prevedibile. Inveve, l'effetto si disperde ovunque, come una nuvola di polvere.

L'articolo mostra che per questi interruttori "Pointer-like", la vecchia idea di "steering" è in gran parte errata. Non puoi semplicemente accendere un interruttore "Copia" e aspettarti che il modello dica sempre "Copia". L'effetto dipende interamente da ciò che il modello sta guardando in quel preciso momento. Gli autori hanno scoperto che, mentre alcuni interruttori (quelli Value-like) hanno un effetto abbastanza strutturato, la maggior parte degli interruttori interessanti e funzionali (quelli Pointer-like) crea un effetto "diffuso". Essi sono essenziali per il funzionamento del modello — sono il motivo per cui il modello può seguire le regole o copiare le parole — ma non puntano in un'unica direzione prevedibile.

In breve, l'articolo suggerisce che dobbiamo cambiare il modo in cui pensiamo a questi interruttori dell'IA. Non possiamo trattarli tutti come semplici pulsanti on/off per argomenti specifici. Alcuni sono come schedari per i fatti, ma altri sono come strumenti dinamici che cambiano il loro effetto in base alla situazione. Se vogliamo controllare questi modelli di IA in futuro, non possiamo limitarci a cercare un singolo pulsante "Parigi" o un singolo pulsante "Copia" e sperare che funzioni allo stesso modo ogni volta. Dobbiamo comprendere che, per molti di questi strumenti, l'effetto è una nuvola complessa che cambia forma a seconda della storia che viene raccontata. Gli autori non pretendono di aver risolto il problema, ma hanno fornito una nuova mappa che mostra esattamente dove risiede la confusione, dimostrando che il "telecomando" per l'IA è molto più complicato di quanto pensassimo.

Sintesi Tecnica: Gli Autoencoder Sparsi Codificano Sia Concetti che Funzioni: La Geometria a Valle degli Effetti delle Feature

1. Definizione del Problema

L'adozione diffusa degli Autoencoder Sparsi (SAE) per l'interpretabilità meccanicistica è attualmente limitata da un legame inconsistente tra le feature degli SAE e il comportamento del modello. Sebbene le feature possiedano spesso descrizioni di attivazione chiare (ad esempio, "Parigi" o "copia"), i loro effetti causali sono frequentemente instabili. Studi precedenti hanno dimostrato che gli effetti di steering possono variare tra diversi prompt, opporsi alle direzioni intese o non produrre i cambiamenti di output desiderati nonostante una forte attivazione.

Gli attuali flussi di lavoro di interpretabilità si affidano a evidenze di attivazione (esempi ad alta attivazione, descrizioni automatizzate, letture del decoder) per associare le feature ai concetti. Tuttavia, l'attivazione da sola non stabilisce il contributo causale. Esiste un vuoto critico nella comprensione della geometria dei cambiamenti nei logit del modello causati da interventi sulle feature. In particolare, rimane poco chiaro se l'effetto a valle di una feature costituisca una direzione stabile e riutilizzabile (un "vettore di steering") o se presenti strutture geometriche complesse e dipendenti dal contesto. Questo articolo affronta la domanda: Quanto sono comparabili gli effetti a valle di una feature quando tale feature viene sottoposta a intervento in contesti differenti?

2. Metodologia

2.1 Analisi della Geometria Effetto-Feature (FEGA)

Gli autori introducono la Feature-Effect Geometry Analysis (FEGA), un framework non supervisionato e offline progettato per misurare e classificare la geometria dei cambiamenti dei logit a valle derivanti dall'ablazione delle feature.

Protocollo di Intervento:

Baseline Relativa alla Ricostruzione: Per isolare l'effetto di una specifica feature $j$ $j$ dall'errore di ricostruzione dell'SAE, il metodo confronta due percorsi:
- Baseline: La ricostruzione dell'SAE $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ .
- Intervento: La ricostruzione con la feature $j$ azzerata: $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ .
Propagazione a Valle: Entrambi i percorsi sono propagati attraverso la coda congelata del modello (strati successivi) fino alla lettura finale dei logit $\phi(\cdot)$ .
Nuvola di Effetto: La differenza dei logit $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ viene calcolata per un insieme di contesti validi $C$ . La collezione di queste differenze forma la nuvola effetto-feature $E_j$ .

Diagnostica Geometrica:
FEGA analizza la forma di $E_j$ nello spazio dei logit utilizzando una serie di diagnostiche basate sui vettori di direzione normalizzati $v^{(i)}_j$ :

Concentrazione a Raggio Diretto ( $C_{ray}$ ): Testa se tutti gli effetti puntano nella stessa direzione con lo stesso segno.
Struttura Assiale o Antipodale ( $B_{axis}$ ): Testa se gli effetti si allineano con un singolo asse ma si dividono tra segni positivi e negativi (ad esempio, $u$ e $-u$ ).
Miscela Direzionale: Utilizza un modello di miscela di von Mises-Fisher per rilevare molteplici modalità direzionali distinte e coerenti.
Spettro di Span Globale: Utilizza la PCA sulla matrice kernel per determinare se gli effetti giacciono in un sottospazio a bassa dimensionalità (ad esempio, 2D o 3D).
Spettro del Residuo Centrato: Analizza la variazione attorno alla direzione media per rilevare deviazioni a bassa dimensionalità.

Il framework assegna un'etichetta di geometria primaria (ad esempio, "Raggio Diretto", "Asse", "Diffuso") e flag secondari (ad esempio, eterogeneità di magnitudo) in base a queste diagnostiche.

2.2 Setup Sperimentale

Modello: Gemma-2-2B.
Varianti SAE: ReLU, TopK e Matryoshka Batch TopK (larghezza $\approx$ 65k) applicati allo stream residuo post-layer-12.
Spettro dei Task:
- Tipo Valore (Fattuale): RAVEL (disentanglement degli attributi Città-Paese). Le feature qui rappresentano informazioni statiche (ad esempio, "Parigi è in Francia").
- Tipo Puntatore (Operativo): Literal Sequence Copying (LSC), Word Content (WC), PrOntoQA (seguimento di regole) e Token Translation (TT). Questi task richiedono operazioni dipendenti dal contesto (copia, binding, applicazione di regole) senza significati fissi dei token.
Isolamento delle Feature:
- Tipo Valore: Selezionate tramite il masking binario differenziale di SAEBench per il controllo degli attributi.
- Tipo Puntatore: Selezionate in base alla frequenza di attivazione elevata attraverso famiglie di prompt nei task ICL, seguita da ablazione per verificare il contributo causale.

3. Risultati Chiave

3.1 Le Effetti delle Feature Raramente Sono Direzioni Singole

In tutte le varianti SAE e nei vari task, gli effetti dei logit a valle raramente collassano in un singolo vettore di logit invariante rispetto al contesto. L'ipotesi che le feature agiscano come direzioni di steering riutilizzabili è l'eccezione piuttosto che la regola. La maggior parte delle nuvole di effetto non mostra un'alta concentrazione a raggio diretto.

3.2 Distinzione tra Feature Tipo Valore e Tipo Puntatore

Il documento distingue due ruoli funzionali con proprietà geometriche distinte:

Feature Tipo Puntatore: Associate a operazioni locali al prompt (copia, seguimento di regole).
- Ricorrenza: Un piccolo set compatto di feature ricorre attraverso diversi task ICL (ad esempio, LSC, WC, PrOntoQA), particolarmente nelle architetture TopK e Matryoshka Batch TopK.
- Geometria: Queste feature presentano prevalentemente effetti diffusi. Anche quando ricorrono tra i task, non agiscono come direzioni di logit riutilizzabili; i loro effetti si disperdono nello spazio di output, coerentemente con il fatto che il target cambia in base al valore specifico che viene copiato o tradotto.
- Causalità: L'ablazione congiunta di questi set selezionati causa cali significativi dell'accuratezza, confermando il loro ruolo causale nonostante la mancanza di una direzione geometrica stabile.
Feature Tipo Valore: Associate ad attributi fattuali statici (ad esempio, RAVEL Città-Paese).
- Geometria: Queste feature mostrano effetti più strutturati e a bassa dimensionalità rispetto alle feature tipo puntatore.
- Struttura: Tuttavia, anche questi effetti strutturati tipicamente coprono molteplici direzioni di output piuttosto che collassare in un singolo vettore di steering.

3.3 Set di Feature Disgiunti

I set di feature identificati per i task tipo puntatore (ICL) e i task tipo valore (RAVEL) sono disgiunti. Nessuna feature selezionata per i task ICL appare nei set di attributi fattuali di RAVEL, suggerendo che il dizionario SAE separa questi ruoli funzionali, anche se le loro manifestazioni geometriche sono complesse.

4. Contributi e Significatività

Contributo Primario:
Il documento introduce FEGA, un framework che sposta il focus dell'interpretabilità dalla descrizione dell'attivazione alla geometria dell'effetto dell'intervento. Fornisce una diagnostica computabile di come gli effetti delle feature siano organizzati, distinguendo tra direzioni riutilizzabili, spazi a bassa dimensionalità strutturati e nuvole diffuse.

Affermazioni di Significatività:

Sfida l'Assunzione di Steering: I risultati mettono in discussione la comune assunzione che una feature con una descrizione chiara e un effetto causale possa servire come variabile di controllo affidabile a vettore singolo. Una feature può essere interpretabile e causalmente importante senza fornire una direzione stabile per lo steering.
Raffinamento dei Ruoli delle Feature: Distinguendo tra feature "tipo valore" (informazione statica) e "tipo puntatore" (operazioni dipendenti dal contesto), il documento spiega perché lo comportamento di steering varia. Le feature tipo puntatore, che supportano operazioni piuttosto che concetti statici, producono naturalmente effetti diffusi e dipendenti dal contesto.
Spostamento Metodologico: Il lavoro sostiene che l'interpretabilità a livello di feature debba distinguere tre aspetti: cosa rileva una feature, se conta causalmente e come i suoi effetti variano tra i contesti. FEGA fornisce l'"audit del lato effetto" necessario per valutare questo terzo aspetto.

Modestia delle Affermazioni:
Gli autori dichiarano esplicitamente che i loro risultati suggeriscono che la stabilità nella direzione dello spazio dei logit è "spesso limitata". Non affermano che le feature SAE siano inutili per lo steering, ma piuttosto che l'aspettativa di un singolo vettore di steering riutilizzabile è spesso errata. Il documento non propone nuovi algoritmi di steering, ma fornisce uno strumento diagnostico per comprendere i limiti degli attuali approcci di steering. Le etichette geometriche (ad esempio, "Diffuso", "Asse") sono descritte come riassunti descrittivi della nuvola di effetto piuttosto che come spiegazioni meccanicistiche del calcolo neurale sottostante.