Sintesi Tecnica: Sparso ma Sbagliato: un $L_0$ errato porta a feature errate negli Autoencoder Sparsi

Problema

Gli Autoencoder Sparsi (SAE) sono progettati per invertire la "sovrapposizione" (superposition) nei Large Language Models (LLM), estraendo feature latenti interpretabili e monosemantiche dalle attivazioni interne del modello. Un iperparametro critico nell'addestramento degli SAE è $L_0$, definito come il numero medio di feature latenti che si attivano per ogni token.

La letteratura attuale spesso tratta $L_0$ come una scelta di design neutrale, valutando gli SAE tramite grafici del "tradeoff tra scarsità e ricostruzione" (sparsity–reconstruction tradeoff). L'assunzione prevalente è che qualsiasi $L_0$ sufficientemente basso sia valido, a patto che produca un buon errore di ricostruzione, e che valori di $L_0$ più elevati siano problematici solo se causano una densità eccessiva delle rappresentazioni. Tuttavia, recenti osservazioni empiriche suggeriscono che gli SAE con $L_0$ basso performano male in compiti a valle (downstream tasks) come il probing sparso. Questo articolo indaga se esista un $L_0$ intrinsecamente "corretto" per un dato distribuzione di dati e se deviare da esso comprometta fondamentalmente l'interpretabilità delle feature apprese.

Metodologia

Gli autori utilizzano una combinazione di modelli sintetici "toy" ed esperimenti su LLM reali (Gemma-2-2b e Llama-3.2-1b) per analizzare la relazione tra $L_0$ e la qualità delle feature.

1. Esperimenti con Modelli Toy:

   • Gli autori costruiscono un ambiente sintetico basato sull'Ipotesi della Rappresentazione Lineare (LRH), dove gli input sono combinazioni lineari di "vere feature" ortogonali.
   • Introducono correlazioni controllate tra le feature (sia positive che negative) per simulare i pattern di co-occorrenza realistici nel linguaggio.
   • Addestrano SAE (specificamente architetture BatchTopK e JumpReLU) con vari valori di $L_0$ target: troppo bassi, esattamente corretti (corrispondenti al tasso di attivazione medio reale delle feature) e troppo alti.
   • Confrontano le latenti apprese con le feature ground-truth tramite similarità del coseno e analizzano l'Errore Quadratico Medio (MSE) della perdita di ricostruzione.

2. Analisi Teorica:

   • Il documento fornisce dimostrazioni teoriche (Teoremi F.1 e F.2) dimostrando che, quando $L_0$ è vincolato al di sotto del vero $L_0$ dei dati, il dizionario disententato (corretto) non è il minimizzatore dell'MSE atteso. Invece, il panorama di ottimizzazione incentiva l'SAE a "mescolare" (mix) le feature correlate per ottenere un errore di ricostruzione inferiore.
   • Gli autori dimostrano che la soluzione corretta e disententata non è nemmeno un minimo locale sotto tali vincoli; la discesa del gradiente sposta sistematicamente l'SAE verso latenti misti e polisemantici.

3. Sviluppo di una Metrica Proxy:

   • Gli autori propongono una nuova metrica, la similarità del coseno tra i decoder ($c_{dec}$), definita come la media della similarità del coseno assoluta tra tutte le coppie di vettori del decoder.
   • L'ipotesi è che quando $L_0$ è errato (troppo basso o troppo alto), le latenti mescolano componenti di più feature, aumentando la loro similarità del coseno reciproca. Quando $L_0$ è corretto, le latenti dovrebbero essere più ortogonali (minore $c_{dec}$).

4. Validazione su LLM:

   • Gli SAE sono stati addestrati su Gemma-2-2b e Llama-3.2-1b attraverso una scansione (sweep) di valori di $L_0$.
   • Gli autori hanno correlato la metrica $c_{dec}$ con le performance di "sparse probing" (la capacità dell'SAE di predire la presenza di concetti specifici).

Risultati Chiave

1. Un $L_0$ errato porta al mescolamento delle feature (Feature Mixing)

• $L_0$ Basso: Quando $L_0$ è impostato troppo basso, l'SAE non può rappresentare tutte le feature attive simultaneamente. Per minimizzare l'errore di ricostruzione, esso "bara" mescolando feature correlate in singole latenti.
  • Correlazione Positiva: Le latenti che tracciano la feature $A$ includeranno componenti positive della feature correlata $B$.
  • Correlazione Negativa: Le latenti che tracciano la feature $A$ includeranno componenti negative della feature anti-correlata $B$.
  • Ciò produce latenti altamente polisemantiche e rumorose, anche se l'errore di ricostruzione è basso.
• $L_0$ Alto: Quando $L_0$ è troppo alto, l'SAE trova soluzioni degenerate che mescolano comunque le feature, sebbene l'effetto sia meno pervasivo rispetto a un $L_0$ troppo basso. Alcune feature corrette possono ancora essere apprese, ma la qualità complessiva degrada man mano che $L_0$ si allontana dal valore reale.
• Asimmetria: Il documento nota che iniziare l'addestramento con un $L_0$ troppo basso crea un "minimo locale" che l'SAE non può superare anche se $L_0$ viene successivamente aumentato. Al contrario, iniziare con un $L_0$ troppo alto permette all'SAE di recuperare le feature corrette man mano che $L_0$ viene ridotto.

2. Fallimento dei grafici di Tradeoff tra Scarsità e Ricostruzione

Gli autori dimostrano che i classici grafici di scarsità-ricostruzione sono fuorvianti. Nei loro modelli toy, un SAE con un $L_0$ corretto (e quindi con feature corrette e disententate) spesso ottiene una ricostruzione peggiore (MSE più alto) rispetto a un SAE con un $L_0$ troppo basso che mescola le feature. Di conseguenza, affidarsi esclusivamente all'errore di ricostruzione per selezionare $L_0$ porterebbe i praticanti a rifiutare l'SAE corretto in favore di uno errato e polisemantico.

3. Efficacia della metrica $c_{dec}$

• Nei modelli toy, $c_{dec}$ è minimizzato esattamente al vero $L_0$.
• Negli esperimenti su LLM, $c_{dec}$ mostra un chiaro "gomito" o regione di minimo che correla fortemente con il picco di performance nei compiti di sparse probing.
• Per Gemma-2-2b, l' $L_0$ ottimale (indicato dal minimo di $c_{dec}$ e dal picco di probing) è significativamente più alto (circa 200–250) rispetto ai valori comunemente usati negli attuali SAE open-source (spesso < 100).

4. Differenze di Architettura (JumpReLU vs. BatchTopK)

• BatchTopK: Mostra un aumento netto di $c_{dec}$ a bassi valori di $L_0$ e un minimo globale.
• JumpReLU: Esibisce un comportamento di "aderenza" (sticking) dove l' $L_0$ effettivo rimane vicino al valore corretto attraverso un ampio intervallo di coefficienti di scarsità ($\lambda_s$). Gli SAE JumpReLU performano anche meglio di BatchTopK ad alti valori di $L_0$, probabilmente perché possono regolare le soglie di attivazione per ogni latente, mentre BatchTopK utilizza una soglia globale.

Significato e Rivendicazioni

Il documento sostiene che l'assunzione secondo cui "qualsiasi $L_0$ sufficientemente basso è valido" è errata. Il significato primario di questo lavoro è triplice:

1. Correzione di un Malinteso Fondamentale: Stabilisce che $L_0$ non è un parametro libero ma un iperparametro critico che deve corrispondere alla scarsità sottostante delle vere feature nell'LLM. Impostare $L_0$ in modo errato (specificamente troppo basso) causa all'SAE di apprendere feature polisemantiche e corrotte invece di feature monosemantiche.
2. Ridefinizione della Valutazione: Argomenta che i grafici del tradeoff tra scarsità e ricostruzione sono un metodo invalido per selezionare gli iperparametri degli SAE perché favoriscono soluzioni errate che mescolano le feature rispetto a soluzioni corrette e disententate.
3. Implicazioni Pratiche: Gli autori asseriscono che la maggior parte degli SAE attualmente utilizzati nella ricerca ha un $L_0$ troppo basso. Ciò suggerisce che molte delle attuali feature "interpretabili" potrebbero essere in realtà miscele di concetti, il che potrebbe spiegare i risultati imprevedibili osservati nello steering e nell'editing dei modelli basati su SAE.
4. Strumento Diagnostico: Il documento introduce $c_{dec}$ come una metrica proxy pratica e non supervisionata per guidare la ricerca del corretto $L_0$, specialmente in scenari in cui non sono disponibili benchmark di probing etichettati.

Gli autori concludono che i praticanti devono impostare correttamente $L_0$ per addestrare SAE con feature monosemantiche, e che il campo deve allontanarsi dall'affidarsi esclusivamente all'errore di ricostruzione per la valutazione degli SAE.