Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

Sintesi Tecnica: Guida degli LLM tramite Autoencoder Sparsi

Definizione del Problema
Gli Autoencoder Sparsi (SAE) sono stati proposti come uno strumento per interpretare i Large Language Models (LLM) scoprendo caratteristiche monosemantiche all'interno dello stream residuo, basandosi sull'Ipotesi della Rappresentazione Lineare e sull'ipotesi della sovrapposizione. Sebbene le caratteristiche degli SAE siano teoricamente capaci di controllare la generazione del modello (steering), benchmark recenti come AxBench (Wu et al., 2025) hanno suggerito che gli SAE siano significativamente meno performanti rispetto a semplici baseline come il prompting. Wu et al. (2025) hanno concluso che "anche le semplici baseline superano gli Autoencoder Sparsi" per i compiti di steering. Inoltre, un lavoro precedente (Wang et al., 2025) ha suggerito che l'alta interpretabilità e l'utilità di steering siano fortemente correlate con un'alta sparsità (basso $\ell_0$), una condizione spesso soddisfatta dalle caratteristiche annotate in repository come Neuronpedia. Gli autori di questo articolo sostengono che le scarse prestazioni riportate da Wu et al. (2025) possano derivare da strategie di etichettatura e selezione delle caratteristiche subottimali, piuttosto che da un limite intrinseco degli SAE.

Metodologia
L'articolo propone una pipeline supervisionata per l'etichettatura e la selezione delle caratteristiche degli SAE per migliorare le prestazioni di steering, contrapponendosi ai precedenti approcci di etichettatura non supervisionati o basati su LLM.

1. Pipeline di Etichettatura Supervisionata:

   • Fonte dei Dati: Gli autori utilizzano dataset di Stack Exchange (es. accademia, biologia, sport) dove i tag assegnati dagli utenti fungono da multi-label di ground-truth.
   • Sonde delle Caratteristiche (Feature Probes): Per ogni caratteristica SAE, viene costruita una sonda lineare calcolando la frequenza di attivazione della caratteristica su un dataset. Viene effettuata una predizione binaria basata sul superamento di una soglia $\tau$.
   • Punteggio F1 Calibrato: Per associare le caratteristiche alle etichette, gli autori calcolano un "F1 calibrato" ($F1^c$). Questa metrica adatta il punteggio F1 standard per tenere conto del supporto delle etichette (frequenza), prevenendo il bias verso etichette rare o comuni. La soglia $\tau$ ottimale viene selezionata per massimizzare questo punteggio.
   • Denoising e Selezione: Per garantire abbinamenti di alta qualità, la pipeline applica tre criteri:
     1. Soglia di Supporto dell'Etichetta: Filtra le etichette con meno di 50 occorrenze per ridurre la varianza.
     2. Proxy del Punteggio di Output: Utilizza una soglia ($10^{-3}$) basata sul punteggio di output di Arad et al. (2025) per filtrare le caratteristiche con un potenziale di steering intrinseco.
     3. Selezione Top-K: Mantiene i primi 50 accoppiamenti caratteristica-etichetta per categoria.

2. Meccanismo di Steering:

   • Gli autori impiegano l'approccio di editing delle attivazioni di Templeton et al. (2024). Durante l'inferenza, le attivazioni specifiche delle caratteristiche ($z_f$) vengono bloccate (clamped) a un valore $\alpha$. L'errore di ricostruzione viene preservato e il vettore latente editato viene passato attraverso il decoder.
   • Valutazione: Il metodo è valutato su AxBench, che valuta il testo generato in termini di fluidità, rispetto delle istruzioni e incorporazione del concetto. Gli autori ottimizzano la forza di steering $\alpha$ individualmente per ogni coppia caratteristica-etichetta tramite cross-validation, invece di utilizzare un singolo valore globale.

3. Configurazione Sperimentale:

   • Modelli: Gli esperimenti sono stati condotti su Gemma 2 (9B) utilizzando SAE Gemma Scope (larghezza 131k) inseriti nello stream residuo ai layer 17 e 32.
   • Baseline: I confronti includono la baseline "NP random" (caratteristiche selezionate casualmente con etichette Neuronpedia) e la baseline di steering tramite prompting di Wu et al. (2025).

Risultati Chiave

• Parità di Prestazioni con LoRA: Quando le caratteristiche sono selezionate ed etichettate tramite la pipeline supervisionata proposta, gli SAE raggiungono prestazioni di steering sul benchmark AxBench vicine a quelle delle baseline LoRA (Low-Rank Adaptation). Ciò supera significativamente i risultati riportati da Wu et al. (2025).
• Validità Causale: La pipeline seleziona caratteristiche che sono sorprendentemente causali delle loro etichette identificate. Anche quando la componente "output score" (un proxy per la capacità di steering) viene rimossa dal processo di selezione, le restanti caratteristiche selezionate dall'etichettatura supervisionata dimostrano comunque prestazioni di steering superiori rispetto alle selezioni casuali di Neuronpedia.
• Indipendenza dalla Sparsità: Contrariamente alle conclusioni di Wang et al. (2025), gli autori riscontrano che l'alta sparsità (basso $\ell_0$) non è strettamente cruciale per un efficace steering. Sia gli SAE a bassa che ad alta sparsità nel modello Gemma Scope si sono dimostrati efficaci per i compiti di steering.
• Baseline di Prompting: Sebbene il metodo SAE proposto migliori significativamente rispetto ai precedenti tentativi con SAE, gli autori notano che il semplice prompting rimane una baseline forte, probabilmente perché gli LLM sono esplicitamente addestrati per seguire le istruzioni.

Significatività e Rivendicazioni
L'articolo funge da parziale confutazione della tesi secondo cui gli SAE sarebbero inefficaci per lo steering. Gli autori sostengono che i risultati negativi di Wu et al. (2025) non abbiano reso "giusta giustizia" agli SAE a causa della dipendenza da etichette preesistenti, potenzialmente subottimali, e della mancanza di una selezione supervisionata delle caratteristiche.

La significatività primaria risiede nel dimostrare che:

1. L'Etichettatura è Fondamentale: Il metodo di etichettatura delle caratteristiche SAE è critico. Un approccio supervisionato che utilizza metriche calibrate e soglie di supporto produce caratteristiche con un reale impatto causale sulla generazione del modello.
2. Robustezza degli SAE: Gli SAE possono essere competitivi con i metodi di fine-tuning efficienti nei parametri (LoRA) per lo steering, validando la loro utilità come strumento di interpretabilità.
3. Ground Truth Causale: In un contesto di ricerca, lo steering riuscito delle caratteristiche conferma la validità della "ground truth" dell'etichetta della caratteristica, distinguendola dagli artefatti delle idiosincrasie del dataset (polisemia) che potrebbero trarre in inganno l'interpretazione basata sulla correlazione.

Gli autori mantengono un tono modesto, riconoscendo che, sebbene gli SAE siano potenti per la ricerca e la comprensione dei meccanismi interni dei modelli, il prompting rimane una baseline difficile da battere per le applicazioni pratiche a causa della natura dell'addestramento degli LLM. Notano inoltre che lo steering delle caratteristiche comporta un "danno controllato" al modello, rendendolo meno adatto agli ambienti di produzione rispetto al fine-tuning standard.