SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

Riepilogo Tecnico: SAEVerbalizer

Problematica
Gli Autoencoder Sparsi (SAE) sono ampiamente utilizzati per estrarre caratteristiche interpretabili dalle rappresentazioni dense interne dei Large Language Models (LLM), mappandole in uno spazio sparso ad alta dimensionalità. Tuttavia, rimane un collo di bottiglia critico: spiegare cosa rappresentino queste caratteristiche estratte in linguaggio naturale. Gli attuali metodi allo stato dell'arte si affidano a un'interpretazione bottom-up, che consiste nell'eseguire un LLM su un vasto corpus per identificare gli esempi con la massima attivazione per una determinata caratteristica e poi istruire un LLM esterno affinché riassuma il pattern condiviso.

Gli autori identificano due limitazioni primarie in questo paradigma esistente:

1. Spiegazioni Superficiali: Inferendo il significato esclusivamente dagli esempi di attivazione, questi metodi descrivono ciò che gli esempi hanno in comune piuttosto che accedere direttamente al contenuto semantico codificato all'interno della rappresentazione della caratteristica stessa.
2. Inefficienza Computazionale: Generare spiegazioni per milioni di caratteristiche richiede l'inferenza ripetuta su scala corpus, il calcolo delle attivazioni e il recupero degli esempi, il che non è scalabile.

Metodologia: SAEVerbalizer
Il documento introduce SAEVerbalizer, un framework che sposta il processo di spiegazione dall'osservazione del comportamento esterno all'elaborazione diretta delle rappresentazioni interne. Invece di recuperare esempi di attivazione, SAEVerbalizer tratta la direzione del decoder SAE come l'unico input per generare una spiegazione.

• Meccanismo Core: Il framework inietta una direzione del decoder SAE (un vettore che rappresenta una specifica caratteristica) direttamente nelle rappresentazioni dei token di un LLM in uno strato di iniezione designato ($L_{inj}$). Gli strati successivi dell'LLM vengono quindi perfezionati (fine-tuned) per generare una spiegazione in linguaggio naturale basata su questa rappresentazione iniettata.
• Strategia di Iniezione: La direzione del decoder viene aggiunta alle rappresentazioni dei token in un intervallo di iniezione fisso tramite un'iniezione additiva con normalizzazione della norma:
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  dove $\hat{v}$ è la direzione normalizzata, $\bar{n}_b$ è la norma media delle rappresentazioni pre-iniezione, e $\alpha$ controlla la forza dell'iniezione.
• Addestramento:
  • Fine-tuning del Verbalizer: L'LLM viene perfezionato su coppie di alta qualità tra caratteristica e spiegazione (provenienti da Neuronpedia e filtrate per coerenza e specificità). Solo gli strati a valle dello strato di iniezione vengono aggiornati, preservando lo spazio di rappresentazione in cui sono definite le direzioni SAE.
  • Adapter per il Trasferimento Cross-LLM: Per applicare un verbalizer addestrato su un LLM a caratteristiche SAE di un altro LLM, viene addestrato un leggero adapter affine. Questo adapter mappa le direzioni del decoder dallo spazio di rappresentazione del source LLM allo spazio dello strato di iniezione del target verbalizer, addestrato su rappresentazioni nascoste allineate da testi non etichettati.
• Inferenza: Una volta addestrato, il verbalizer può spiegare caratteristiche non viste iniettando la corrispondente direzione del decoder e generando testo in modo autoregressivo, senza necessità di recuperare o elaborare esempi di attivazione.

Contributi Chiave

1. Un Nuovo Paradigma per l'Interpretazione: Gli autori propongono un approccio leggero per spiegare le caratteristiche SAE direttamente dalle direzioni del decoder, bypassando la necessità di inferenza su scala corpus e recupero di esempi.
2. Capacità Addestrabile: Dimostrano che la capacità di verbalizzare le rappresentazioni interne è una capacità addestrabile che generalizza a caratteristiche non viste e si trasferisce tra dizionari SAE addestrati separatamente all'interno dello stesso spazio di rappresentazione.
3. Scalabilità Cross-LLM: Attraverso leggeri adapter, il framework estende le capacità di verbalizzazione a caratteristiche SAE di diversi LLM senza richiedere supervisione specifica per la sorgente o il retraining del backbone del verbalizer.
4. Analisi dell'Intervento: Il documento fornisce prove empiriche che il verbalizer cattura la semantica composizionale (quando vengono iniettate più direzioni) e le relazioni con segno (quando le direzioni vengono invertite), suggerendo che esso apprenda la geometria sottostante dello spazio delle caratteristiche piuttosto che limitarsi a memorizzare associazioni.

Risultati Sperimentali
Gli autori hanno valutato SAEVerbalizer utilizzando i modelli linguistici Gemma (1B, 4B, 27B) e gli SAE Gemma Scope 2.

• Performance: Il verbalizer raggiunge punteggi significativi di Reference Agreement (RA) (ad esempio, 52,3% sul set Global Train-Standard per il modello da 27B con 48k coppie di addestramento), dimostrando di poter generare spiegazioni coerenti con riferimenti curati da esperti umani.
• Generalizzazione: Il modello generalizza a caratteristiche non viste e si trasferisce direttamente a un diverso dizionario SAE (larghezza 65k) addestrato sullo stesso LLM senza ulteriore fine-tuning.
• Trasferibilità: Quando si utilizzano gli adapter per trasferire da modelli da 1B e 4B a un verbalizer da 27B, il sistema sfrutta con successo la maggiore capacità di verbalizzazione del modello più grande, migliorando le prestazioni rispetto ai verbalizer nativi addestrati su modelli più piccoli.
• Robustezza: Il sistema è robusto rispetto alle variazioni nel design del prompt e nella forza dell'iniezione, a condizione che l'iniezione sia sufficientemente forte.
• Risultati Qualitativi:
  • Composizione: L'iniezione congiunta di due direzioni produce spiegazioni che combinano i significati di entrambe le caratteristiche.
  • Inversione del Segno: Invertire il segno di una direzione del decoder produce spiegazioni semanticamente correlate ma spostate (ad esempio, "lezioni apprese" vs "piano di lezione"), indicando che il verbalizer cattura la natura direzionale dello spazio delle caratteristiche.

Significatività e Rivendicazioni
Il documento sostiene che SAEVerbalizer offra una via più diretta e computazionalmente efficiente dalle rappresentazioni apprese alle spiegazioni delle caratteristiche. Fondando le spiegazioni nello spazio della rappresentazione interna dell'LLM anziché inferirle dai testi di attivazione, il metodo affronta i limiti di superficialità ed inefficienza degli approcci attuali.

Gli autori posizionano SAEVerbalizer non come un sostituto di tutti i metodi di interpretazione, ma come un complemento addestrabile e parzialmente riutilizzabile agli approcci esistenti. Esso consente la generazione di spiegazioni per caratteristiche non viste e attraverso diverse architetture di modelli con un overhead minimo, facilitando la scalabilità dell'interpretazione degli SAE a milioni di caratteristiche. Il lavoro suggerisce che la verbalizzazione della rappresentazione interna sia una capacità apprendibile che può essere trasferita e adattata, aprendo nuove strade per l'analisi della struttura semantica degli LLM.

Limitazioni
Gli autori riconoscono diverse limitazioni:

• Copertura: Gli esperimenti sono attualmente limitati ai modelli Gemma e agli SAE Gemma Scope 2; la generalizzazione ad altre famiglie non è verificata.
• Validazione: La valutazione si basa sul Reference Agreement con le spiegazioni filtrate di Neuronpedia, che fungono da proxy per la qualità ma non costituiscono una verità assoluta.
• Supervisione: L'attuale pipeline dipende dal filtraggio computazionalmente costoso dei dati di Neuronpedia per creare coppie di addestramento, sebbene gli autori notino che potrebbero essere utilizzate fonti di supervisione alternative.
• Variabilità dell'Esecuzione: I risultati sono riportati da singole esecuzioni, senza misurare la variabilità tra i diversi seed casuali.