Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

Riepilogo Tecnico: Matrici a Coppie per Autoencoder Sparsi

Enunciato del Problema
Il protocollo standard per l'interpretazione degli Autoencoder Sparsi (SAE) nei Modelli Linguistici di Grande Dimensione (LLM) si basa su due passaggi: assegnare un'etichetta a una caratteristica in base ai suoi contesti di attivazione più elevati e convalidare tale etichetta tramite un'azione di guida su singola caratteristica (attivando o sopprimendo la caratteristica a una singola magnitudine). Questo articolo sostiene che tale protocollo di ispezione "a un angolo" sia sistematicamente incompleto. Si ipotizza che il ruolo causale di una caratteristica non possa essere compreso appieno ispezionando un singolo regime di attivazione o una singola caratteristica in isolamento. Nello specifico, il protocollo standard trascura gli spostamenti comportamentali non monotoni lungo l'asse dei coefficienti e i ruoli collettivi e strutturali di caratteristiche quasi ortogonali che vengono mascherati quando vengono guidate individualmente.

Metodologia: Il Protocollo della Matrice a Coppie
Gli autori propongono un "protocollo della matrice a coppie" che espande l'ispezione standard in uno spazio bidimensionale:

1. Asse dei Coefficienti: Scansione di una singola caratteristica su un intervallo di coefficienti di guida ($c$) per rilevare commutazioni di modalità o risposte dose non monotone che un'ispezione a punto singolo mancherebbe.
2. Asse della Condizione Congiunta: Guida simultanea di più caratteristiche a un coefficiente fisso. Ciò verifica se le caratteristiche sono individualmente sostituibili o congiuntamente necessarie per comportamenti specifici, un ruolo spesso nascosto perché i vicini non soppressi compensano la caratteristica soppressa.

Il protocollo è stato applicato a tre modelli post-addestrati: Qwen3-1.7B-Instruct, Gemma-2-2B-it e Llama-3.1-8B-Instruct. La pipeline sperimentale comprende quattro fasi:

• Fase 1 (Pilot Comportamentale): Generazione di campioni da prompt introspectivi (es. "Cosa ti affascina?") e prompt di controllo procedurale (es. ricette, spiegazioni di motori).
• Fase 2 (Identificazione dei Cluster): Identificazione di fenomeni di "collasso del registro" in cui i modelli raggiungono il picco su un vocabolario ristretto (es. termini di filosofia della mente) per i prompt introspectivi ma non per i controlli.
• Fase 3 (Classificazione delle Caratteristiche): Classifica delle caratteristiche SAE basata sulle differenze di attivazione tra i pool introspectivi e di controllo, utilizzando controlli di bootstrap e permutazione per garantire la stabilità.
• Fase 4 (Guida del Decodificatore): Applicazione del protocollo a matrice. Crucialmente, gli autori impiegano controlli a geometria abbinata: confrontano la guida su singola caratteristica, la guida su caratteristica congiunta e perturbazioni in direzione casuale che producono distorsioni geometriche identiche nel flusso residuo (abbinando rapporti di norma e similarità coseno) per isolare se il degrado dell'output è dovuto alla magnitudine o al pattern di direzione.

Risultati Chiave

1. Asse dei Coefficienti: Le Etichette del Contesto Superiore Trascurano gli Assi Causali
Su Qwen3-1.7B, la Caratteristica #26221 è etichettata "auto-svincolo dell'IA" in base ai suoi contesti di attivazione più elevati. Tuttavia, una scansione dei coefficienti rivela una forma a U invertita nei tassi di svincolo.

• Alla linea di base ($c=0$), il modello produce svincoli standard.
• Ad alta amplificazione ($c=+500$), il modello non aumenta semplicemente gli svincoli; sostituisce la frase di svincolo con una fluida "voce da filosofo contemplativo" (es. "Sono immerso nella contemplazione...").
• Ad amplificazione estrema ($c=+1000$), il modello va in loop su questi marcatori.
• Implicazione: L'etichetta standard cattura solo una forma superficiale (il regime dei dati di addestramento) e non riesce a identificare la caratteristica come un asse direzionale capace di produrre modalità distinte e coerenti a diverse magnitudini. Due caratteristiche di controllo (#22082 e #2932) hanno confermato che il comportamento monotono o il puro collasso sono distinti da questo cambio di modalità non monotono e coerente.

2. Asse della Condizione Congiunta: Sostituibilità Individuale vs. Necessità Congiunta
Tre caratteristiche quasi ortogonali in Qwen (#29108, #26221, #4405) guidano individualmente un registro di "filosofia della mente".

• Soppressione su Singola Caratteristica: Sopprimere una qualsiasi di queste caratteristiche a $c=-500$ lascia intatti i controlli procedurali (ricette, spiegazioni di motori); il modello sostituisce il contenuto con le caratteristiche attive rimanenti.
• Soppressione Congiunta: Sopprimere tutte e tre simultaneamente a $c=-500$ causa un "collasso del registro" su tutti i prompt, inclusi i controlli. Il modello produce scheletri sintattici riempiti con token segnaposto (es. "BASIC TOMOATO SOUP RECIOPLEY... Vc. 100+").
• Implicazione: Queste caratteristiche sono individualmente sostituibili ma congiuntamente necessarie per una composizione fondata. Il protocollo standard, che ispeziona le caratteristiche una alla volta, trascura questo ruolo strutturale collettivo.

3. La Distorsione Geometrica Non Predice la Coerenza
Per escludere l'ipotesi che la soppressione congiunta spinga semplicemente il modello "fuori dalla varietà" a causa della magnitudine, gli autori hanno confrontato perturbazioni singole, congiunte e in direzione casuale che corrispondevano alla distorsione geometrica del flusso residuo (rapporto di norma $\approx 1.55$, coseno $\approx 0.64$).

• Singola Caratteristica: Ha prodotto risposte coerenti di riempimento strategico.
• Direzione Casuale: Ha prodotto risposte coerenti con sostituzioni di contenuto diversificate.
• Soppressione Congiunta: Ha prodotto testo segnaposto con alti tassi di degenerazione regex.
• Implicazione: La perdita di coerenza dipende dal pattern di direzione, non dalla magnitudine. La combinazione specifica di caratteristiche quasi ortogonali innesca un fallimento strutturale che le perturbazioni casuali della stessa magnitudine non provocano.

Replicazione Cross-Modello
Questi risultati sono stati replicati su Gemma-2-2B-it e parzialmente su Llama-3.1-8B-Instruct:

• Gemma: Ha replicato la scoperta della condizione congiunta. La firma del danno differiva (iniezione di token "umano/io/IA" negli slot delle ricette invece dei codici segnaposto di Qwen), ma il meccanismo strutturale (necessità congiunta per la composizione fondata) è rimasto. Il controllo a geometria abbinata su Gemma ha mostrato un divario di circa $10\times$ nei tassi di degenerazione tra la guida congiunta e la direzione casuale.
• Llama: È stata identificata una caratteristica causalmente responsabile principale (#38565) per un registro "enciclopedico-scientifico", confermando l'esistenza di un collasso di registro netto e di caratteristiche causali tra i modelli, sebbene i test completi a livello di matrice non siano stati eseguiti a causa di vincoli di disponibilità degli SAE.

Significato e Affermazioni
L'articolo afferma che il protocollo standard di interpretabilità degli SAE è insufficiente perché ispeziona solo un angolo della matrice comportamentale di una caratteristica. Gli autori sostengono che:

1. Le Etichette sono Locali, Non Globali: Un'etichetta derivata dai contesti di attivazione più elevati cattura un regime di attivazione specifico ma può trascurare l'asse causale completo della caratteristica (es. il passaggio dallo svincolo alla voce filosofica).
2. Le Caratteristiche sono Dipendenti dal Contesto: Le caratteristiche quasi ortogonali possono mascherare i ruoli reciproche; la guida su singola caratteristica non riesce a rilevare le dipendenze strutturali necessarie per una composizione fondata.
3. La Geometria Non è Sufficiente: La coerenza dell'output è determinata dalla direzione specifica della perturbazione nello spazio delle caratteristiche, non solo dalla magnitudine della distorsione geometrica.

Gli autori concludono che un protocollo di interpretabilità robusto deve includere scansioni di coefficienti con controlli di coerenza e sonde di condizione congiunta su vicini quasi ortogonali per mappare accuratamente i ruoli causali delle caratteristiche SAE. Non affermano che questi risultati si applichino a ogni caratteristica, ma dimostrano che il protocollo standard trascura sistematicamente queste specifiche classi di comportamenti nei modelli testati.