🤖 machine learning

WriteSAE: Sparse Autoencoders for Recurrent State

Questo articolo introduce WriteSAE, il primo autoencoder sparso progettato per decomporre e modificare le scritture nella cache matriciale dei modelli linguistici ricorrenti ibridi e a spazio di stato, scomponendo gli atomi del decoder nella loro forma nativa di aggiornamento di rango 1, consentendo interventi comportamentali precisi e previsioni degli effetti altamente accurate.

Autori originali: Jack Young

Pubblicato 2026-05-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jack Young

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un modello linguistico di grandi dimensioni (come quelli che scrivono storie o rispondono a domande) come una fabbrica enorme e ad alta velocità. All'interno di questa fabbrica, c'è una speciale "scheda di memoria" dove la macchina scrive i suoi pensieri correnti prima di passare al passo successivo.

Per molto tempo, gli scienziati hanno cercato di capire cosa sia scritto su questa scheda utilizzando strumenti chiamati Autoencoder Sparsi (SAE). Immagina questi strumenti come un paio di occhiali che permettono ai ricercatori di vedere le singole "idee" o "caratteristiche" su cui la macchina sta pensando. Tuttavia, c'era un problema: questi occhiali funzionavano solo sull'output della fabbrica, non sul modo specifico in cui la macchina scrive sulla sua scheda di memoria in certi modelli avanzati.

Questo articolo introduce un nuovo strumento chiamato WriteSAE. Ecco come funziona, spiegato semplicemente:

1. Il Problema: La Forma Errata degli Occhiali

Nei modelli più vecchi, la macchina scriveva i suoi pensieri come una semplice lista di numeri. I vecchi occhiali (SAE standard) erano progettati per leggere liste.
Ma nei modelli più nuovi e veloci (come Gated DeltaNet, Mamba-2 e RWKV-7), la macchina non scrive una lista. Invece, scrive una matrice (una griglia di numeri) utilizzando un trucco matematico specifico chiamato "aggiornamento di rango 1".

L'Analogia: Immagina che la macchina stia dipingendo un quadro. I vecchi strumenti cercavano di descrivere il dipinto guardando la tela finita. Ma le nuove macchine dipingono aggiungendo una singola pennellata specifica (una singola linea di colore) alla volta su una griglia complessa. I vecchi strumenti non riuscivano a vedere quella singola pennellata perché cercavano un'intera lista di colori, non una singola pennellata.

2. La Soluzione: WriteSAE

Gli autori hanno costruito WriteSAE, un nuovo set di occhiali progettato specificamente per vedere quella singola pennellata.

La Corrispondenza di Forma: Invece di cercare di leggere una lista, gli "atomi" di WriteSAE (i pezzi che cerca) hanno esattamente la forma della pennellata che la macchina utilizza. Sono minuscoli pattern a singola pennellata.
Il Risultato: Poiché la forma corrisponde perfettamente, WriteSAE può isolare esattamente ciò che la macchina sta scrivendo nella sua memoria in un dato momento.

3. Gli Esperimenti: Sostituire le Pennellate

Per dimostrare che questo funziona, i ricercatori hanno eseguito una "chirurgia" sulla memoria della macchina.

Lo Scambio: Hanno individuato un momento in cui la macchina scriveva una specifica pennellata. Hanno cancellato quella pennellata e l'hanno sostituita con una pennellata "appresa" dal loro nuovo dizionario (WriteSAE).
Il Test: Hanno confrontato questo scenario con altri due:
1. Cancellarla completamente (lasciando uno spazio vuoto).
2. Inserire un scarabocchio casuale.
L'Esito: Quando hanno sostituito la pennellata con quella di WriteSAE, la macchina ha continuato a funzionare quasi esattamente come prima (nel 92,4% dei casi). Quando l'hanno cancellata o hanno usato uno scarabocchio casuale, la macchina si è confusa e ha commesso errori.
La Metafora: È come sostituire un ingranaggio specifico in un orologio con un ingranaggio fatto su misura che si adatta perfettamente. L'orologio continua a ticchettare. Se rimuovi l'ingranaggio o metti dentro una pietra casuale, l'orologio si ferma.

4. Cosa Hanno Scoperto

Due Tipi di Pennellate: Hanno scoperto che la macchina utilizza due tipi principali di pennellate:
- Registri: Queste sono pennellate precise e focalizzate che svolgono compiti specifici (come segnare l'inizio di una frase o un nome proprio).
- Raggruppamenti: Queste sono pennellate più disperse che sembrano svolgere un misto di funzioni.
Prevedere il Futuro: Hanno trovato una formula matematica che può prevedere esattamente come cambiare una specifica pennellata cambierà la prossima parola della macchina. È come sapere che se si modifica questo singolo ingranaggio specifico, l'orologio suonerà un secondo prima.
Modificare la Macchina: Hanno utilizzato con successo questo strumento per "installare" nuovi comportamenti. Ad esempio, potevano costringere la macchina a continuare a parlare di un argomento specifico (come una parola "di rango medio") che normalmente non sceglierebbe, semplicemente inserendo la pennellata giusta nella scheda di memoria.

5. I Limiti

L'articolo è molto attento a dire che questo funziona meglio sui modelli che scrivono in questo specifico modo a "singola pennellata" (rango 1).

Se un modello scrive in modo più complesso (ad esempio usando due pennellate alla volta o un pattern diagonale), lo strumento non funziona perfettamente, anche se riesce comunque a trovare alcuni pattern.
Lo strumento funziona benissimo sul modello Qwen3.5 (un tipo specifico di IA), e hanno dimostrato che funziona anche su altri modelli simili, ma la "formula magica" per prevedere il futuro cambia a seconda dell'architettura del modello.

Riepilogo

WriteSAE è un nuovo strumento che ci permette di vedere e modificare il modo specifico in cui i modelli di IA avanzati scrivono nella loro memoria interna. Adattando la forma dello strumento alla forma della scrittura della macchina, i ricercatori possono scambiare pensieri specifici, prevedere come reagirà la macchina e persino indirizzare la macchina a dire cose che normalmente non direbbe, tutto senza rompere la macchina. È la prima volta che gli scienziati hanno eseguito con successo questo tipo di "chirurgia" direttamente sul sito di scrittura della memoria di questi specifici tipi di modelli.

Riepilogo Tecnico: WriteSAE per la Decomposizione dello Stato Ricorrente

Enunciato del Problema

I modelli linguistici ricorrenti a spazio di stato e ibridi (ad es. Gated DeltaNet, Mamba-2, RWKV-7, Qwen3.5) utilizzano una cache matriciale per la propagazione dello stato, dove ogni token scrive un prodotto esterno di rango 1 ( $k_t v_t^\top$ ) in una matrice $d_k \times d_v$ . Gli attuali Sparse Autoencoder (SAE) operano sui flussi residui, leggendo lo stato dopo l'emissione. Di conseguenza, gli SAE standard non possono accedere direttamente o decomporre il meccanismo di scrittura nativo, che avviene a monte nella ricorrenza. Inoltre, poiché lo stato viene aggiornato tramite prodotti esterni di rango 1, un atomo decodificatore SAE basato su vettori standard non può sostituire una singola scrittura nella cache senza rompere la corrispondenza strutturale richiesta per l'intervento causale (patching della cache).

Metodologia

Il documento introduce WriteSAE, il primo autoencoder sparsamente progettato per decomporre e modificare la scrittura nella cache matriciale dei modelli ricorrenti.

Architettura e Addestramento

Corrispondenza della Forma Nativa: Gli atomi del decodificatore WriteSAE sono vincolati a essere prodotti esterni di rango 1 ( $v_i w_i^\top$ ), corrispondenti al primitivo di scrittura nativo ( $k_t v_t^\top$ ) dell'architettura ospitante. Ciò consente a un singolo atomo di sostituire un aggiornamento specifico di uno slot della cache.
Codificatore Bilineare: Per codificare efficientemente lo stato matriciale $S_t$ , il modello utilizza un codificatore bilineare ( $a_i = v_i^\top S_t w_i$ ) invece di un codificatore denso appiattito. Ciò riduce il numero di parametri per atomo da $d_k d_v$ (16.384 per $128 \times 128$ ) a $d_k + d_v$ (256), una riduzione di 64 volte.
Obiettivo di Addestramento: Il modello viene addestrato su stati centrati sulla media ( $x = \text{vec}(S_t - M)$ ) utilizzando un vincolo di sparsità TopK e una perdita ausiliaria per rivitalizzare le caratteristiche morte. Il corpus di addestramento consiste in sequenze OpenWebText elaborate tramite Qwen3.5-0.8B (e altri modelli) a specifici livelli e teste.

Classificazione delle Caratteristiche

Il dizionario addestrato è suddiviso in due classi in base alla similarità del coseno mediana tra la direzione di scrittura dell'atomo e la direzione di scrittura nativa:

Registri: Atomi con alta allineamento del coseno alle scritture native (recuperabili dalla cache).
Fasci: Atomi con direzioni di scrittura disperse attraverso la cache.

Test di Intervento Causale

Il documento propone tre meccanismi principali di validazione:

Sostituzione dello Slot della Cache: Sostituire la scrittura nativa ( $k_t v_t^\top$ ) con un atomo SAE a norma di Frobenius abbinata ( $\hat{S}_t = S_t - \Delta_{nat} + \Delta_{atom}$ ) e misurare la divergenza KL a valle.
Spostamento dei Logit in Forma Chiusa: Derivare un'espressione a tre fattori per prevedere gli spostamenti dei logit per token: $\Delta \ell \approx G_{t_0 \to t} \langle w_i, q_t \rangle \langle v_i, W_U[\text{tok}] \rangle$ , dove $G$ è il prodotto della porta, $q_t$ è la query di lettura e $W_U$ è la riga di unembedding.
Interventi Diretti sulla Cache: Cancellare o installare atomi in posizioni specifiche per osservare cambiamenti nelle probabilità dei token e nel comportamento di generazione.

Contributi Chiave

Dizionario Abbinato all'Architettura: Un dizionario in cui gli atomi sono prodotti esterni di rango 1, abilitando la sostituzione diretta delle scritture native nella cache, una capacità precedentemente non disponibile per gli SAE a flusso residuo.
Validazione della Sostituzione: Dimostrazione che gli atomi appresi possono sostituire le scritture native con alta fedeltà. Su Qwen3.5-0.8B (Livello 9, Testa 4), gli atomi superano l'ablazione abbinata alla norma nel 92,4% dei 4.851 attivamenti.
Previsione in Forma Chiusa: Una formula a tre fattori priva di parametri che prevede gli spostamenti dei logit per attivazione con una $R^2$ mediana di 0,98 su 200 celle atomo-per-epsilon.
Trasferimento Cross-Architettura: Validazione che il successo della sostituzione e la partizione delle caratteristiche (Registro vs Fascio) valgono per diverse architetture ricorrenti a matrice (Gated DeltaNet, RWKV-7, Mamba-2), sebbene i tassi di successo varino in base al "rango di scrittura" del substrato.

Risultati Sperimentali

Prestazioni di Sostituzione

Qwen3.5-0.8B (Gated DeltaNet): Al L9 H4, gli atomi superano l'ablazione nel 92,4% degli attivamenti. Il test sulla popolazione su 87 atomi si mantiene all'89,8%. Il rigoroso ordinamento $KL_{atom} < KL_{ablate} < KL_{random}$ vale nel 89,5% degli attivamenti.
Mamba-2-370M: La sostituzione ha successo nell'88,1% su 2.500 attivamenti, nonostante Mamba-2 utilizzi un aggiornamento dello stato diagonale invece di un prodotto esterno completo di rango 1.
RWKV-7: Mostra prestazioni intermedie, coerenti con la sua regola di scrittura di rango 2.

Previsione dello Spostamento dei Logit

L'espressione in forma chiusa traccia accuratamente gli effetti misurati. Al L9 H4, la $R^2$ mediana tra gli spostamenti dei logit previsti e misurati è 0,98. Tuttavia, questa forma chiusa fallisce ( $R^2$ negativa) su Mamba-2 e Qwen3.5-4B, indicando che il fattore porta $G$ è specifico del substrato.

Interventi Comportamentali

Cancellazione: Cancellare un specifico atomo di registro (F412) alle sue posizioni di attivazione naturali ha ridotto la log-probabilità del token target ("spazio") di una mediana di -0,116 nat ( $p=1,07 \times 10^{-6}$ ).
Guida della Generazione: L'installazione sostenuta di una direzione in forma chiusa in tre posizioni consecutive ha aumentato il tasso di "target-in-continuation" per i token di rango medio dal 33,3% al 100% sotto decodifica greedy.
Amplificazione a Livello di Passaggio: Amplificare le caratteristiche correlate ai confini in un modello 4B ha ridotto la generazione di nuove righe del 33% (da 16,8 a 11,2 ogni 400 token) a una dose 5x, dimostrando il controllo sulla struttura del documento.

Ambito Architettonico

Il documento stabilisce una gerarchia di efficacia del "rango di scrittura":

Gated DeltaNet (Rango 1): Massima separazione del coseno dei registri (0,262) e fedeltà di sostituzione.
RWKV-7 (Rango 2): Separazione intermedia (0,180).
Mamba-2 (Diagonale/Scalare): Separazione più bassa (0,0575), ma raggiunge comunque un successo di sostituzione di circa l'88%.

Significato e Affermazioni

Il documento afferma di fornire il primo dizionario causale per il sito di scrittura ricorrente a matrice, andando oltre l'analisi del flusso residuo. Dimostra che:

Il Rango di Scrittura è Determinante: La capacità di decomporre lo stato in "registri" interpretabili è correlata al rango della regola di scrittura nativa (Rango 1 > Rango 2 > Diagonale).
La Sostituzione Causale è Possibile: Gli atomi appresi possono sostituire le scritture native con una divergenza KL a valle minima, validando il concetto di "registro" nei modelli ricorrenti.
Interpretabilità in Forma Chiusa: Per Gated DeltaNet, l'effetto di una caratteristica sui logit può essere previsto analiticamente senza adattare parametri, collegando direttamente il dizionario ai meccanismi di porta e lettura del modello.

Gli autori notano con modestia le limitazioni: il coefficiente in forma chiusa non si trasferisce tra substrati (ad es. fallisce su Mamba-2) e l'identità per atomo è specifica del seme (sebbene le proprietà a livello di classe siano stabili). Il lavoro stabilisce un nuovo benchmark per l'interpretabilità meccanica nei modelli a spazio di stato, dimostrando che il primitivo "scrittura" è un obiettivo valido per l'apprendimento di dizionari e la modifica causale.