Sintesi Tecnica: Autoencoder Sparsi Persistenti

1. Definizione del Proble Magico

Gli standard Sparse Autoencoders (SAE) sono diventati uno strumento fondamentale per interpretare i Large Language Models (LLM), decomponendo gli stati latenti densi in feature sparse e interpretabili dall'uomo. Tuttavia, gli SAE standard operano sotto una formulazione atemporale: codificano lo stato latente di ogni token in modo indipendente. Sebbene gli stati latenti degli LLM integrino intrinsecamente il contesto precedente, gli SAE standard non riescono a rappresentare esplicitamente le informazioni che persistono attraverso una sequenza.

Questa limitazione oscura lo "stato semantico" del modello — ovvero il contesto a livello di argomento, lo stile o lo stato del task mantenuti attraverso i token. Le estensioni temporali esistenti degli SAE tentano di affrontare questo problema assegnando preventivamente subset specifici di feature per trasportare l'informazione temporale o utilizzando partizioni fisse. Tali approcci mancano di prove che tali ruoli temporali possano emergere direttamente dai dati e dagli obiettivi di ricostruzione. Inoltre, rimane poco chiaro se le feature degli SAE standard ereditino implicitamente la persistenza temporale dagli stati latenti che ricostruiscono e, in tal caso, come modellarla esplicitamente.

2. Metodologia: Autoencoder Sparsi Persistenti

Gli autori introducono gli Autoencoder Sparsi Persistenti (Persistent SAEs), un framework che estende gli SAE standard apprendendo un coefficiente di persistenza ($\lambda_j$) per ogni feature $j$.

Meccanismo Core

Il modello separa l'evidenza sparsa (attivazione specifica del token) dallo stato persistente:

1. Generazione dell'Evidenza: Un encoder produce attivazioni sparse non negative specifiche per il token $a_t \in \mathbb{R}^m_{\ge 0}$, che rappresentano la nuova evidenza per ogni feature al token $t$.
2. Integrazione dello Stato: Ogni feature mantiene una variabile di stato degressiva $h_t \in \mathbb{R}^m_{\ge 0}$. Lo stato viene aggiornato ricorsivamente:
   $$h^{(j)}_t = \lambda_j h^{(j)}_{t-1} + (1 - \lambda_j) a^{(j)}_t$$
   • $\lambda_j$ (Coefficiente di Persistenza): Appreso durante la ricostruzione.
     • $\lambda_j$ Basso (Fast Features): Lo stato decade rapidamente, comportandosi come rilevatori specifici del token.
     • $\lambda_j$ Alto (Slow Features): Lo stato conserva l'evidenza per molti token, integrando aggiornamenti sparsi per tracciare il contesto semantico.
   • Il fattore $(1-\lambda_j)$ impedisce l'accumulo illimitato, mantenendo stabili le magnitudo dello stato.
3. Ricostruzione: Il decoder ricostruisce lo stato latente $x_t$ esclusivamente dallo stato persistente $h_t$:
   $$\hat{x}_t = W_{dec} h_t + b_{dec}$$
   La ricorrenza è diagonale, garantendo che l'attribuzione a livello di feature sia preservata.

Obiettivo di Addestramento

Il modello è addestrato per minimizzare l'errore di ricostruzione tra lo stato latente dell'LLM e l'output dell'SAE. L'obiettivo incentiva naturalmente le feature ad apprendere le scale temporali appropriate: se trasportare in avanti lo stato di una feature migliora la ricostruzione dei token futuri, l'ottimizzazione favorirà un $\lambda_j$ più alto; altrimenti, favorirà un $\lambda_j$ più basso. Non vengono utilizzate partizioni di feature predefinite o obiettivi temporali esterni.

3. Contributi Chiave

1. Architettura Innovativa: Introduzione degli SAE Persistenti, che apprendono coefficienti di persistenza specifici per ogni feature esclusivamente attraverso la ricostruzione, separando l'evidenza locale dagli stati semantici persistenti senza partizioni predefinite.
2. Validazione Empirica della Persistenza: Dimostrazione che le feature degli SAE standard ereditano implicitamente la struttura temporale dagli stati latenti (i segnali persistono più a lungo nei documenti naturali rispetto ai controlli rimescolati), motivando la modellazione esplicita delle scale temporali.
3. Disgiunzione delle Scale Temporali: Dimostrazione che gli SAE Persistenti organizzano naturalmente le feature in uno spettro:
   • Fast features: Rilevatori localmente interpretabili per dettagli specifici del token.
   • Slow features: Un sottoinsieme compatto che integra l'evidenza per tracciare stati semantici a livello di argomento.
4. Applicazione al Monitoraggio: Un caso di studio che dimostra come le slow features preservino i segnali di rilevamento per le iniezioni di prompt su contesti lunghi dove le feature specifiche del token falliscono, e che queste feature rimangono causalmente efficaci nel guidare i giudizi del modello.

4. Risultati Sperimentali

Qualità della Ricostruzione e Proprietà delle Feature

• Qualità Competitiva: Gli SAE Persistenti raggiungono una qualità di ricostruzione (FVE e Cosine Similarity) comparabile a forti baseline token-specifiche (BatchTopK, Matryoshka) su Pythia-160M e Gemma-2-2B.
• Distribuzione delle Scale Temporali: I valori di $\lambda_j$ appresi coprono un ampio intervallo. La maggior parte delle feature è veloce (basso $\lambda$), con una piccola coda di feature altamente persistenti (alto $\lambda$).
• Interpretabilità:
  • Le fast features rimangono localmente interpretabili, rispondendo a pattern lessicali o ortografici compatti (es. specifiche sottostringhe).
  • Le slow features sono più difficili da interpretare isolatamente, ma formano cluster coerenti se viste congiuntamente.
• Clustering Semantico: Nei task di probing dei soggetti MMLU, le slow features (top 1% per $\lambda$) formano cluster specifici per argomento nelle visualizzazioni t-SNE, superando gli stati latenti grezzi e le baseline SAE.
• Selezione Non Supervisionata: Classificare le feature per decrescente $\lambda_j$ permette di selezionare uno stato semantico compatto che raggiunge un AUC di subject-probing quasi pari a un oracle supervisionato, senza utilizzare etichette di soggetto.

Caso di Studio: Monitoraggio delle Iniezioni di Prompt

Gli autori hanno valutato la capacità delle feature di rilevare e mantenere segnali di iniezioni di prompt indirette (istruzioni malevole incorporate in testo benigno) su contesti lunghi (fino a 350 token post-iniezione).

• Rilevamento Locale: Le fast features e gli SAE standard rilevano efficacemente le iniezioni nel momento in cui appaiono (alta accuratezza alla distanza $d=0$).
• Ritenzione nel Lungo Contesto: Man mano che il contesto si estende oltre l'intervallo dell'iniezione, le fast features perdono potere predittivo. Al contrario, le slow features mantengono il segnale dell'iniezione, mantenendo un'alta accuratezza a $d=350$.
• Efficacia Causale: Gli esperimenti di intervento hanno mostrato che guidare il modello usando le direzioni delle slow features sposta costantemente il giudizio del monitor verso l'identificazione dell'iniezione, anche molto tempo dopo che il testo dell'iniezione è passato. Le fast features hanno mostrato effetti causali quasi nulli o negativi a tali distanze.

5. Significato e Claim

Il paper sostiene che gli SAE Persistenti offrono un nuovo meccanismo per interpretare e monitorare gli LLM modellando esplicitamente le scale temporali delle feature.

• Rappresentazione dello Stato Semantico: Il lavoro suggerisce che gli LLM mantengano uno "stato semantico compatto" attraverso i token, che può essere estratto e tracciato dalle slow feature degli SAE senza supervisione.
• Ruoli Duali delle Feature: Stabilisce una separazione funzionale in cui le fast features agiscono come rilevatori locali e le slow features come tracker semantici persistenti.
• Utilità del Monitoraggio: La capacità delle slow features di preservare segnali causali su contesti lunghi suggerisce che siano uno strumento promettente per il monitoraggio della sicurezza, in particolare per rilevare effetti ritardati delle iniezioni di prompt o per guidare il comportamento del modello in task a lungo termine.

Limitazioni Riconosciute:
Gli autori notano che l'attuale ricorrenza diagonale assume un coefficiente di persistenza singolo e fisso per ogni feature e non può modellare le interazioni tra feature o reset espliciti. Inoltre, lo studio sulle iniezioni di prompt utilizza un monitor esterno; sebbene gli interventi influenzino il giudizio del monitor, il paper non afferma di aver stabilito che tali interventi influenzino le azioni dell'agente modello originale.