Technische Samenvatting: Persistent Sparse Autoencoders

1. Probleemstelling

Standaard Sparse Autoencoders (SAEs) zijn een leidend instrument geworden voor het interpreteren van Large Language Models (LLMs) door dichte verborgen toestanden (hidden states) te ontleden in ijle (sparse), menselijk interpreteerbare kenmerken. Echter, standaard SAEs opereren onder een atemporele formulering: ze coderen de verborgen toestand van elk token onafhankelijk. Hoewel de verborgen toestanden van LLMs inherent de voorafgaande context integreren, falen standaard SAEs erin om informatie die persisteert over een sequentie expliciet te representeren.

Deze beperking vertroebelt de "semantische staat" van het model—de op onderwerp niveau gebaseerde context, stijl of taakstaat die over tokens heen wordt behouden. Bestaande temporele uitbreidingen van SAEs proberen dit aan te pakken door specifieke feature-subsets vooraf toe te wijzen aan temporele informatie of door vaste partities te gebruiken. Deze benaderingen missen bewijs dat dergelijke temporele rollen direct uit de data en reconstructiedoelen kunnen voortkomen. Bovendien blijft het onduidelijk of standaard SAE-features impliciet temporele persistentie erven van de verborgen toestanden die ze reconstrueren, en zo ja, hoe dit expliciet gemodelleerd kan worden.

2. Methodologie: Persistent Sparse Autoencoders

De auteurs introduceren Persistent Sparse Autoencoders (Persistent SAEs), een raamwerk dat standaard SAEs uitbreidt door een persistentiecoëfficiënt ($\lambda_j$) voor elk kenmerk $j$ te leren.

Kernmechanisme

Het model scheidt ijle bewijsvoering (token-specifieke activatie) van een persistente staat:

1. Generatie van bewijsvoering: Een encoder produceert token-specifieke niet-negatieve ijle activaties $a_t \in \mathbb{R}^m_{\ge 0}$, die nieuwe bewijsvoering voor elk kenmerk vertegenwoordigen bij token $t$.
2. Staat-integratie: Elk kenmerk behoudt een vervallende staatvariabele $h_t \in \mathbb{R}^m_{\ge 0}$. De staat wordt recursief bijgewerkt:
   $$h^{(j)}_t = \lambda_j h^{(j)}_{t-1} + (1 - \lambda_j) a^{(j)}_t$$
   • $\lambda_j$ (Persistentiecoëfficiënt): Wordt geleerd tijdens de reconstructie.
     • Lage $\lambda_j$ (Snelle features): De staat vervalt snel, waardoor het zich gedraagt als standaard token-specifieke detectoren.
     • Hoge $\lambda_j$ (Trage features): De staat behoudt bewijsvoering over vele tokens, waarbij ijle updates worden geïntegreerd om semantische context te volgen.
   • De factor $(1-\lambda_j)$ voorkomt ongecontroleerde accumulatie, waardoor de magnitudes van de staat stabiel blijven.
3. Reconstructie: De decoder reconstrueert de verborgen toestand $x_t$ uitsluitend vanuit de persistente staat $h_t$:
   $$\hat{x}_t = W_{dec} h_t + b_{dec}$$
   De recursie is diagonaal, wat ervoor zorgt dat attributie op feature-niveau behouden blijft.

Trainingsdoel

Het model wordt getraind om de reconstructiefout tussen de verborgen toestand van de LLM en de output van de SAE te minimaliseren. Het doel stimuleert het model van nature om kenmerken met de juiste tijdschalen te leren: als het voortzetten van de staat van een kenmerk de reconstructie van toekomstige tokens verbetert, bevoordeelt de optimalisatie een hogere $\lambda_j$; anders bevoordeelt het een lagere $\lambda_j$. Er worden geen vooraf gedefinieerde feature-partities of externe temporele doelen gebruikt.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van Persistent SAEs, die standaard SAEs uitbreiden door een specifiek persistentiecoëfficiënt per kenmerk te leren, waardoor ijle bewijsvoering wordt gescheiden van persistente semantische staten zonder vooraf gedefinieerde partities.
2. Empirische Validatie van Persistentie: Demonstratie dat standaard SAE-features impliciet temporele structuren erven van verborgen toestanden (signalen persisteren langer in natuurlijke documenten dan in geschudde controles), wat de expliciete modellering van tijdschalen motiveert.
3. Ontwarring van Tijdschalen: Het aantonen dat Persistent SAEs kenmerken op natuurlijke wijze organiseren in een spectrum:
   • Snelle features: Lokaal interpreteerbare detectoren voor token-specifieke details.
   • Trage features: Een compact subset die bewijsvoering integreert om de semantische staat op onderwerp-niveau te volgen.
4. Toepassing op Monitoring: Een casestudy die aantoont dat trage features detectiesignalen van prompt-injecties behouden over lange contexten waar token-specifieke features falen, en dat deze features causaal effectief blijven in het sturen van de oordelen van het model.

4. Experimentele Resultaten

Reconstructie en Feature-eigenschappen

• Competitieve Kwaliteit: Persistent SAEs bereiken een reconstructiekwaliteit (FVE en Cosine Similarity) die vergelijkbaar is met sterke token-specifieke baselines (BatchTopK, Matryoshka) op Pythia-160M en Gemma-2-2B.
• Verdeling van Tijdschalen: De geleerde $\lambda_j$-waarden beslaan een breed bereik. De meeste features zijn snel (lage $\lambda$), met een kleine staart van zeer persistente (hoge $\lambda$) features.
• Interpreteerbaarheid:
  • Snelle features blijven lokaal interpreteerbaar en reageren op compacte lexicale of orthografische patronen (bijv. specifieke substrings).
  • Trage features zijn moeilijker in isolatie te interpreteren, maar vormen coherente clusters wanneer ze gezamenlijk worden bekeken.
• Semantische Clustering: In MMLU subject-probing taken vormen trage features (top 1% op basis van $\lambda$) duidelijke onderwerp-specifieke clusters in t-SNE visualisaties, waarbij ze de ruwe verborgen toestanden en baseline SAEs overtreffen.
• Ongesuperviseerde Selectie: Het rangschikken van features op basis van afnemende $\lambda_j$ maakt de selectie mogelijk van een compacte semantische staat die een subject-probing AUC bereikt die bijna net zo hoog is als die van een gesuperviseerde oracle, zonder subject-labels te gebruiken.

Casestudy: Monitoring van Prompt-injecties

De auteurs evalueerden het vermogen van features om signalen van indirecte prompt-injecties (kwaadaardige instructies ingebed in onschuldige tekst) te detecteren en te behouden over lange contexten (tot 350 tokens na de injectie).

• Lokale Detectie: Snelle features en standaard SAEs detecteren injecties effectief op het moment dat ze verschijnen (hoge nauwkeurigheid bij afstand $d=0$).
• Retentie in Lange Context: Naarmate de context zich uitstrekt voorbij de injectie-spanne, verliezen snelle features hun voorspellende kracht. In contrast hiermee behouden trage features het injectiesignaal, waarbij ze een hoge nauwkeurigheid handhaven bij $d=350$.
• Causale Effectiviteit: Experimenten met interventies toonden aan dat het sturen van het model met behulp van slow-feature richtingen consistent het oordeel van de monitor verschuift naar het markeren van de injectie, zelfs lang nadat de injectietekst is gepasseerd. Snelle features vertoonden een bijna nul of negatief causaal effect op deze afstanden.

5. Betekenis en Claims

Het artikel beweert dat Persistent SAEs een nieuwe methode bieden voor het interpreteren en monitoren van LLMs door expliciet feature-tijdschalen te modelleren.

• Representatie van de Semantische Staat: Het werk suggereert dat LLMs een "compacte semantische staat" over tokens heen behouden, die kan worden geëxtraheerd en gevolgd door trage SAE-features zonder supervisie.
• Dual-Role Features: Het vestigt een functionele scheiding waarbij snelle features fungeren als lokale detectoren en trage features als persistente semantische trackers.
• Nut voor Monitoring: Het vermogen van trage features om causale signalen over lange contexten te behouden, suggereert dat ze een veelbelovende tool zijn voor veiligheidsmonitoring, met name voor het detecteren van vertraagde effecten van prompt-injecties of het sturen van modelgedrag in taken met een lange horizon.

Erkende Beperkingen:
De auteurs merken op dat de huidige diagonale recursie een vaste, enkele persistentiecoëfficiënt per kenmerk veronderstelt en geen interacties tussen features of expliciete resets kan modelleren. Daarnaast gebruikt de prompt-injectie studie een externe monitor; hoewel interventies het oordeel van de monitor beïnvloeden, claimt het artikel niet dat deze interventies de acties van het oorspronkelijke agent-model beïnvloeden.