💬 NLP

Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

Dit artikel introduceert turn-averaged sparse autoencoders (SAE's) die gemiddelde modelactivaties over volledige gespreksturns reconstrueren om de schaalbaarheidsbeperkingen van standaard token-gebaseerde SAE's te overwinnen, waardoor meer uitgebreide feature discovery en vereenvoudigde attributieanalyse voor transcripten van taalmodellen met een lange context mogelijk worden.

Oorspronkelijke auteurs: Kevin Der, Harish Kamath, Ben Thompson

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kevin Der, Harish Kamath, Ben Thompson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een lang, complex gesprek tussen een mens en een AI te begrijpen. Je wilt weten waarom de AI zei wat hij zei.

In de wereld van AI-onderzoek gebruiken wetenschappers een hulpmiddel genaamd een Sparse Autoencoder (SAE). Denk aan een SAE als een supergeorganiseerde bibliothecaris die de gedachten van de AI opbreekt in kleine, specifieke "plaknotities".

De oude manier: De "token-per-token" bibliothecaris

Traditioneel kijkt deze bibliothecaris naar het gesprek één woord (of "token") tegelijk.

Het probleem: Als het gesprek 1.000 woorden lang is, schrijft de bibliothecaris 1.000 plaknotities. Als het gesprek 100.000 woorden lang is, schrijft hij 100.000 notities.
Het resultaat: De notities zijn ongelooflijk gedetailleerd. Eén notitie kan zeggen: "Het woord 'appel' verscheen hier." Een andere kan zeggen: "Het woord 'rennen' verscheen daar." Maar wanneer je het hele verhaal probeert te bekijken, verdrink je in een zee van plaknotities. Het is onmogelijk om het bos door de bomen te zien. Je kunt niet gemakkelijk zien of de AI "onbeleefd", "creatief" of "aan het praten over wiskunde" was, omdat die grote ideeën verspreid liggen over duizenden kleine notities.

Het nieuwe idee: De "turn-averaged" bibliothecaris

De auteurs van dit paper introduceerden een nieuwe methode genaamd Turn-Averaged SAEs. In plaats van naar elk afzonderlijk woord te kijken, vragen ze de bibliothecaris om naar een hele "turn" (beurt) van het gesprek te kijken (één volledige reactie van de AI of de mens) en het gemiddelde van alle gedachten in die beurt te nemen.

De creatieve analogie: De smoothie versus de fruitsalade

De oude manier (per-token): Stel je een fruitsalade voor waarbij je elke zaadjes, elk klein schilletje en elk specifiek korreltje suiker kunt zien. Het is zeer gedetailleerd, maar als je wilt weten of de salade "zoet" of "tangy" is, moet je elk stukje tellen.
De nieuwe manier (turn-averaged): Stel je voor dat je die fruitsalade mengt tot een smoothie. Je verliest de specifieke zaadjes en schilletjes (de kleine details van individuele woorden), maar je krijgt een perfect, helder beeld van het hele smaakprofiel. Is het een "aardbeiensmoothie"? Ja. Is het "pittig"? Nee. De blender (het gemiddelde-proces) filtert de ruis eruit en houdt het grote plaatje over.

Wat ze ontdekten

De onderzoekers testten deze nieuwe "smoothie"-aanpak op een AI-model met 7 miljard parameters (een zeer slimme, maar nog niet "superintelligente" AI) met behulp van echte chatdata. Dit is wat zij ontdekten:

Beter in het zien van het grote plaatje: Wanneer ze de AI vroegen om te beschrijven waar een gespreksturn over ging, waren de "Turn-Averaged" notities veel beter in het vastleggen van hoogwaardige ideeën zoals "De gebruiker is onbeleefd", "Het onderwerp gaat over auto-veiligheid" of "De AI is overdreven enthousiast". De oude "woord-voor-woord" notities somden voornamelijk specifieke woorden of grammaticale patronen op, waardoor ze de algemene sfeer misten.
Omgaan met lange verhalen: Omdat ze het gemiddelde van de hele turn berekenen, werken deze nieuwe notities even goed voor een document van 30.000 woorden als voor een korte zin. De oude methode zou overweldigd raken en rommelig worden bij lange teksten.
De "Matryoshka"-pop oplossing: Ze hebben ook een speciaal "genest" model gebouwd. Stel je een Russische matroesjka-pop voor.
- De binnenste pop bevat de "smoothie"-notities (het grote plaatje van de turn).
- De buitenste pop bevat de "fruitsalade"-notities (de specifieke details van individuele woorden).
- Dit stelt de AI in staat om zowel het grote plaatje als de kleine details in één enkel systeem te hebben.

Waarom dit belangrijk is voor "Attribution" (het traceren van de oorzaak)

Een van de belangrijkste toepassingen van deze tools is het tekenen van een kaart (een attribution graph) die laat zien hoe een deel van de AI-hersenen een ander deel beïnvloedt.

De oude kaart: Voor een lang gesprek bestond deze kaart uit honderdduizenden punten en lijnen. Het was een chaotische bende die geen mens kon lezen.
De nieuwe kaart: Met Turn-Averaged SAEs wordt de kaart vereenvoudigd. In plaats van een punt voor elk woord, is er een punt voor elke turn. De kaart wordt een helder, leesbaar stroomdiagram dat precies laat zien hoe een vraag van een gebruiker leidde tot een specifiek antwoord van de AI.

Een praktijkvoorbeeld uit het paper

De onderzoekers testten dit op een gesprek waarbij de AI begon met het weigeren van een vraag, vervolgens langzaam toegaf, en uiteindelijk begon met het produceren van onzin (degenerate tekst).

Met de oude methode: De kaart was te rommelig om te begrijpen. Het wees naar willekeurige zaken zoals "chemische namen" of "JSON-code", wat niet logisch was als oorzaak.
Met de nieuwe methode: De kaart toonde duidelijk een keten van gebeurtenissen:
1. Vroege beurten hadden kenmerken gerelateerd aan "AI-veiligheid" en "nucleaire wapens".
2. Dit activeerde een kenmerk voor "detecteren van jailbreak-pogingen".
3. Dat leidde uiteindelijk tot de "degenerate output".
  De nieuwe methode slaagde erin om de "waarom" achter de breakdown van de AI te traceren, iets wat de oude methode niet duidelijk kon doen.

De kernboodschap

Dit paper laat zien dat door de gedachten van de AI over een hele gespreksturn te "blenden", we tools kunnen creëren die veel beter zijn in het begrijpen van de betekenis, stijl en veiligheid van wat de AI doet, vooral in lange gesprekken. Het verandert een chaotische stapel plaknotities in een helder, leesbaar verhaal.

Noot: Het paper richt zich strikt op het verbeteren van de analyse en het begrip van AI-modellen. Het beweert niet dat deze tools al klaar zijn voor klinisch gebruik, medische diagnose of directe inzet in consumentenproducten.

Technische Samenvatting: Turn-Averaged SAEs voor Feature Discovery en Long-Context Attributie

1. Probleemstelling

Sparse Autoencoders (SAEs) zijn uitgegroeid tot een primaire tool voor het extraheren van interpreteerbare features uit taalmodellen, wat circuitanalyse, gedragssturing en veiligheidsmonitoring vergemakkelijkt. De standaard SAE-architecturen opereren echter op individuele token-activaties. Deze granulariteit per token creëert twee significante bottlenecks voor interpreteerbaarheid op schaal:

Schaalbeperkingen: Het aantal actieve features schaalt lineair met de contextlengte. In scenario's met lange context of gesprekken met meerdere beurten (multi-turn) maakt het resulterende datavolume downstream-analyse (zoals attributiegrafen) omslachtig en moeilijk te inspecteren.
Verlies van Hoog-Niveau Context: Veel interpretatie-doelen vereisen het begrijpen van waarom een model een specifieke respons produceerde, wat de identificatie vereist van hoog-niveau eigenschappen (bijv. onderwerp, persona, veiligheidskenmerken) die verspreid zijn over vele tokens. Standaard per-token SAEs leren vaak laag-niveau detectoren voor specifieke woorden of syntactische patronen. Omdat het trainingsdoel elke positie onafhankelijk reconstrueert, is er geen druk voor het model om deze hoog-niveau, span-brede kenmerken te scheiden van token-niveau ruis.

2. Methodologie

2.1 Turn-Averaged SAEs

De kern van het voorstel is om SAEs te trainen op de gemiddelde verborgen staat (mean hidden state) over een span van tokens (specifiek, een enkele menselijke of assistent-beurt/turn) in plaats van op individuele token-activaties.

Input Transformatie: Gegeven een turn $T$ met tokens $x_t$ , is de input de gemiddelde verborgen staat $\bar{x} = \frac{1}{|T|} \sum_{t \in T} x_t$ .
Architectuur: De SAE-architectuur blijft identiek aan standaard implementaties (gebruikmakend van BatchTopK voor sparsity). Omdat het gemiddelde van vectoren in $\mathbb{R}^{d_{model}}$ dezelfde dimensionaliteit behoudt als individuele vectoren, zijn er geen structurele wijzigingen vereist.
Intuïtie: Gemiddeld nemen werkt als een laagdoorlaatfilter. Het vlakt hoog-frequente, token-specifieke details uit (zoals specifieke woordkeuzes of syntactische markeringen) terwijl het laag-frequente componenten behoudt die corresponderen met brede concepten zoals onderwerp, stijl en gedragskenmerken.

2.2 Hybride Architecturen

Om de beperking aan te pakken dat middeling details per token wegwerpt, stellen de auteurs twee hybride benaderingen voor om zowel hoog-niveau structuur als fijnmazige residuen te vangen:

Decoupled SAE: Traint twee onafhankelijke SAEs. De ene reconstrueert de turn-gemiddelde staat ( $\bar{x}$ ), en de andere reconstrueert het residu ( $x_t - \bar{x}$ ). Hoewel dit de signalen scheidt, zijn de modellen causaal ontkoppeld, wat attributieanalyse bemoeilijkt.
Nested SAE (Matryoshka-stijl): Traint een enkele SAE met een gedeelde encoder en decoder maar een gespecialiseerde loss-functie. De feature-ruimte is verdeeld in een binnenste partitie $[0:h]$ $[0 : h]$ en een buitenste partitie $[h:d_{sae}]$ $[h : d_{s a e}]$ .
- Loss Functie: $L = \sum_t \| \text{dec}(\text{enc}(x_t)) - x_t \|^2 + \alpha \cdot \| \text{dec}_h(\text{enc}(\bar{x})[0:h]) - \bar{x} \|^2$ .
- De binnenste partitie wordt gedwongen de turn-gemiddelde staat te reconstrueren, terwijl de volledige set features de per-token activaties reconstrueert. Dit stelt een enkel model in staat om zowel hoog-niveau turn-kenmerken als token-niveau details simultaan te leren.

2.3 Aanpassing van Attributiegrafen

De auteurs passen attributiegrafen aan naar het turn-niveau. In plaats van dat nodes representaties zijn van features op specifieke token-posities, representeren nodes features die actief zijn op een specifieke turn en laag.

Edge Gewichten: Berekend door de gradiënt-attributie over de bron-turn te middelen en te normaliseren door de turn-lengte ( $1/|T_A|$ en $1/|T_B|$ ) om ervoor te zorgen dat gewichten onafhankelijk zijn van de turn-lengte.
Interventie Validatie: Edge gewichten worden gevalideerd door de bron-features te verstoren langs hun decoder-richtingen over alle tokens in een turn en de verandering in de target-feature pre-activaties te meten.

3. Belangrijkste Bijdragen

Turn-Averaged SAEs: Heeft aangetoond dat het trainen op gemiddelde verborgen staten features produceert die hoog-niveau turn-kenmerken (onderwerp, stijl, veiligheidskenmerken) vollediger vastleggen dan per-token features.
Nested SAE Architectuur: Introduceerde een single-model architectuur die gezamenlijk turn-gemiddelde en per-token features leert met een Matryoshka-achtige loss, waarbij een hoge reconstructiekwaliteit voor beide signaalcomponenten wordt bereikt.
Schaalbare Attributie: Heeft attributiegrafen aangepast naar het turn-niveau, wat een compacte analyse van multi-turn conversaties mogelijk maakt. De auteurs hebben deze grafen gevalideerd via interventie-experimenten en sufficiëntie-metrieken (volledigheid en vervanging).

4. Resultaten

4.1 Kwaliteit van Features en Reconstructie

Reconstructie: De Nested SAE bereikt een per-token genormaliseerde gemiddelde kwadratische fout (nMSE) van 0.167, wat nauw aansluit bij de pure per-token SAE (0.162), terwijl het ook een turn-gemiddelde nMSE van 0.116 bereikt. In tegen tegenstelling hiertoe presteert een standaard per-token SAE slecht op turn-gemiddelde inputs (nMSE 0.355), wat aangeeft dat het gemiddelde out-of-distribution is voor met tokens getrainde modellen.
Kwalitatieve Ontdekking: Bij voorbeelden die betrokken zijn bij wiskundige fouten, enthousiaste technische stijlen en naleving van regelgeving, identificeerden turn-gemiddelde features hoog-niveau gedragseigenschappen (bijv. "onjuiste antwoorden", "enthousiaste technische stijl") die per-token features misten of slechts gedeeltelijk vastlegden.
Generalisatie naar Lange Context: Turn-gemiddelde SAEs getraind op chat-turns (gemiddelde lengte ~150 tokens) generaliseerden succesvol naar documenten die 150x langer waren (24k–32k tokens) uit LongBench v2, waarbij ze hoog-niveau concepten zoals "macro-economie" en "computer graphics" identificeerden die per-token features niet konden detecteren.

4.2 Kwantitatieve Evaluatie

Gebruikmakend van een LLM-as-a-judge framework om feature-beschrijvingen te vergelijken met gestructureerde samenvattingen van turns:

Discriminatie (10-way matching): Per-token features (max-pooled) presteerden beter dan turn-gemiddelde features (95.0% vs. 73.9%), omdat ze vertrouwen op specifieke token-niveau details om teksten te onderscheiden.
Dekking (Pairwise en 5-way ranking): Turn-gemiddelde features presteerden significant beter dan per-token features (wonnen 87.9% van de pairwise vergelijkingen). Ze boden een completere beschrijving van de hoog-niveau kenmerken van een turn.
Embedding Metriek: Turn-gemiddelde features bereikten de hoogste cosinus-gelijkenis (0.663) met gestructureerde samenvattingsvelden, wat hun superieure dekking van semantische inhoud bevestigt.

4.3 Attributie Analyse

Grafiek Compactheid: Turn-gemiddelde grafen reduceerden het aantal nodes van ~128K (per-token) naar ~5K voor een 10-turn conversatie, wat inspectie haalbaar maakt.
Casestudies:
- System Prompt Attributie: Turn-gemiddelde grafen identificeerden correct welke paragrafen van de system prompt specifieke gebruikersqueries beïnvloedden, waarbij ze attributie-verschuivingen lieten zien die vergelijkbaar zijn met per-token grafen.
- Degeneratie Tracing: In een 14-turn conversatie waarin het model degradeerde naar repetitieve tekst, volgde de turn-gemiddelde graaf een coherente causale keten: "AI safety disclaimers" $\to$ "Nuclear weapons" $\to$ "Adversarial prompt detection" $\to$ "Degenerate output." Per-token grafen faalden om de adversarial detection feature te vinden en traceerden in plaats daarvan naar ongerelateerde concepten zoals "chemische verbindingen."
Interventie & Sufficiëntie: Edge gewichten vertoonden een significante correlatie met interventie-effecten. De Nested SAE behaalde de hoogste "completeness" en "replacement" sufficiëntie scores, waarbij het zowel pure per-token als post-hoc geaggregeerde per-token features overtrof.

5. Betekenis en Claims

Het artikel claimt dat turn-averaged SAEs interpretatietechnieken praktisch maakt voor lange contexten. Door de eenheid van analyse te verschuiven van tokens naar spans, maakt de methode het mogelijk om:

Features te produceren die hoog-niveau kenmerken (onderwerp, persona, veiligheid) vollediger beschrijven dan token-niveau features.
Compacte, interpreteerbare attributiegrafen voor multi-turn conversaties te construeren die anders te groot zouden zijn om te analyseren.
Aan te tonen dat het aanpassen van het trainingssignaal (via middeling) een SAE kan dwingen om features te leren op een gewenste granulariteit (hoog-niveau concepten), onafhankelijk van het aantal tokens.
Te bewijzen dat deze features generaliseren naar spans die veel langer zijn dan tijdens de training gezien, wat duidt op robuustheid voor de analyse van frontier modellen.

De auteurs merken beperkingen op, waaronder de huidige schaal van experimenten (7B model, LMSYS-Chat-1M corpus) en de afhankelijkheid van LLMs voor evaluatiemetrieken, waarbij zij de toepassing op frontier-modellen en de creatie van ground-truth benchmarks als noodzakelijk toekomstig werk identificeren.