💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

Dit artikel introduceert Feature-Effect Geometry Analysis (FEGA) om aan te tonen dat hoewel sparse autoencoder-features causaal relevant kunnen zijn, ze zelden fungeren als stabiele sturingsrichtingen, maar in plaats daarvan onderscheidende geometrische patronen vertonen waarbij "waarde-achtige" features gestructureerde effecten produceren en "pointer-achtige" features diffuse, contextafhankelijke veranderingen genereren.

Oorspronkelijke auteurs: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantische, magische bibliotheek te begrijpen waar boeken zichzelf schrijven. Deze bibliotheek is een "Large Language Model", een type kunstmatige intelligentie dat bijna alles op het internet heeft gelezen en heeft geleerd om het volgende woord in een zin te voorspellen. Binnen deze bibliotheek zijn miljoens kleine, onzichtbare schakelaars genaamd "neuronen" die oplichten wanneer het model aan iets denkt. Een tijdlang probeerden wetenschappers het model te begrijpen door simpelweg te kijken welke schakelaars oplichtten. Ze dachten: "Als een schakelaar oplicht wanneer het model over 'Parijs' praat, dan moet die schakelaar de 'Parijs-schakelaar' zijn."

Maar hier komt het lastige deel aan: alleen omdat een schakelaar oplicht, betekent dat nog niet dat hij ook daadwerkelijk het werk doet. Hij kan ook gewoon alleen maar toekijken. Om echt te weten wat een schakelaar doet, moet je erin reiken, hem uitzetten en kijken of het verhaal verandert. Dit wordt "interventie" genoemd. Recentelijk hebben wetenschappers een speciaal hulpmiddel gebouwd genaamd een "Sparse Autoencoder" (of SAE) om hen te helpen deze schakelaars te vinden. Denk aan een SAE als een supergeorganiseerde archiefkast die de rommelige, gloeiende schakelaars sorteert in nette, gelabelde mappen. De hoop was dat als we een map met het label "Parijs" vinden, we die map aan of uit kunnen zetten om het model over Parijs te laten praten of te stoppen met praten over Parijs. Dit idee wordt "steering" (sturen) genoemd.

Echter, er was een hardnekkige twijfel. Soms, wanneer wetenschappers een "Parijs"-map aanzetten, praatte het model helemaal niet over Parijs. Soms praatte het over Frankrijk, soms raakte het in de war, en soms deed het precies het tegenovergestelde van wat werd verwacht. Het was alsof je een afstandsbediening had waarbij de "Volume Omhoog"-knop soms de tv uitzette, of van zender veranderde. De grote vraag was: Waarom gebeurt dit? Is de afstandsbediening kapot, of is ons begrip van hoe de knoppen werken fout?

Dit artikel, getiteld "Sparse Autoencoders Encode Both Concepts and Functions", gaat op een detectivesmissie om dit mysterie op te lossen. De auteurs, een team van onderzoekers uit Duitsland en India, besloten te stoppen met alleen naar de labels op de mappen te kijken en in plaats daarvan te kijken naar wat er met het verhaal gebeurt nadat ze een schakelaar omdraaien. Ze hebben een nieuwe methode uitgevonden genaamd "Feature-Effect Geometry Analysis" (FEGA). Stel je FEGA voor als een high-tech camera die een snapshot maakt van de bibliotheek elke keer dat ze een schakelaar omdraaien, niet slechts één keer, maar in duizenden verschillende verhalen. Ze kijken vervolgens naar de "wolk" van al deze snapshots om te zien of de schakelaar het verhaal altijd in dezelfde richting duwt.

Wat ze ontdekten, was een verrassing. Ze ontdekten dat de schakelaars binnen het model in twee zeer verschillende categorieën vallen, die ze "Value-like" en "Pointer-like" noemden.

Eerst zijn er de Value-like schakelaars. Deze zijn als de "feiten" in de bibliotheek. Als een schakelaar verbonden is aan het feit dat "Parijs in Frankrijk ligt", werkt deze als een statisch stuk informatie. Wanneer je deze schakelaar omzet, verandert de output van het model op een enigszins georganiseerde manier, zoals een groep mensen die in een losse formatie loopt. Het is niet één enkele rechte lijn, maar het is ook geen totale chaos. Deze schakelaars zijn betrouwbaar voor het vasthouden van specifieke feiten.

Dan zijn er de Pointer-like schakelaars. Dit zijn de echte probleemmakers voor het "afstandsbediening"-idee. Deze schakelaars houden niet een specifiek feit vast; ze houden een taak of een functie vast. Denk aan ze als een "Kopieer"-knop op een toetsenbord. Een "Kopieer"-knop geeft niet om wat je kopieert; hij kopieert gewoon. In het model kan een pointer-achtige schakelaar verantwoordelijk zijn voor het "kopiëren van het woord van eerder in de zin". Als de zin zegt "De kat is groot", kopieert de schakelaar "groot". Als de zin zegt "De kat is klein", kopieert hij "klein". Omdat de taak is om te kopiëren wat er ook is, duwt het omzetten van deze schakelaar het verhaal niet in één enkele richting. In plaats daarvan verspreidt het effect zich overal, als een wolk van stof.

Het artikel laat zien dat voor deze "Pointer-like" schakelaars het oude idee van "steering" grotendeels onjuist is. Je kunt niet simpelweg een "Kopieer"-schakelaar aanzetten en verwachten dat het model altijd "Kopieer" zal zeggen. Het effect hangt er volledig vanaf waar het model op dat exacte moment naar kijkt. De auteurs ontdekten dat terwijl sommige schakelaars (de Value-like ones) een enigszijnlijk gestructureerd effect hebben, de meeste interessante, functionele schakelaars (de Pointer-like ones) een "diffuus" effect creëren. Ze zijn essentieel om het model te laten werken—ze zijn de reden dat het model regels kan volgen of woorden kan kopiëren—maar ze wijzen niet in één enkele, voorspelbare richting.

Kortom, het artikel suggereert dat we onze manier van denken over deze AI-schakelaars moeten veranderen. We kunnen ze niet allemaal behandelen als eenvoudige aan/uit-knoppen voor specifieke onderwerpen. Sommige zijn als archiefkasten voor feiten, maar andere zijn als dynamische instrumenten die hun effect veranderen op basis van de situatie. Als we in de toekomst deze AI-modellen willen controleren, kunnen we niet alleen zoeken naar een enkele "Parijs"-knop of een enkele "Kopieer"-knop en hopen dat het elke keer hetzelfde werkt. We moeten begrijpen dat voor veel van deze instrumenten het effect een complexe wolk is die van vorm verandert afhankelijk van het verhaal dat wordt verteld. De auteurs beweren niet dat ze het probleem al hebben opgelost, maar ze hebben wel een nieuw landkaart geleverd die precies laat zien waar de verwarring ligt, waarmee ze bewijzen dat de "afstandsbediening" voor AI veel ingewikkelder is dan we dachten.

Technische Samenvatting: Sparse Autoencoders Codificeren Zowel Concepten als Functies: De Downstream Geometrie van Feature-effecten

1. Probleemstelling

De brede adoptie van Sparse Autoencoders (SAE's) voor mechanistische interpreteerbaarheid wordt momenteel beperkt door een inconsistente link tussen SAE-features en modelgedrag. Hoewel features vaak duidelijke activatiebeschrijvingen hebben (bijv. "Parijs" of "kopiëren"), zijn hun causale effecten vaak instabiel. Eerdere studies hebben aangetoond dat sturende effecten kunnen variëren per prompt, de beoogde richting kunnen tegenwerken, of kunnen falen om gewenste outputveranderingen te produceren ondanks sterke activatie.

Bestaande interpretatie-workflows vertrouwen op activatiebewijs (hoog-activerende voorbeelden, geautomatiseerde beschrijvingen, decoder-readouts) om features te associëren met concepten. Activatie alleen stelt echter geen causale bijdrage vast. Er bestaat een kritieke kloof in het begrijpen van de geometrie van veranderingen in model-logits veroorzaakt door feature-interventies. Specifiek blijft het onduidelijk of het downstream effect van een feature een stabiele, herbruikbare richting vormt (een "steering vector") of dat het complexe, contextafhankelijke geometrische structuren vertoont. Dit artikel adresseert de vraag: Hoe vergelijkbaar zijn de downstream effecten van een feature wanneer die feature wordt geïntervenieerd over verschillende contexten?

2. Methodologie

2.1 Feature-Effect Geometrie Analyse (FEGA)

De auteurs introduceren Feature-Effect Geometrie Analyse (FEGA), een ongesuperviseerd, offline framework ontworpen om de geometrie van downstream logit-veranderingen als gevolg van feature-ablatie te meten en te classificeren.

Interventie Protocol:

Reconstructie-Relatieve Baseline: Om het effect van een specische feature $j$ $j$ te isoleren van de SAE-reconstructiefout, vergelijkt de methode twee paden:
- Baseline: De SAE-reconstructie $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ .
- Interventie: De reconstructie waarbij feature $j$ op nul is gezet: $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ .
Downstream Propagatie: Beide paden worden gepropageerd door de bevroren model-staart (subsequente lagen) naar de uiteindelijke logit-readout $\phi(\cdot)$ .
Effect Cloud: Het verschil in logit $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ wordt berekend voor een set geldige contexten $C$ . De collectie van deze verschillen vormt de feature-effect cloud $E_j$ .

Geometrische Diagnostiek:
FEGA analyseert de vorm van $E_j$ in de logit-ruimte met behulp van een reeks diagnostieken gebaseerd op de genormaliseerde richtingvectoren $v^{(i)}_j$ :

Directed-Ray Concentratie ( $C_{ray}$ ): Test of alle effecten in dezelfde gesigneerde richting wijzen.
As of Antipodale Structuur ( $B_{axis}$ ): Test of effecten uitlijnen met een enkele as maar splitsen tussen positieve en negatieve tekens (bijv. $u$ en $-u$ ).
Directional Mixture: Gebruikt een von Mises-Fisher mengmodel om meerdere onderscheidende, coherente directionele modi te detecteren.
Global Span Spectrum: Gebruikt PCA op de kernelmatrix om te bepalen of effecten binnen een laag-dimensionale subspace liggen (bijv. 2D of 3D).
Centered Residual Spectrum: Analyseert de variatie rond de gemiddelde richting om laag-dimensionale afwijkingen te detecteren.

Het framework wijst een primaire geometrische label toe (bijv. "Directed Ray," "Axis," "Diffuse") en secundaire vlaggen (bijv. magnitude heterogeniteit) op basis van deze diagnostieken.

2.2 Experimentele Opstelling

Model: Gemma-2-2B.
SAE Varianten: ReLU, TopK, en Matryoshka Batch TopK (breedte $\approx$ 65k) toegepast op de post-layer-12 residual stream.
Taak Spectrum:
- Waarde-achtig (Feitelijk): RAVEL (City-Country attribuut-ontkoppeling). Features hier vertegenwoordigen statische informatie (bijv. "Parijs is in Frankrijk").
- Pointer-achtig (Operationeel): Literal Sequence Copying (LSC), Word Content (WC), PrOntoQA (regelvolging), en Token Translation (TT). Deze taken vereisen context-afhankelijke operaties (kopiëren, binden, regeltoepassing) zonder vaste token-betekenissen.
Feature Isolatie:
- Waarde-achtig: Geselecteerd via SAEBench's differentiële binaire masking voor attribuutcontrole.
- Pointer-achtig: Geselecteerd op basis van hoge activatiefrequentie over prompt-families in ICL-taken, gevolgd door ablatie om causale bijdrage te verifiëren.

3. Belangrijkste Resultaten

3.1 Feature-effecten zijn zelden enkelvoudige richtingen

Over alle SAE-varianten en taken heen zijn downstream feature-effecten zelden gecondenseerd tot één context-invariante logit-vector. De hypothese dat features fungeren als herbruikbare sturende richtingen is de uitzondering eerder dan de regel. De meeste effect clouds vertonen geen hoge directed-ray concentratie.

3.2 Onderscheid tussen Waarde-achtige en Pointer-achtige Features

Het artikel maakt onderscheid tussen twee functionele rollen met uiteenlopende geometrische eigenschappen:

Pointer-achtige Features: Geassocieerd met prompt-lokale operaties (kopiëren, regelvolging).
- Recurrentie: Een kleine, compacte set features komt terug in verschillende ICL-taken (bijv. LSC, WC, PrOntoQA), met name in TopK en Matryoshka Batch TopK architecturen.
- Geometrie: Deze features vertonen voornamelijk diffuse effecten. Zelfs wanneer ze recurrenteert over taken, fungeren ze niet als herbruikbare logit-richtingen; hun effecten verspreiden zich over de output-ruimte, wat consistent is met het feit dat het doel verandert op basis van de specifieke waarde die wordt gekopieerd of vertaald.
- Causaliteit: Gezamenlijke ablatie van deze geselecteerde sets veroorzaakt significante nauwkeurigheidsdalingen, wat hun causale rol bevestigt ondanks het gebrek aan een stabiele geometrische richting.
Waarde-achtige Features: Geassocieerd met statische feitelijke attributen (bijv. RAVEL City-Country).
- Geometrie: Deze features vertonen meer gestructureerde, laag-dimensionale effecten vergeleken met pointer-achtige features.
- Structuur: Echter, zelfs deze gestructureerde effecten bestrijken doorgaans meerdere output-richtingen in plaats van te convergeren naar een enkele steering vector.

3.3 Disjuncte Feature-sets

De feature-sets geïdentificeerd voor pointer-achtige taken (ICL) en waarde-achtige taken (RAVEL) zijn disjunct. Geen enkele feature geselecteerd voor ICL-taken komt voor in de RAVEL feitelijke-attribuut-sets, wat suggereert dat de SAE-dictionary deze functionele rollen scheidt, zelfs als hun geometrische manifestaties complex zijn.

4. Bijdragen en Betekenis

Primaire Bijdrage:
Het artikel introduceert FEGA, een framework dat de focus van interpretatie verschuift van activatiebeschrijving naar interventie-effect geometrie. Het biedt een berekenbare diagnostiek voor hoe feature-effecten georganiseerd zijn, waarbij onderscheid wordt gemaakt tussen herbruikbare richtingen, gestructureerde laag-dimensionale ruimtes en diffuse clouds.

Betekenisclaims:

Uitdaging van de Steering-aanname: De resultaten dagen de algemene aanname uit dat een feature met een duidelijke beschrijving en een causaal effect kan dienen als een betrouwbare, enkelvoudige vector-controlevariabele. Een feature kan interpreteerbaar en causaal belangrijk zijn zonder een stabiele richting voor steering te bieden.
Verfijning van Feature-rollen: Door onderscheid te maken tussen "waarde-achtige" (statische informatie) en "pointer-achtige" (context-afhankelijke operaties) features, verklaart het artikel waarom steering-gedrag varieert. Pointer-achtige features, die operaties ondersteunen in plaats van statische concepten, produceren van nature diffuse, context-afhankelijke effecten.
Methodologische Verschuiving: Het werk betoogt dat feature-niveau interpretatie onderscheid moet maken tussen drie aspecten: wat een feature detecteert, of het causaal relevant is, en hoe de effecten variëren over contexten. FEGA biedt de "effect-zijde audit" die nodig is om het derde aspect te evalueren.

Bescheidenheid van Claims:
De auteurs stellen expliciet dat hun bevindingen suggereren dat stabiliteit in logit-ruimte richting "vaak beperkt" is. Ze beweren niet dat SAE-features nutteloos zijn voor steering, maar dat de verwachting van een enkele, herbruikbare steering vector vaak onjuist is. Het artikel stelt geen nieuwe steering-algoritmen voor, maar biedt eerder een diagnostisch instrument om de beperkingen van huidige steering-benaderingen te begrijpen. De geometrische labels (bijv. "Diffuse," "Axis") worden beschreven als descriptieve samenvattingen van de effect cloud in plaats van als mechanistische verklaringen van de onderliggende neurale computation.