🤖 machine learning

From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness

Dit artikel introduceert een causaal audit-framework dat aantoont dat standaard correlationele herstelmetrieken voor Sparse Autoencoder-features ontoereikend zijn, aangezien zij er niet in slagen te detecteren dat een aanzienlijk deel van de "herstelde" features causaal inert is vanwege geometrische artefacten en competitieve pathologieën, wat derhalve een verschuiving noodzakelijk maakt van geometrische uitlijning-validatie naar causale verificatie.

Oorspronkelijke auteurs: Mohamed Abdessalem Bal

Gepubliceerd 2026-07-15✓ Author reviewed ⓘ

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Abdessalem Bal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, magische bibliotheek hebt gebouwd waar elk boek een gedachte is, maar de planken zijn te klein om ze allemaal apart te kunnen huisvesten. Om alles passend te maken, begin je de boeken op elkaar te stapelen en hun ruggen met elkaar te mengen. Dit is wat neurale netwerken doen: ze verpakken duizenden ideeën in een beperkte ruimte, een truc die superpositie wordt genoemd.

Om de bibliotheek te kunnen lezen, hebben wetenschappers een speciale decoder-tool uitgevonden: een Sparse Autoencoder (SAE). Denk aan een hoogtechnologische bibliothecaris die probeert de gestapelde boeken weer te ontwarren en de originele titels eruit te trekken. Jarenlang was de standaardmanier om te controleren of de bibliothecaris zijn werk goed deed, het bekijken van de ruggen. Als de rug van het eruit gehaalde boek voor 90% leek op de originele titel, juichte iedereen: "Succes! We hebben de feature gevonden!"

Maar dit artikel, geschreven door een onafhankelijke onderzoeker genaamd Mohamed, zegt: "Wacht eens even. Alleen omdat de rug er goed uitziet, betekent niet dat het boek ook echt open ligt."

De Grote Rug-Illusie

De auteur richtte een kleine, perfecte bibliotheek op in een computersimulatie waar ze precies wisten welke boeken verborgen waren en waar. Ze bouwden een "perfecte" bibliothecaris (een goed getrainde SAE) en een "rommelige" bibliothecaris (een gedegradeerde SAE).

Ze ontdekten een schokkende waarheid: Kijken naar de rug (correlatie) is niet hetzelfde als controleren of het boek daadwerkelijk wordt gelezen (causaliteit).

In hun simulatie testten ze 22 specifieke boeken.

In de rommelige bibliotheek ontdekten ze dat 77% van de boeken die eruit zagen als een perfecte match (ruggen die een score van 0,90 of hoger hadden) eigenlijk dood waren. De bibliothecaris haalde ze er wel uit, maar het boek werd nooit echt geopend. De "feature" was aanwezig, maar de tool van de bibliothecaris activeerde nooit de schakelaar om het te lezen.
Zelfs in de perfecte bibliotheek waren 9% van de matches dood. En raad eens: sommige van deze dode matches hadden ruggen die 99,98% identiek waren aan het origineel. De geometrie was perfect, maar het mechanisme was defect.

Het artikel betoogt dat het vakgebied is misleid door "mooie ruggen". Een tool kan precies de juiste richting aanwijzen zonder ooit het eigenlijke werk te verrichten.

De Twee Manieren waarop een Bibliothecaris Kan Falen

De auteur ontdekte dat dit "dode boek"-probleem op twee heel verschillende manieren voorkomt, als twee verschillende soorten mislukte goocheltrucs:

De "Antipodale" Valstrik (Structurele Inertie): Stel je twee boeken voor, "Vuur" en "IJs", die elkaars exacte tegenpolen zijn. De bibliothecaris stapelt ze op dezelfde plank, maar één ervan staat ondersteboven. De tool van de bibliothecaris is ontworpen om alleen boeken op te pakken die rechtop staan. Dus wanneer het "Vuur"-boek nodig is, pakt de tool het perfect op. Maar wanneer "IJs" nodig is, ziet de tool de ondersteboven staande rug, de match is perfect, maar de tool weigert het boek op te pakken omdat het ondersteboven staat. De tool is geometrisch perfect, maar causaal nutteloos voor het ondersteboven staande boek. Dit gebeurt zelfs in de beste bibliotheken.
De "Drukke Plank" Valstrik (Competitieve Inertie): In de rommelige bibliotheek zijn de planken zo vol dat wanneer "Vuur" nodig is, er altijd een ander, luider boek voor springt en in plaats daarvan wordt gepakt. De tool zou "Vuur" kunnen pakken, maar krijgt nooit de kans. Dit is een teken dat de bibliotheek slecht georganiseerd is.

De Verrassing van "Lezen" versus "Schrijven"

Hier is het meest verbazingwekkende deel. De auteur ontdekte dat voor die ondersteboven staande "IJs"-boeken, de bibliothecaris blind maar krachtig was.

Read-Inert (Lees-inert): Als je de bibliothecaris vraat om het "IJs"-boek te vinden door de tool uit te schakelen, gebeurt er niets. De tool werd voor dat boek immers nooit ingeschakeld, dus het uitschakelen verandert niets. De bibliothecaris is blind voor de aanwezigheid van het boek.
Write-Active (Schrijf-actief): Maar als je de tool dwingt om het ondersteboven staande boek te grijpen, werkt het wel! Je kunt de output van de bibliotheek daadwerkelijk sturen met dat ondersteboven staande boek.

Dus een feature kan onmonitorbaar zijn (je kunt niet zien dat het werkt) maar wel stuurbaar (je kunt het gebruiken om het systeem te controleren). Het artikel noemt dit een "read-write dissociatie". Het is alsoals een afstandsbediening die de tv niet aan kan zetten, maar als je de knop ingedrukt houdt, kan hij wel van kanaal veranderen.

De Test in de Werkelijkheid

De auteur stopte niet bij de speelgoedbibliotheek. Ze namen hun nieuwe "Causal Audit"-tool en testten deze op een echte, gepubliceerde bibliotheek (een model genaamd GPT-2-small) met 83 verschillende concepten zoals "bijenhouden", "astronomie" en "recht".

Ze ontdekten dat 14% van de "succesvolle" matches dood waren (causaal inert).
Ze vonden ook een vreemde glitch: een handvol "decoder-atomen" (de tools van de bibliothecaris) bleven telkens weer als de beste match verschijnen voor tientallen totaal ongerelateerde concepten. Eén tool was de "beste match" voor astronomie, recht en cryptografie tegelijkertijd. Dit suggereert dat de bibliotheek probeert om dezelfde plank voor te veel verschillende dingen te gebruiken, net als in de simulatie.

De Conclusie

Het artikel concludeert dat we de "gelijkenis van de rug" (spine similarity) score alleen niet kunnen vertrouwen. Alleen omdat een feature een match lijkt, betekent het nog niet dat hij het werk doet.

De Regel: Als je deze tools wilt gebruiken om AI te monitoren of te besturen, moet je een "causal audit" uitvoer. Je moet controleren of de tool daadwerkelijk afvuurt wanneer het concept aanwezig is, en of je het systeem er ook echt mee kunt sturen.
De Waarschuwing: In een rommelige opstelling kan tot wel 77% van wat een succes lijkt, een falen zijn. Zelfs in een goede opstelling kan 9% een fout zijn.

De auteur heeft een gratis, open-source tool gebouwd, sae-causal-audit, om anderen te helpen hun eigen bibliotheken te controleren. Ze bewezen dat je niet alleen naar de geometrie moet kijken; je moet aan het systeem trekken om te zien of het echt werkt. Het is een herinnering dat in de wereld van AI, er juist uitzien niet hetzelfde is als het juist zijn.

Technische Samenvatting: Van Geometrische Reconstructie naar Causale Validatie

Probleemstelling
Het veld van mechanistische interpreteerbaarheid leunt zwaar op Sparse Autoencoders (SAEs) om superponeerde neurale representaties te deconstrueren in interpreteerbare kenmerken. De huidige evaluatiepraktijken maken voornamelijk gebruik van correlationele reconstructiemetrieken, specifiek de ongeziene cosinusgelijkenis tussen een grondwaarheid (of geprobeerde) kenmerkrichting en het best passende decoder-atoom. Dit artikel identificeert een kritieke evaluatiekloof: een hoge cosinusgelijkenis meet decoder-geometrische uitlijning (hoe goed het atoom het kenmerk reconstrueert), maar garandeert geen encoder-activatiegedrag (of het atoom daadwerkelijk vuurt wanneer het kenmerk aanwezig is). De auteurs stellen dat dit verschillende empirische claims zijn, en dat een kenmerk geometrisch perfect kan zijn maar causaal inert.

Methodologie
De auteurs voeren een volledig gecontroleerde audit uit met behulp van een klein, synthetisch speeltuigmodel waarbij de grondwaarheid bekend en volledig controleerbaar is. De methodologie verloopt in drie stadia:

Reproductie van Fase-diagrammen: Ze reproduceren het superpositie-fasediagram van Elhage et al. (2022) en de TopK-versus-L1 vergelijking van Gao et al. (2024). Dit omvat het trainen van SAE's op synthetische inputs met variërende sparsiteit en overcompletheidsratio's.
Causale Validatie Batterij: Voor elk kenmerk dat een standaard correlationele reconstructie-drempel passeert (cosinus $\ge$ $\geq$ 0,90), passen de auteurs twee interventies toe die worden voortgeplant door de werkelijke output-fase van het model:
- Ablatie: Het op nul zetten van de bijbehorende atoom-codering wanneer het kenmerk aanwezig is om de daling in de gereconstrueerde output van het kenmerk te meten (Read-richting).
- Sturing (Steering): Het forceren van het bijbehorende atoom naar een vaste waarde met het juiste teken wanneer het kenmerk afwezig is om de stijging in de output van het kenmerk te meten (Write-richting).
Instrumentontwikkeling: De auteurs verpakken deze methodologie in sae-causal-audit, een model-agnostische tool die strikte protocoltypering afdwingt (vereist encode, decode en dictionary-expositie) en een deterministische, hash-geverifieerde reproductie-pipeline implementeert om reproduceerbaarheid te waarborgen.

Belangrijkste Bijdragen en Resultaten

Fase-diagram Artefacten en Nieuwe Regimes:
- Geïdentificeerd een convergentie-artefact bij hoge sparsiteit waarbij onder-training zich voordoet als superpositie; opgelost door de stap-budgetten aan te passen.
- Ontdekt een voorheen onderbeschreven diffuus deelname-regime bij extreme overcompletheid (ratio 8, sparsiteit 0,99), waarbij kenmerken substantieel vertegenwoordigd zijn ( $\|W_i\|_2 \approx 1,40$ ) maar een lage kenmerk-dimensionaliteit vertonen ( $D_i \approx 0,08$ ) door symmetrische, meerweg overlap.
L1 vs. TopK en Shrinkage:
- Gereproduceerd de Pareto-dominantie van TopK SAE's over L1 SAE's.
- Bieden direct kwantitatief bewijs van L1-shrinkage: Het verfijnen van de magnituden van L1-geselecteerde atomen (het bevriezen van de support) herstelde 91,2% van het reconstructie-gat en verhoogde de gemiddelde magnituden met 22,5%, terwijl TopK een verwaarloosbare magnitude-verandering vertoonde. Dit bevestigt dat L1-straffen de activatie-sterktes systematisch richting nul biassen.
Causale Inertie:
- Primaire Bevinding: Correlationele reconstructie impliceert geen causale effectiviteit. In een gedegradeerde TopK SAE waren 77% van de kenmerken die de cosinus $\ge$ 0,90 drempel passeerden causaal inert (het bijbehorende atoom vuurde nooit). Zelfs in een goed getrainde SAE waren 9% van de gematchte kenmerken inert, inclusclusief matches met een cosinus $\approx$ 1,000.
- Mechanisme: Inertie ontstaat omdat decoder-geometrie (gebruikt voor reconstructie) perfect kan uitlijnen met een kenmerkrichting, terwijl de selectie-niet-lineariteit van de encoder (TopK/ReLU) dat specifieke atoom nooit selecteert.
Taxonomie van Causale Inertie:
De auteurs deconstrueren inertie op basis van oorzaak en richting:
- Op basis van Oorzaak:
  - Structurele Inertie: Veroorzaakt door antipodale-paar superpositie-geometrie (twee kenmerken die een richting delen met tegengestelde tekens) onder een positieve-pass encoder. Dit komt voor in zowel goede als slechte SAE's en is stabiel/voorspelbaar.
  - Competitieve Inertie: Veroorzaakt door TopK-selectie pathologie in gedegradeerde dictionaries waar een atoom net de competitie verliest. Dit is instabiel en gekoppeld aan numerieke grenssensitiviteit.
- Op basis van Richting:
  - Read-Inertie: Het atoom vuurt nooit, waardoor ablatie-gebaseerde monitoring blind is.
  - Write-Inertie: Interventies langs het atoom falen om het kenmerk te bewegen.
  - Dissociatie: De auteurs vonden vijf antipodale paren die read-inert maar write-steerable zijn. Een atoom kan onmonitorbaar zijn (vuurt nooit) maar toch zeer stuurbaar (specificiteit 143–310) wanneer het wordt geforceerd.
Reproduceerbaarheid als een Stapel van Claims:
Het artikel documenteert dat byte-exacte cross-platform reproduceerbaarheid door constructie niet beschikbaar is voor floating-point trainingsworkloads vanwege verschillen in compilers en BLAS. Ze stellen een tweeledige garantie voor: SHA-256 byte-exactheid binnen een gepinde omgeving, en semantische gelijkheid (tolerantie-gebaseerd) over platforms heen.
Real-Model Census:
Het toepassen van de instrumentatie op een productieve SAE (GPT-2-small, 83 concepten) reproduceerde het kwalitatieve patroon: 14% van de gereconstrueerde kenmerken was causaal inert. Cruciaal is dat de audit atoom-botsingen aan het licht bracht, waarbij één enkele decoder-atoom de dichtstbijzijnde match vormde voor tientallen semantisch ongerelateerde concepten over onafhankelijke batches heen, wat wijst op dictionary onder-splitting in echte modellen.

Betekenis en Claims
Het artikel claimt dat de afhankelijkheid van het veld van correlationele metrieken een "geometrisch plausibele, causaal misleidende" ruimte van oplossingen creëert. De betekenis ligt in:

Herdefiniëren van Validatie: Vaststellen dat een kenmerk niet is "gereconstrueerd" totdat het causale interventietests (ablatie en sturing) doorstaat, en niet alleen geometrische uitlijning.
Instrumentalisering: Het aanbieden van sae-causal-audit als een tool om deze fouten te detecteren, waarbij specifiek wordt benadrukt dat "perfecte" cosinus-matches causaal nutteloos kunnen zijn.
Structureel Inzicht: Aantonen dat antipodale superpositie een systematische foutmodus creëert (structurele inertie) die zelfs in hoogwaardige SAE's persisteert, wat de noodzaak voor teken-bewuste matching en richting-specifieke validatie (read vs. write) onderstreept.
Reproduceerbaarheidsstandaarden: Argumenteren dat reproduceerbaarheid moet worden gesteld als een stapel van claims met expliciete scopes in plaats van een binaire "volledig reproduceerbaar" badge.

De auteurs blijven bescheiden over absolute aantallen en merken op dat de speeltuig-setting dient als een kalibratiepunt voor de "makkelijke casus" en dat de percentages van echte modellen niet direct overdraagbaar zijn, hoewel de kwalitatieve divergentie tussen correlatie en causaliteit robuust is.