💻 computer science

Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features

Dit artikel stelt een methode voor om features van spars auto-encoders uit taalmiddelen om te zetten in gestructureerde, domein-gefilterde kennisgrafieken door het opzetten van een strikt conceptuniversum en het bouwen van uitgelijnde co-occurrence- en mechanismegrafieken met geautomatiseerde labeling, waardoor platte feature-inventarissen worden omgezet in interpreteerbare globale kaarten van modelkennis voor het auditen van redeneertrouw.

Oorspronkelijke auteurs: John Winnicki, Abeynaya Gnanasekaran, Eric Darve

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: John Winnicki, Abeynaya Gnanasekaran, Eric Darve

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische bibliotheek voor binnen een computerbrein (een Large Language Model). In deze bibliotheek bevinden zich miljoenen kleine, gloeiende schakelaars (kenmerken) die oplichten wanneer de computer een woord leest.

Het Probleem: Een Rommelige Stapel Schakelaars
Op dit moment krijgen onderzoekers, als ze naar deze schakelaars kijken, een platte, chaotische lijst van miljoenen items. Het is alsof je een doos met 10 miljoen Lego-blokjes krijgt die op de vloer zijn omgegooid. Sommige Lego-blokjes zijn rood (biologieconcepten), sommige zijn blauw (grammaticaregels) en sommige zijn gewoon stof (leestekens).

De rode Lego-blokjes liggen overal verspreid, gemengd met de blauwe.
Er is geen kaart die aangeeft welke rode Lego-blokjes bij elkaar horen om een "hart" of een "cel" te bouwen.
Je kunt niet zien hoe één Lego-blokje met een ander verbonden is.

De Oplossing: Een "Kenniskaart" Bouwen
Dit artikel stelt een manier voor om die rommelige stapel op te ruimen en een gestructureerde kaart te bouwen, specifiek voor een biologiehandboek. Ze doen dit in drie hoofdstappen, met behulp van enkele slimme trucs:

1. De "Domeinfilter" (De Portier)

Eerst moeten ze de rommel verwijderen. Ze gebruiken een "portier"-systeem om elk enkel Lego-blokje te controleren.

De Truc: Ze vergelijken het biologiehandboek met andere boeken (zoals geschiedenis of geologie).
De Logica: Als een Lego-blokje oplicht in elk boek (zoals een schakelaar voor het woord "de" of een komma), is het generieke ruis. De portier gooit het eruit.
Het Resultaat: Ze houden alleen de Lego-blokjes over die specifiek voor biologie oplichten. Dit creëert een "Strikt Conceptuniversum" – een schone doos met alleen de biologie-onderdelen.

2. Het Bouwen van Twee Weergaven van de Kaart

Zodra ze de schone doos met biologie-Lego hebben, bouwen ze twee verschillende kaarten om te begrijpen hoe ze bij elkaar passen.

Kaart A: De "Co-occurrence"-kaart (Wie hangt met wie samen?)

De Analogie: Stel je voor dat je door een feest loopt. Je merkt dat mensen die praten over "fotosynthese" ook de neiging hebben om te praten over "bladeren" en "zonlicht".
De Methode van het Artikel: Ze kijken naar het hele handboek en trekken lijnen tussen concepten die in dezelfde zinnen, alinea's of hoofdstukken voorkomen.
Het Resultaat: Deze kaart toont de "buurten". Het bewijst dat de computer biologie-onderwerpen organiseert, net zoals een menselijk handboek doet. Het toont aan dat "Ademhalingssysteem" een aparte buurt is, gescheiden van "Immuunsysteem", en het toont zelfs de "bruggen" waar onderwerpen overlappen.

Kaart B: De "Transcoder"-kaart (Hoe verandert één idee in een ander?)

De Analogie: Stel je een fabrieksproductielijn voor. Je legt een ruw stuk hout (een bronconcept) op de band, en het komt aan de andere kant als een afgewerkte stoel (een doelconcept).
De Methode van het Artikel: Ze kijken hoe de computer een zin verwerkt terwijl deze van de ene laag van zijn brein naar de volgende beweegt. Ze traceren de "bedrading" om te zien hoe een concept in de eerste laag wordt omgezet in een concept in de volgende laag.
Het Resultaat: Dit is niet zomaar een lijst van buren; het is een stroomschema. Het toont het mechanisme van hoe de computer denkt. Bijvoorbeeld, het laat zien hoe het idee van "zuurstof" in de ene laag wordt verwerkt en omgezet in "ademen" in de volgende.

3. Labels Toevoegen (Een Diagram Omzetten in een Verhaal)

Een kaart met alleen lijnen en stippen is nog steeds moeilijk te lezen. De laatste stap is het toevoegen van "Auto-Relate"-labels.

De Analogie: In plaats van dat een lijn alleen "Knoop A" met "Knoop B" verbindt, schrijven ze een zin op de lijn: "Knoop A leidt tot Knoop B" of "Knoop A is onderdeel van Knoop B".
De Methode van het Artikel: Ze gebruiken de daadwerkelijke zinnen uit het boek om deze labels te schrijven. Als het bewijs aantoont dat "cellen" en "energie" altijd op een specifieke manier samen voorkomen, krijgt de lijn ertussen het label "levert energie voor".
Het Resultaat: De rommelige stapel schakelaars is nu een leesbare, gelabelde "Kennisgrafiek". Het is niet langer alleen maar een lijst met getallen; het is een verhaal over hoe de computer biologie begrijpt.

Het Grote Plaatje

De auteurs hebben dit getest op een biologiehandboek. Ze ontdekten dat:

Structuur: De kaart die ze bouwden, hoofdstukken en subhoofdstukken op een natuurlijke manier groepeerde, net als de inhoudsopgave van het boek, zonder dat ze daarvoor instructies kregen.
Duidelijkheid: Ze konden een enkele rommelige zin met duizenden actieve schakelaars comprimeren tot een schone, leesbare diagram die precies laat zien welke concepten met elkaar spraken.

Kortom: Ze namen een chaotische, platte lijst van miljoenen computerkenmerken, filterden de ruis eruit en organiseerden de rest in een gestructureerde, gelabelde kaart die laat zien hoe de computer kennis intern organiseert en verwerkt.

1. Probleemstelling

Sparse Autoencoders (SAE's) hebben de extractie mogelijk gemaakt van miljoenen interpreteerbare kenmerken uit Large Language Models (LLM's), waardoor men verder gaat dan ondoorzichtige neuronen naar monosemantische kenmerken. Echter, huidige SAE-inventarissen vormen aanzienlijke uitdagingen voor interpretatie:

Vlakke Inventarissen: Kenmerken worden vaak gepresenteerd als ongestructureerde lijsten, waardoor het moeilijk is om relaties tussen hen te begrijpen.
Ruis en Generaliteit: Inventarissen bevatten een mix van domeinspecifieke concepten, generieke opmaak- en leestekenskenmerken en zwak verankerde patronen.
Verspreide Concepten: Semantisch gerelateerde ideeën zijn vaak verspreid over veel naburige kenmerken in plaats van gelokaliseerd te zijn.
Gebrek aan Structuur: Er is geen inherente mechanisme om te begrijpen hoe concepten clusteren, scheiden of onderwerpen over een corpus verbinden, noch hoe ze stromen door de lagen van het model tijdens lokale berekening.

Het kernprobleem is het transformeren van een vlakke, ruisende SAE-inventaris in een gestructureerd, domeinspecifiek intern kennisnetwerk dat zowel de globale organisatiestructuur als lokale mechanistische paden onthult.

2. Methodologie

De auteurs stellen een pijplijn voor die gaat van een ruwe SAE-inventaris naar een strikt conceptuniversum, dat vervolgens wordt georganiseerd in twee uitgelijnde grafische weergaven: een Co-occurrence Graph (corpusniveau) en een Transcoder Mechanism Graph (lokaal niveau).

A. Het Construeren van een Strikt Conceptuniversum (Filteren)

Voordat de grafiek wordt geconstrueerd, passen de auteurs een meerfasig filteringsproces toe om een relevant domeinspecifiek gebied ( $V^*$ ) te isoleren uit de ruwe inventaris ( $V$ ):

Contrastieve Shortlisting: Kenmerken worden gescoord op basis van drie assen door het doelcorpus (bijvoorbeeld een biologiehandboek) te vergelijken met contrastcorpora (bijvoorbeeld geschiedenis/geologie):
- Ondersteuning: Is het kenmerk betekenisvol aanwezig in het doel?
- Verrijking: Is het kenmerk meer karakteristiek voor het doel dan voor de contrasten?
- Lokalisatie: Concentreert het zich in coherente hoofdstukken/subhoofdstukken in plaats van overal te diffunderen?
Packet-niveau Adjudicatie: Overlevende kenmerken worden verpakt in "evidence packets" met beschrijvingen, representatieve vensters en contrastgegevens. Een gefaseerde adjudicator verifieert of het concept zichtbaar is, tot het doelgebied behoort en onderscheidend is ten opzichte van de contrasten.
Resultaat: Een strikt universum $V^*$ dat alleen kenmerken met een hoge zekerheid en domeinrelevantie bevat.

B. Grafiekconstructie

Twee complementaire grafische weergaven worden gebouwd over $V^*$ :

Multi-Granulaire Co-occurrence Graph (Corpusstructuur):
- Doel: Onthullen hoe concepten clusteren en onderwerpen over het hele corpus verbinden.
- Mechanisme: Kenmerken worden gescoord op aanwezigheid in zinnen op basis van activatiedrempels. Deze aanwezigheid wordt deterministisch omhooggehaald naar paragrafen, subhoofdstukken en hoofdstukken.
- Randen: Geconstrueerd met behulp van Jaccard-genormaliseerde co-occurrence-aantallen ( $J_{ab}$ ) tussen kenmerken. Dit creëert een grafiek op hetzelfde niveau die aangeeft welke concepten op verschillende schalen samen voorkomen.
Transcoder Mechanism Graph (Lokale Cross-Layer Stroom):
- Doel: Uitleggen hoe bronlaag-concepten transformeren naar doellaag-concepten op specifieke inputs.
- Mechanisme: Gebruik van een Transcoder (een sparse autoencoder die is getraind om de residual stream van Laag $L$ naar Laag $L+1$ te mappen) naast SAE-dictionaries voor beide lagen.
- Randen: Gerichte randen vertegenwoordigen leesbare paden waarbij een bronkenmerk een spars latent activeert, dat op zijn beurt schrijft naar een doelkenmerk.
- Statisch vs. Dynamisch:
  - Statisch: Een bibliotheek van mogelijke paden gebaseerd op samenvattende statistieken.
  - Dynamisch: Een door de zin gecommandeerde grafiek die aangeeft welke paden daadwerkelijk actief zijn voor een specifieke input.

C. Hiërarchie-bewuste Compressie & Randlabeling

Abstractiehiërarchie: Om met dichtheid om te gaan, worden kenmerken georganiseerd in een semantische boom (abstractieboom) met behulp van mutual-kNN-clustering op kenmerkbeschrijvingen.
Compressie: Dichte lokale mechanismegrafieken worden gecomprimeerd door coherente sub-bomen in te klappen tot "supernodes", terwijl kritieke actieve randen (blokkerende randen) behouden blijven om de fideliteit te handhaven.
Randlabeling (Auto-Relate): In plaats van ongelabelde gewogen randen, genereert het systeem leesbare relatiezinnen.
- Co-occurrence-randen: Gelabeld met gezamenlijke en contrastieve bewijszinnen (bijvoorbeeld om "Yellowstone" te onderscheiden van generiek "geel").
- Mechanismeranden: Gelabeld met de sterkste zin-niveau bewijs en latent hints om de transformatie te beschrijven (bijvoorbeeld "Bronconcept ondersteunt Doelconcept via Latent X").

3. Belangrijkste Bijdragen

Meerfasige Contrastieve Filtering: Een nieuw proces om een strikt, domeinspecifiek conceptuniversum uit enorme SAE-inventarissen te extraheren en generieke ruis te verwijderen.
Dual-View Knowledge Graphs: De constructie van twee uitgelijnde grafieken:
- Een Co-occurrence Graph voor globale, multi-granulaire corpusstructuur.
- Een Transcoder Mechanism Graph voor lokale, gerichte cross-layer conceptstroom.
Hiërarchische Compressie: Een methode om dichte mechanismegrafieken te comprimeren tot leesbare "mechanisme-atlassen" met behulp van een semantische hiërarchie, waarbij detail en leesbaarheid in evenwicht worden gebracht.
Evidentie-ondersteunde Randsemantiek: Een geautomatiseerd labelsysteem dat statistische randen omzet in leesbare, met bewijs onderbouwde kennisnetwerkrelaties.

4. Resultaten

Het framework werd geëvalueerd op een corpus van een biologiehandboek met behulp van Gemma Scope SAE's (Lagen 20-21).

Structuurherstel: De grafieken hebben succesvol de door mensen gemaakte organisatie van het handboek hersteld.
- Globale Schaal: Duidelijke "bekkens" van activatie werden waargenomen voor verschillende hoofdstukken (bijvoorbeeld Erfelijkheid versus Biotechnologie) op gedeelde coördinaten.
- Lokale Schaal: Fijnere subhoofdstukstructuren werden behouden binnen hoofdstukbekkens.
- Metrieken: Kwantitatieve analyse toonde een hoge uitlijning tussen grafiekpartities en handboekhoofdstukken/subhoofdstukken, met zin- en paragraafaggregatie die de sterkste structuurheropleving opleverden.
Leesbaarheid: De pijplijn transformeerde succesvol diffuse activiteit op zin-niveau (duizenden kenmerken) in compacte, leesbare mechanisme-atlassen.
Brugconcepten: De grafieken onthulden concepten die naburige onderwerpen verbinden, die vaak worden gemist in vlakke lijsten.
Mechanismeverklaring: De transcoder-grafieken boden gerichte, interpreteerbare weergaven van hoe specifieke concepten (bijvoorbeeld "ademhalingssysteem") worden verwerkt en getransformeerd over lagen, met randen gelabeld met natuurlijke taalrelaties.

5. Betekenis

Dit werk vertegenwoordigt een paradigmaverschuiving in mechanistische interpretatie:

Van Inventaris naar Kaart: Het herformuleert SAE-kenmerken niet als een vlakke lijst van "wat het model weet", maar als een intern kennisnetwerk dat vertegenwoordigt "hoe het model die kennis organiseert en gebruikt".
Trouw-Audit: Door een gestructureerde, met bewijs onderbouwde interne kaart te creëren, stelt de methode toekomstige audits in staat om te beoordelen of het gegenereerde redeneren van een model (Chain-of-Thought) trouw de interne activatiestructuur weerspiegelt.
Schaalbaarheid: De aanpak toont aan dat het zelfs met miljoenen kenmerken mogelijk is om coherente, domeinspecifieke weergaven van modelinterne processen te construeren zonder handmatige curatie van elk kenmerk.
Interactieve Verkenning: De auteurs bieden een interactief browser-artefact, waardoor onderzoekers de geleerde grafiekstructuur kunnen navigeren, brugregio's kunnen traceren en zinsniveau-mechanismen dynamisch kunnen inspecteren.

Kortom, het artikel biedt een robuust framework voor het converteren van ruwe, hoogdimensionale SAE-activaties naar gestructureerde, menselijk leesbare kennisnetwerken die zowel de globale topologie van modelkennis als de lokale mechanica van redeneren vastleggen.