🤖 machine learning

Exemplar Partitioning for Mechanistic Interpretability

Dit artikel introduceert Exemplar Partitioning (EP), een onbewaakte methode die interpreteerbare kenmerkwoordenboeken construeert uit activaties van taalkundige modellen met behulp van waargenomen exemplaren in plaats van geleerde gewichten, waarbij een vergelijkbare prestatie op het gebied van interpreteerbaarheid wordt bereikt als bij sparse auto-encoders met ongeveer 1.000 keer minder trainings tokens, terwijl directe cross-model vergelijkingen mogelijk worden gemaakt en ingebouwde detectie van buiten-de-verdeling-gegevens wordt geboden.

Oorspronkelijke auteurs: Jessica Rumbelow

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jessica Rumbelow

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische, chaotische bibliotheek voor waar elk boek een enkele gedachte of zin vertegenwoordigt die een computermodel ooit heeft verwerkt. In deze bibliotheek staan de "ideeën" niet in woorden geschreven; ze zijn verborgen als complexe patronen van licht en elektriciteit.

Lange tijd hebben wetenschappers die deze modellen wilden begrijpen, gebruikgemaakt van een methode genaamd Sparse Autoencoders (SAE). Denk hierbij aan het inhuren van een team van dure, hoogopgeleide bibliothecarissen om elk boek te lezen, ze in duizenden specifieke categorieën in te delen en een nieuwe index te schrijven. Het kost een enorme hoeveelheid tijd en geld (rekenkracht) om deze bibliothecarissen op te leiden, en de categorieën die ze creëren, zijn gebaseerd op wat ze hebben geleerd om te zoeken.

Exemplar Partitioning (EP), de methode die in dit artikel wordt geïntroduceerd, is een volledig andere, veel goedkopere aanpak. In plaats van bibliothecarissen op te leiden, maakt het gebruik van een simpele, geautomatiseerde sorteermachine.

Hier is hoe het werkt, met behulp van alledaagse analogieën:

1. De "Wie Eerst Komt, Malt" Sorteermachine

Stel je voor dat je door een drukke ruimte loopt (de datastroom). Je wilt mensen groeperen op basis van hoe vergelijkbaar ze eruitzien.

De Oude Weg (SAE): Je huurt een ontwerper in om een perfecte, vooraf gedefinieerde set van 10.000 "bakken" te maken. Je besteedt vervolgens weken aan het trainen van een systeem om precies uit te zoeken welke persoon in welke bak gaat om fouten te minimaliseren.
De Nieuwe Weg (EP): Je loopt gewoon door de ruimte. Wanneer je de eerste persoon ziet, zeg je: "Oké, jij bent de Leider van Groep A." Iedereen die er heel veel op lijkt, sluit zich aan bij Groep A.
- Als je iemand ziet die er anders uitziet dan de huidige Leiders, zeg je: "Jij bent de Leider van een gloednieuwe Groep B."
- Je bepaalt niet van tevoren hoeveel groepen er zullen zijn. De groepen vormen zich natuurlijk op basis van hoe de mensen in de ruimte er werkelijk uitzien.

2. Het "Anker" Concept

In deze nieuwe methode wordt elke groep verankerd door een echte persoon die je daadwerkelijk hebt gezien (een "Exemplaar").

Waarom dit belangrijk is: In de oude methode kan een groep worden gedefinieerd door een "gemiddelde" van duizenden mensen, wat een spookachtige, imaginaire persoon is die in werkelijkheid niet bestaat. In de nieuwe methode is elke groep gekoppeld aan een echt, specifiek voorbeeld. Als je wilt weten waar "Groep A" over gaat, kijk je gewoon naar de eerste persoon die ermee begon. Je kunt zelfs naar die specifieke persoon wijzen en zeggen: "Als we de invloed van deze persoon weghalen, verdwijnt de groep."

3. De "Gratis Kaart" van de Ruimte

Omdat de groepen worden gevormd door eenvoudige afstand (hoe vergelijkbaar mensen eruitzien), creëert de methode een perfecte kaart van de ruimte.

De "Niet-Hier-Horende" Detector: Als je de ruimte binnenloopt en iemand ziet die er totaal anders uitziet dan een van de Leiders, weet het systeem direct: "Deze persoon hoort niet bij een groep die we eerder hebben gezien." Dit is een gratis manier om vreemde of onverwachte invoer te signaleren zonder extra training.

4. Wat het Artikel Eigenlijk Vond

De auteurs testten dit op een specifiek AI-model (Gemma-2-2B) en vonden enkele verrassende dingen:

Het is ongelooflijk snel en goedkoop: Ze bouwden deze woordenboeken met ongeveer 1.000 keer minder rekenkracht dan de traditionele methode. Het duurde minuten op één computerchip in plaats van weken van training.
Het werkt even goed voor het vinden van concepten: Toen ze het systeem vroegen om specifieke ideeën te vinden (zoals "wiskunde", "code" of "weigeren te antwoorden"), presteerde het bijna even goed als de dure, getrainde methode.
Het vond de "Weigering"-schakelaar: Ze ontdekten een specifieke groep invoer waarbij de AI besluit "Nee" te zeggen (een verzoek weigeren). Door naar de "Leider" van die groep te kijken, konden ze bewijzen dat als je dat specifieke patroon verwijdert, de AI stopt met weigeren. Dit laat zien dat de groepen echte, causale onderdelen zijn van hoe de AI denkt.
Het ziet de wereld anders: De nieuwe methode groepeert dingen op basis van dichtheid (klonten van vergelijkbare dingen), terwijl de oude methode dingen groepeert op basis van lijnen (wiskundige scheiding). Ze komen overeen bij de meest voor de hand liggende, duidelijke ideeën (de "kern"), maar ze splitsen de rommelige, complexe ideeën anders op.

5. Het Verschil tussen "Trainen" en "Kijken"

De belangrijkste conclusie is dat deze methode niets leert. Het probeert niet te raden wat de beste manier is om dingen in te delen. Het kijkt gewoon naar de datastroom, kiest de eerste paar unieke voorbeelden die het ziet, en sorteert alles anders op basis van hoe dicht het bij die voorbeelden ligt.

Omdat het niet afhankelijk is van een specifieke trainingsrun, kun je de "kaart" van een model vergelijken voor en na het trainen, en kun je precies zien welke groepen hetzelfde bleven en welke veranderden. Het is als het vergelijken van een kaart van een stad voor en na de bouw van een nieuwe snelweg, met behoud van dezelfde herkenningspunten.

Samenvattend: Dit artikel introduceert een manier om AI-modellen te begrijpen door hun gedachten simpelweg te organiseren in natuurlijke clusters op basis van echte voorbeelden, in plaats van ze in vooraf gemaakte dozen te dwingen. Het is sneller, goedkoper en net zo goed in het vinden van de "betekenis" binnen de machine.

Technische Samenvatting: Exemplar Partitioning voor Mechanistische Interpretatie

Probleemstelling

Mechanistische interpretatie streeft naar het reverse-engineeren van neurale netwerken naar voor mensen leesbare algoritmen. Huidige benaderingen staan voor specifieke beperkingen:

Circuit-analyse: Isolateert taakspecifieke subgrafieken, maar faalt in het produceren van een modelbreed inventaris van kenmerken.
Supervised Probing: Beperkt tot het testen van concepten die onderzoekers al weten te zoeken.
Sparse Autoencoders (SAE's): De dominante onbewaakte aanpak; SAE's leren een dictionary met vaste omvang door een reconstructiedoel te optimaliseren dat sparsiteit, reconstructie en dictionary-omvang bundelt. Dit trainingsproces is computatievermogen intensief (vereist miljarden tokens) en introduceert vastleggingen (bijv. vaste dictionary-omvang, lineaire basislearning) die intrinsieke eigenschappen van de activatiegeometrie van het model kunnen verduisteren.

De centrale vraag is: hoeveel van de kenmerkstructuur die SAE's blootleggen, is toe te schrijven aan het trainingsdoel zelf, versus hoeveel al aanwezig is in de activatiegeometrie van het model en toegankelijk via een meer directe, niet-geleerde constructie?

Methodologie: Exemplar Partitioning (EP)

Exemplar Partitioning is een onbewaakte methode voor het construeren van interpreteerbare kenmerkdictionaries uit Large Language Model (LLM)-activaties zonder training. Het behandelt de dictionary als een Voronoi-partitie van de activatieruimte, opgebouwd via leader clustering in één streaming-pass.

Kernconstructie

Streaming Leader Clustering: In plaats van activaties te middelen om centroiden te vormen (wat incoherente richtingen kan creëren en clustering-instabiliteit veroorzaken), gebruikt EP vaste exemplaren. Een exemplaar is een echte, waargenomen activatie uit de data-stroom.
- Wanneer een nieuwe activatie binnenkomt, wordt deze gecentreerd en genormaliseerd.
- Als de afstand tot het dichtstbijzijnde bestaande exemplaar onder een drempelwaarde ligt, sluit deze zich aan bij dat gebied.
- Als de drempel wordt overschreden, wordt het een nieuw exemplaar en start het een nieuw gebied.
Calibratie en Drempelwaarde: De afstandsdrempel $\theta_p$ is geen absolute waarde, maar het $p$ -de percentiel van paarwise afstanden berekend op een kleine calibratiebatch. Dit maakt het mogelijk om de resolutie van de dictionary af te stemmen (kleinere $p$ = fijnere granulariteit; grotere $p$ = grover) terwijl deze vergelijkbaar blijft tussen lagen en modellen.
Verzadigingscriterium: De dictionary groeit totdat een "verzadigingsvenster" voorbijgaat zonder nieuwe exemplaren. Dit betekent dat de dictionary-omvang niet vooraf wordt bepaald, maar wordt bepaald door de activatiegeometrie bij de gekozen resolutie.
Inferentie: Nieuwe activaties worden toegewezen aan hun dichtstbijzijnde exemplaar. De dictionary is native 1-sparse (one-hot), maar kan worden uitgebreid tot $n$ -sparse of dichte toewijzingen op basis van afstanden.

Belangrijkste Eigenschappen

Observabiliteit: Omdat gebieden zijn verankerd door waargenomen exemplaren in plaats van geleerde gewichten, zijn dictionaries gebouwd uit dezelfde data-stroom direct vergelijkbaar tussen lagen, modellen en trainingscheckpoints via exemplar-matching.
Stabiliteitsmetriek: Het artikel introduceert een statistiek $D_i = \log_{10}(N_i c_i^2)$ (waarbij $N_i$ het aantal leden is en $c_i$ de coherentie van leden) om de cross-seed stabiliteit van een gebied te voorspellen. Gebieden met een hoge $D_i$ zijn waarschijnlijker om te repliceren over verschillende streaming-volgorde.

Belangrijkste Bijdragen en Resultaten

1. Efficiëntie en Schaalbaarheid

EP construeert dictionaries met $\sim 10^3\times$ minder tokens dan vergelijkbare SAE's.

Bouwkosten: Een p1-dictionary voor Gemma-2-2B bouwt in minuten op een enkele GPU met $\sim 3.6 \times 10^6$ tokens, terwijl vergelijkbare SAE's training vereisen op miljarden tokens.
Geen Backpropagation: De methode vereist nul backward passes.

2. Interpretatie en Causale Interventie

Causale Ablatie: In Gemma-2-2B-it concentreert weigeringsgedrag zich in een specifiek EP-gebied. Het ableren van de exemplar-richting (de eerste-aankomende activatie) van dit gebied doet de vastgehouden weigering instorten met tot $\Delta = -0.96$ . Dit toont aan dat de "weigerrichting" een precieze as is die wordt vastgelegd door een enkel exemplaar, wat effectiever is voor interventie dan de gemiddelde richting van het gebied.
Cross-Checkpoint Matching: Het matchen van basis- en instructie-gefineerde dictionaries onthult dat instructiefine-tuning grotendeels de directionele structuur van het model herankert, waarbij slechts een klein universeel subset behouden blijft. Het toont ook aan dat de weigerrichting in het getuned model wordt gepromoveerd vanuit een binnen-prompt schadelijke-inhoudsrichting die aanwezig was in het basismodel.

3. Benchmarkprestaties

AxBench (Conceptdetectie): Op Gemma-2-2B-it L20 bereikt een EP-dictionary bij resolutie $p=1$ $p = 1$ een gemiddelde AUROC van 0.881 over 500 latente concepten.
- Dit is +0.126 boven de canonieke GemmaScope SAE-entry (0.755).
- Het ligt binnen 0.030 van de sterkste baseline, SAE-A (0.911), ondanks het gebruik van een kleinere kandidaatpool en aanzienlijk minder rekenkracht.
SAEBench (Informatiebehoud): Een p10 EP-dictionary ( $\ell_0=1$ ) behoudt $\sim 97\%$ van de probe-accuraatheid van ruwe-activaties (0.930 versus 0.959 voor IdentitySAE). Dit suggereert dat de lineair decodeerbare identiteit van concepten grotendeels behouden blijft door de dichtheidsstructuur alleen, zelfs bij het weggooien van bijna alle ruwe coördinaten.

4. Geometrische Inzichten

Dichtheid versus Lineaire Scheidbaarheid: EP en SAE's maken verschillende geometrische vastleggingen. EP committeert aan dichtheid (gebieden zijn echte kegels in de activatieruimte), terwijl SAE's committeren aan lineaire scheidbaarheid (sparse reconstructie).
Gedeeld Kern: Ongeveer 20% van de EP-gebieden komt overeen met een SAE-kenmerk bij $F1 > 0.5$ (bij $p=10$ ). Ze komen overeen waar richtingen zowel dichtheidsgeconcentreerd als lineair scheidbaar zijn.
Out-of-Distribution (OOD) Signaal: De afstand tot het dichtstbijzijnde exemplaar biedt een gratis OOD-signaal. Random tokens zijn consequent verder van hun dichtstbijzijnde exemplaar dan in-distribution tokens, waarbij de kloof zich verbreedt bij fijnere resoluties.

Betekenis en Claims

Het artikel claimt dat Exemplar Partitioning een nieuwe klasse van interpretatie-objecten biedt die:

Efficiënt zijn: Toegankelijk voor onderzoekers zonder compute-budgetten van frontier-labs.
Direct zijn: Ze onthullen eigenschappen van activatiegeometrie (dichtheid, stabiliteit, causale richtingen) die mogelijk worden verduisterd door de reconstructiedoelen van SAE's.
Commensureerbaar zijn: Het gebruik van waargenomen exemplaren maakt directe tracking van kenmerkevolutie mogelijk over trainingscheckpoints en modelvarianten zonder complexe align-procedures.

De auteurs benadrukken dat EP, hoewel het een "gedeeld kern" met SAE's vastlegt, ook brede, inhoud-geankerde gebieden blootlegt die SAE's versplinteren, en omgekeerd, SAE's sparse lineaire richtingen vastleggen die EP niet op een gegeven resolutie oplost. Het artikel concludeert dat de dichtheidsstructuur alleen veel van het signaal draagt dat wordt gemeten door probing, en dat de efficiëntie van de methode en de open dictionary-interface het een praktische toevoeging maken aan het toolkit voor interpretatie.

Erkende Beperkingen:

EP is seed-afhankelijk; de identiteit van gebieden verschuift met de streaming-volgorde, hoewel stabiliteit kan worden voorspeld via $D_i$ .
De huidige implementatie neemt een gecentreerde cosinus-geometrie aan, wat mogelijk geen kenmerken vastlegt die afhankelijk zijn van de grootte van de activatie.
De experimenten zijn verkennend; het artikel claimt niet dat EP een volledige vervanging is voor SAE's, maar eerder een complementaire, zeer efficiënte alternatief voor specifieke interpretatietaken.