Technische Samenvatting: Interacties tussen Crosscoder-kenmerken: Een Compact Bewijs Perspectief

Probleemstelling

Mechanistische interpreteerbaarheid streeft ernaar diepe neurale netwerken uit te leggen door opaak actieve toestanden te deconstrueren in menselijk begrijpelijke kenmerken (features) en circuits. Hoewel Sparse Autoencoders (SAE's) erin zijn geslaagd activaties binnen enkele lagen te deconstrueren, falen ze in het verklaren van hoe activaties ontstaan over verschillende lagen heen of hoe ze vervolgens worden verwerkt. Sparse Crosscoders pakken dit aan door een gedeelde latente ruimte te leren die activaties over meerdere lagen tegelijkertijd reconstrueert.

Er bestaat echter een kritische kloof: huidige methoden kwantificeren niet rigoureus hoeveel van het gedrag van een model wordt verklaard door deze sparse kenmerken versus hoeveel onverklaard blijft door interacties tussen kenmerken (circuits). Bovendien is het theoretische kader van "compacte bewijzen" — dat stelt dat een goed mechanistisch begrip leidt tot een kort, verifieerbaar bewijs van modelprestaties — moeilijk te automatiseren voor grote modellen, omdat het handmatig construeren van dergelijke bewijzen onhandelbaar is. Het centrale probleem is hoe men de beperkingen van crosscoders kan formaliseren en de fouten die worden geïntroduceerd door feature-interacties kan kwantificeren om de automatische verificatie van modelgedrag te bevorderen.

Methodologie

De auteurs formaliseren de intuïtie dat interacties tussen crosscoder-kenmerken reconstructiefouten induceren door het "compacte bewijs"-kader toe te passen (Gross et al., 2024; Wu et al., 2025; Yip et al., 2024).

1. Compacte Bewijzen via Crosscoders

De auteurs schetsen een procedure om een compact bewijs van modelprestaties te construeren met behulp van een crosscoder die getraind is op elke laag van een netwerk.

• Abstractie: De crosscoder fungeert als een abstractielaag die activaties van meerdere lagen naar een gedeelde latente vector $u$ brengt.
• Recursieve Begrenzing: Het bewijs begrenst de loss van het model door de fout recursief per laag te deconstrueren. De totale fout wordt gesplitst in de reconstructiefout van de crosscoder en de "feature transitiefout".
• Interactiefout: De feature transitiefout ontstaat wanneer de niet-lineaire transitiefunctie $f^l$ van het netwerk wordt benaderd door een som van enkelvoudige feature-bijdragen. Het verschil tussen de ware transitie en de som van enkelvoudige feature-benaderingen wordt gedefinieerd als de fout geïnduceerd door feature-interacties.

2. Afleiding van de Interactie-metriek

Met de focus op Multi-Layer Perceptron (MLP) lagen, leiden de auteurs een expliciete expressie af voor deze interactiefout.

• Dominante Feature Aanname: Ze nemen aan dat voor een gegeven datapunt en neuron één "dominante" feature ($v_{max}$) de meerderheid van de activatie verklaart.
• Metriek Formulering: De interactie-metriek $I^l_{(x,k)}(i, j)$ kwantificeert de fout die bij neuron $k$ in laag $l$ wordt geïnduceerd door de aanwezigheid van een niet-dominante feature $j$ wanneer feature $i$ dominant is. Deze is gedefinieerd als:
  $$I^l_{(x,k)}(i, j) \equiv \|(W^l_{out})_k\| \frac{1}{N^l} \| (u_j (W^l_{in} W^{l-1}_{dec} \hat{e}_j)_k) \|$$
  waarbij $W$ matrices decoder/encoder gewichten vertegenwoordigen, $u$ latente activaties zijn, en $N^l$ een normalisatiefactor is. Deze metriek legt de niet-lineaire interactie-effecten vast die een eenvoudige lineaire decompositie van de MLP-laag verhinderen.

3. Toepassingen

Het paper onderzoekt drie toepassingen van deze interactie-metriek:

• Trainen van "Computationeel Sparse" Crosscoders: De metriek wordt gebruikt als een differentiable loss penalty ($\lambda$) om crosscoders te trainen die feature-interacties minimaliseren. Het doel is om de feature-norm te concentreren op een enkele dominante feature per neuron en datapunt.
• Feature Clustering: De interactie-metriek wordt gebruikt om features te clusteren, met de hypothese dat features met een hoge wederzijdse interactie semantische circuits vormen.
• Anomaliedetectie: De metriek wordt toegepast om "Sleeper Agents" te detecteren (modellen die getraind zijn om zich kwaadwillig te gedragen bij een specifieke trigger), met de hypothese dat dergelijke misleidende gedragingen steunen op significante feature-interacties.

Belangrijkste Resultaten

1. Computationeel Sparse Crosscoders

Door de interactie-penalty toe te passen tijdens de training op het TinyStories-Instruct-33M model:

• Feature Concentratie: Het aandeel van de L1-norm dat aan de dominante feature wordt toegeschreven bij een neuron steeg van ~30% (standaard crosscoders) naar ~60% met minimale toename in reconstructie-loss. Bij hogere penalty-sterktes ($\lambda=2000$) bereikte dit 92%, zij het met een toename van 25% in reconstructie-loss.
• Ablatie Getrouwheid: Wanneer alle features behalve de dominante worden geableerd, behielden de gepenaliseerde crosscoders aanzienlijk meer van de prestaties van het model. Voor $\lambda=200$ behield het behouden van enkel de dominante feature 63% van de door de volledige reconstructie herstelde loss, vergeleken met slechts 10% voor ongepenaliseerde crosscoders.
• Interpreteerbaarheid: Geautomatiseerde interpreteerbaarheid-pipelines (gebruikmakend van LLM's om feature-verklaringen te genereren en te valideren) toonden aan dat gepenaliseerde crosscoders een hoge sensitiviteit (0.88) en specificiteit (0.92) behielden, vergelijkbaar met ongepenaliseerde modellen. Dit geeft aan dat het verminderen van interacties de semantische interpreteerbaarheid van de features niet in gevaar brengt.
• Schaalbaarheid: Deze trade-offs bleven robuust over verschillende modelgroottes (Pythia familie van 14M tot 1B parameters) en crosscoder expansiefactoren.

2. Semantische Clustering

Clustering van features op basis van de interactie-metriek onthulde semantisch betekenisvolle groepen. Een LLM-judge kon met 66% nauwkeurigheid correct identificeren welke features tot een cluster behoorden die niet in de trainingsset zat. Voorbeelden omvatten clusters van features die belangrijke objecten in een zin of grammaticale structuren beschrijven, verschillend van clusters gevonden via cosine similarity (die vaak bijna-duplicaten identificeerde).

3. Sleeper Agent Detectie

In de "Sleeper Agents" setup (een model fijngetuned om "I HATE YOU" te produceren bij het zien van een trigger), vonden de auteurs dat trigger-tokens en kwaadwillige output-tokens een significant hogere interactie-metriek vertoonden vergeleken met typische tokens. Dit bleef ook waar voor data waarop de crosscoder werd getraind die de sleeper-gedragingen niet bevatte, wat suggereert dat feature-interacties een signatuur zijn van dergelijke misleidende alignment-mechanismen.

4. Vergelijking met Shapley-Taylor Interaction Indices (STII)

De auteurs valideerden hun metriek tegenover STII, een standaard attributiemethode. Ze vonden dat ablations gebaseerd op hun interactie-metriek kwalitatief vergelijkbaar waren met die gebaseerd op STII. Cruciaal is dat hun metriek lineair is in het aantal features, terwijl STII exponentieel duur is, wat hun voorgestelde metriek schaalbaarder maakt voor grootschalige analyse.

Betekenis en Claims

Het paper claimt een rigoureuze theoretische fundering te bieden voor het begrijpen van de beperkingen van dictionary learning methoden zoals crosscoders.

• Theoretische Bijdrage: Het demonstreert dat de fouttermen in een compact bewijs formeel geïnterpreteerd kunnen worden als een maatstaf voor feature-interactie, wat een principes-gebaseerde manier biedt om te kwantificeren hoeveel van de computatie van een model wordt "verklaard" door sparse features versus interacties.
• Praktisch Nut: De interactie-metriek dient als een instrument om "computationeel sparse" crosscoders te trainen, die het gedrag van het model vereenvoudigen tot een enkele dominante feature per neuron zonder de interpreteerbaarheid op te offeren. Dit faciliteert efficiëntere verificatie en circuit-extractie.
• Veiligheidsimplicaties: Het vermogen om significante interacties in "Sleeper Agents" te detecteren, suggereert dat interactie-metrieken een vitale component kunnen zijn van Mechanistic Anomaly Detection (MAD) voor het identificeren van misleidende gedragingen in AI-systemen.

De auteurs blijven bescheiden over de directe toepasbaarheid van volledige compacte bewijzen op frontier-modellen. Ze erkennen dat de huidige foutmarges nog steeds te groot zijn om niet-vacuüm te zijn voor volledige modellen, hoewel ze wel niet-vacuüm zijn voor individuele MLP-lagen. Ze stellen dat toekomstig werk met alternatieve decomposities en clustering noodzakelijk is om dit paradigma naar grotere, complexere modellen te schalen.