🤖 machine learning

Scalable Circuit Learning for Interpreting Large Language Models

Het artikel introduceert CircuitLasso, een schaalbare sparse lineaire regressiemethode die efficiënt interpreteerbare circuits leert over sparse autoencoder-features in grote taalmodellen, waarbij de nauwkeurigheid van kostbare interventiegebaseerde technieken wordt evenaart terwijl effectieve domeingeneralisatie mogelijk wordt gemaakt tegen een fractie van de computationele kosten.

Oorspronkelijke auteurs: Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Naiyu Yin, Dennis Wei, Tian Gao, Amit Dhurandhar, Karthikeyan Natesan Ramamurthy, Yue Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een enorme, ongelooflijk complexe fabriek. Binnen deze fabriek geven miljoenen kleine werkers (neuronen) briefjes aan elkaar om de uiteindelijke output te produceren: een zin of een antwoord.

Al een lange tijd staan wetenschappers die proberen te begrijpen hoe deze fabriek werkt, voor een groot probleem: de werkers zijn verwarrend. Een enkele werker kan tegelijkertijd geactiveerd worden door het woord "appel", de kleur "rood" en het concept "gezondheid". Omdat één werker zoveel ongerelateerde dingen doet, is het moeilijk te bepalen welke specifieke werker verantwoordelijk is voor welk deel van de uiteindelijke zin. Het is alsof je probeert uit te zoeken wie de taart heeft gebakken wanneer elke bakker in de keuken tegelijkertijd met bloem, eieren en penseelstreken jongleert.

Het Nieuwe Gereedschap: "Feature Detectors"

Om dit op te lossen, begonnen onderzoekers een speciaal hulpmiddel te gebruiken: een Sparse Autoencoder (SAE). Denk aan dit als een vertaler die tussen de fabrieksarbeiders en de buitenwereld staat. In plaats van de verwarde werkers direct te bekijken, groepeert de vertaler hun activiteit in zeer specifieke, doelgerichte "features".

Nu, in plaats van een werker die met alles jongleert, hebben we een toegewijde "Sportfan"-feature, een "Grammaticapolitie"-feature of een "Honger"-feature. Elke van deze features licht alleen op voor één duidelijk concept. Dit maakt de interne werking van de fabriek veel gemakkelijker te lezen.

Het Probleem: Te Veel Data

Hier is de crux: hoewel deze "features" veel duidelijker zijn, zijn er duizenden van hen. Proberen te mappen hoe duizenden van deze features met elkaar communiceren, is als het tekenen van een kaart van elke afzonderlijke weg in een enorme stad terwijl je in een auto rijdt die slechts één mijl per uur kan gaan.

De oude methoden voor het in kaart brengen van deze verbindingen vereisten "interventies". Stel je voor dat je een wegenkaart probeert te begrijpen door fysiek elke straat één voor één af te sluiten om te zien wat er gebeurt. Dit is ongelooflijk traag, duur en computationeel onmogelijk voor enorme modellen.

De Oplossing: CircuitLasso

De auteurs van dit paper introduceren een nieuwe methode genaamd CircuitLasso.

In plaats van straten één voor één af te sluiten, werkt CircuitLasso als een superintelligente detective met een vergrootglas en een statistische afkorting. Het kijkt naar de verkeerspatronen (de data) die al natuurlijk plaatsvinden en gebruikt een wiskundige techniek genaamd "sparse regression" om de verbindingen te achterhalen.

De Analogie: Stel dat je wilt weten welke ingrediënten in een soep essentieel zijn.
- De Oude Manier (Interventie): Je proeft de soep, verwijdert dan één ingrediënt, proeft opnieuw, legt het terug, verwijdert een ander, proeft opnieuw... en doet dit voor elke specerij. Het duurt eeuwig.
- CircuitLasso: Je bekijkt een lijst van alle ingrediënten en de uiteindelijke smaak, en je gebruikt een slim algoritme om direct te berekenen welke ingrediënten echt het zware werk doen. Het is veel sneller en vereist niet het aanpassen van de soep.

Wat Ze Hebben Ontdekt

Het paper beweert drie hoofdzaken:

Snelheid zonder Offer: CircuitLasso is dramatisch sneller dan de oude "straten afsluiten"-methoden. In hun tests waren ze 3 keer sneller op standaard benchmarks, terwijl ze exact dezelfde "circuits" (kaarten van verbindingen) vonden met hetzelfde niveau van nauwkeurigheid.
Duidelijkere Verhalen: Omdat het werkt met de heldere "features" (zoals "Honger" of "Grammatica") in plaats van de verwarde neuronen, zijn de kaarten die het tekent gemakkelijk te begrijpen voor mensen. Ze vonden "boomvormige" paden die laten zien hoe een concept als "honger" door de lagen van het model stroomt, wat uiteindelijk leidt tot de actie van "eten". Ze ontdekten zelfs "spuria-correlaties" — valse verbindingen waarbij het model denkt dat "honger" gerelateerd is aan "zelf" simpelweg omdat die woorden vaak samen voorkomen in de trainingsdata.
Praktisch Nut: Ze testten dit op een taak waarbij het model iemands beroep moest raden op basis van een biografie. Het model was bevooroordeeld (bijv. ervan uitgaande dat alle verpleegkundigen vrouw zijn). Door CircuitLasso te gebruiken om de specifieke "gender"-features te identificeren en te verwijderen die de oorzaak waren van deze bias, waren ze in staat de voorspellingen van het model te corrigeren. Ze deden dit veel goedkoper en sneller dan eerdere methoden, waarbij ze vergelijkbare of zelfs iets betere resultaten behaalden.

De Kernboodschap

Dit paper presenteert een nieuwe, efficiënte manier om te achterhalen hoe AI-modellen denken. Door over te schakelen van het bekijken van verwarde werkers naar het bekijken van heldere, doelgerichte features, en door een snelle wiskundige afkorting te gebruiken in plaats van trage, brute-force testen, hebben de auteurs een tool gecreëerd die het "brein" van grote AI-modellen snel en duidelijk in kaart kan brengen. Dit helpt ons niet alleen te begrijpen wat de AI zegt, maar ook waarom het dat zegt, en hoe we het kunnen repareren wanneer het fouten maakt.

Technische Samenvatting: Schaalbare Circuit Learning voor het Interpreteren van Large Language Models

1. Probleemstelling

Mechanistische interpreteerbaarheid streeft ernaar de "waarom"-vraag achter het gedrag van Large Language Models (LLM's) te ontrafelen door het identificeren van circuits: compacte subgrafen die sleutelcomponenten (bijv. attention heads, neuronen) verbinden en specifieke capaciteiten aansturen. De huidige methoden voor circuit learning kampen echter met twee primaire knelpunten:

Polysemantiek: Ruwe neuronen in LLM's zijn polysemantisch, wat betekent dat een enkel neuron activeert voor meerdere, ongerelateerde concepten. Dit resulteert in geleerde circuits die dicht, ruisachtig en moeilijk interpreteerbaar zijn voor mensen.
Schaalbaarheid: Hoewel Sparse Autoencoders (SAEs) een oplossing bieden door activaties te deconstrueren naar hoogdimensionale, monosemantische (enkelvoudige concept) features, schalen bestaande interventie-gebaseerde circuit learning-methoden (bijv. causal tracing, attribution patching) niet naar de hoge dimensionaliteit van SAE-features. Deze methoden vereisen computationeel dure contrafeitelijke interventies (forward en backward passes) voor elke component, wat prohibitief is voor grote modellen en hoogdimensionale feature-ruimtes.

2. Methodologie: CircuitLasso

De auteurs stellen CircuitLasso voor, een schaalbare circuit learning-aanpak die kostbare interventie-gebaseerde pipelines vervangt door een sparse lineair regressie-framework.

Kernformulering

In plaats van causale effecten te schatten via interventies, behandelt CircuitLasso de computationele graaf van de LLM als een sparse lineair Structureel Vergelijking Model (SEM). Gegeven $N$ componenten (neuronen of SAE-features) en $M$ observaties, zoekt de methode naar een gewogen adjacency matrix $A$ zodanig dat:
$X \approx A^\top X$
waarbij $X$ de matrix van activaties is. Het doel is om een Directed Acyclic Graph (DAG) te leren die afhankelijkheden representeert door de reconstructiefout te minimaliseren onder voorwaarden van sparsity ( $\ell_1$ -penalty) en acycliciteit:
$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$

Afhandeling van Constraints en Schaalbaarheid

Acycliciteit: In plaats van complexe continue acycliciteitsrestricties af te dwingen (die computationeel zwaar zijn), maakt CircuitLasso gebruik van de bekende feed-forward architectuur van Transformers. Het gaat uit van een block upper-triangular structuur waarbij laag $i$ alleen afhankelijk is van lagen $j < i$ . Dit transformeert het probleem in een reeks onafhankelijke Lasso (sparse lineaire regressie) subproblemen, die efficiënt oplosbaar zijn via het FISTA-algoritme.
Observationele Data: De methode werkt uitsluitend op observationele data (activaties uit een forward pass), waardoor de noodzaak voor de meerdere forward/backward passes die vereist zijn door interventie-gebaseerde methoden wordt vermeden.
SAE Integratie: Het framework is uitgebreid om direct op SAE-features ( $z \in \mathbb{R}^D$ , waarbij $D \gg d$ ) te opereren. Het leert laag-specifieke afhankelijkheden tussen SAE-features en kan ook de laatste laag-features koppelen aan downstream voorspellingsdoelen ( $y$ ).

Complexiteitsanalyse

Theoretische analyse (Proposition 3.2) toont aan dat CircuitLasso gegarandeerde efficiëntiewinsten biedt ten opzichte van state-of-the-art interventie-gebaseerde methoden (zoals EAP-ig) onder specifieke regimes, met name wanneer het aantal component-locaties ( $L$ ) matig is ten opzichte van de sequentielengte en modeldimensies. De kosten schalen met $O(M L^2 d^2)$ , terwijl interventie-methoden schalen met de kosten van extra forward/backward passes door het gehele model.

3. Belangrijkste Bijdragen

CircuitLasso Algoritme: Een sparse regressie-surrogaat voor circuit discovery dat interventie-zware pipelines vervangt door een observationele, Lasso-gebaseerde aanpak.
Schaalbaarheid naar SAEs: De eerste methode die in staat is om efficiënt circuits te leren op hoogdimensionale, monosemantische SAE-features, waarmee de computationele prohibities van eerdere technieken worden overwonnen.
Theoretische Efficiëntie: Een formele analyse die de voorwaarden vaststelt waaronder de regressie-gebaseerde aanpak aantoonbaar sneller is dan interventie-gebaseerde baselines.
Empirische Validatie: Demonstraties op modelneuronen en SAE-features die aantonen dat CircuitLasso een structurele nauwkeurigheid bereikt die vergelijkbaar is met SOTA-baselines tegen een fractie van de computationele kosten.

4. Experimentele Resultaten

Benchmark Prestaties (Model Neuronen)

Geëvalueerd op InterpBench (86 semi-synthetische transformers en de Indirect Object Identification taak):

Nauwkeurigheid: CircuitLasso (lineaire variant) behaalde een gemiddelde Structural Hamming Distance (SHD) van 3.16, wat statistisch ononderscheidbaar is van de SOTA interventie-gebaseerde baseline EAP-ig (2.98) en beter is dan EAP (3.61).
Efficiëntie: Het was 3.0x sneller dan EAP-ig (16.3s vs. 49.1s per geval) en 2.1x sneller dan EAP.
Niet-lineariteit: Een niet-lineaire extensie van CircuitLasso bood marginale verbeteringen in nauwkeurigheid, maar tegen een aanzienlijk hogere runtime, wat suggereert dat de lineaire surrogaat voldoende is voor het herstellen van de afhankelijkheidsstructuur.

Interpretabiliteit Casestudy (SAE Features)

Toegepast op GPT-2 Small op de CoLA (Corpus of Linguistic Acceptability) dataset:

Monosemantische Circuits: De methode herstelde boomvormige circuits waarbij knopen overeenkomen met menselijk interpreteerbare concepten (bijv. "-self", "honger/dorst", "eindpunt leesteken").
Semantische Propagatie: De circuits onthulden hoe concepten door lagen heen persisteren, samensmelten (concepten combineren van meerdere ouders) of wegvallen (bepaalde inputs negeren).
Causaal vs. Spuriaal: De geleerde grafen legden zowel causale semantische relaties vast (bijv. "honger" leidend tot "eten") als spuriale correlaties die waarschijnlijk zijn geïntroduceerd door dataset-biases (bijv. de co-occurrence van "-self" en "honger").

Downstream Nut (Domein Generalisatie)

Geëvalueerd op de Bias-in-Bios taak (beroep voorspellen terwijl genderbias wordt gemitigeerd):

Prestaties: CircuitLasso behaalde een beroepsvoorspellingsnauwkeurigheid die vergelijkbaar met, en in sommige gevallen zelfs iets beter dan, de sterkste non-Oracle baseline (SHIFT), terwijl de gender leakage nabij de ideale 50% bleef.
Efficiëntie: Zoals getoond in Tabel 1, vereiste CircuitLasso aanzienlijk minder features en een substantieel kortere runtime dan SHIFT. Voor het Gemma-2-9B model duurde CircuitLasso 107.4s vergeleken met 908.4s voor SHIFT.

5. Betekenis en Claims

Het artikel claimt dat CircuitLasso succesvol de schaalbaarheidsbottleneck in mechanistische interpreteerbaarheid aanpakt. De primaire betekenis ligt in het bereiken van "efficiëntie bij gelijkwaardigheid van nauwkeurigheid":

Het herstelt structurele circuits even nauwkeurig als de meest rigoureuze interventie-gebaseerde methoden, maar tegen een fractie van de computationele kosten.
Het maakt het gebruik van monosemantische SAE-features mogelijk voor circuit-analyse, wat een duidelijkere, menselijk interpreteerbare uitleg biedt van hoe semantische concepten door LLM's propageren.
De inzichten afgeleid van deze circuits zijn praktisch nuttig, wat effectieve domein generalisatie en bias-mitigatie taken mogelijk maakt tegen een veel lagere kosten.

De auteurs blijven bescheiden over de aard van de geleerde gewichten, waarbij zij opmerken dat de lineaire coëfficiënten een dependency skeleton representeren in plaats van de exacte causale effecten van de onderliggende niet-lineaire computation. Zij beschouwen de methode als een first-order surrogaat die effectief identificeert welke componenten anderen beïnvloeden, in plaats van de precieze magnitude van causale effecten te kwantificeren.