Circuit Insights: Towards Interpretability Beyond Activations

Dit paper introduceert WeightLens en CircuitLens, twee methoden die de interpretatie van neurale netwerken verbeteren door direct van gewichten te leren en interacties tussen componenten te analyseren, waardoor de afhankelijkheid van externe modellen en datasets wordt verwijderd en schaalbare mechanische interpretatie mogelijk wordt.

De kern

🕵️‍♂️ De Grote Uitdaging: Het "Zwarte Doos" Probleem

Stel je een kunstmatige intelligentie (zoals een chatbot) voor als een gigantisch, complex horloge met miljarden tandwieltjes. We weten dat het horloge de tijd goed aangeeft, maar we hebben geen idee welk tandwiel precies zorgt voor de seconden of hoe ze allemaal samenwerken.

Tot nu toe probeerden onderzoekers dit horloge te begrijpen door te kijken naar activaties. Dat is alsof je door een klein gaatje in het horloge kijkt en ziet welk tandwiel op dat moment beweegt. Het probleem? Soms bewegen tandwielen heel snel en chaotisch, of bewegen ze alleen als je de zon erop schijnt (de context). Het is lastig om te zien wat ze echt doen als je alleen naar die bewegingen kijkt.

De auteurs van dit paper zeggen: "Kijk niet alleen naar wie beweegt, maar kijk ook naar hoe ze verbonden zijn." Ze introduceren twee nieuwe methoden: WeightLens en CircuitLens.

---

🔍 1. WeightLens: De "Blauwdruk" Lezen

Het idee:
In plaats van te wachten tot het horloge draait en te kijken welke tandwielen bewegen, kijken we direct naar de blauwdruk (de gewichten) van het horloge.

De analogie:
Stel je voor dat je een recept voor een taart hebt.

• Oude methode: Je kijkt naar de taart terwijl hij in de oven zit en probeert te raden wat erin zit door te ruiken (activaties).
• WeightLens: Je leest gewoon de ingrediëntenlijst op het pakje. Je ziet direct: "Ah, hier staat 'meel' en 'suiker'". Je hoeft niet te wachten tot de taart gebakken is.

Wat doet het?

• Het analyseert de vaste verbindingen tussen de onderdelen van het AI-model.
• Het kan vertellen wat een bepaald onderdeel doet, zelfs zonder dat je het model laat werken met een enorme dataset.
• Het werkt heel goed voor onderdelen die altijd hetzelfde doen, ongeacht wat er gebeurt (zoals het herkennen van een specifiek woord).

Het nadeel:
Soms werken tandwielen alleen samen als je ze in een heel specifieke situatie zet. De blauwdruk laat dat niet altijd zien.

---

🔗 2. CircuitLens: De "Verkeersstroom" Analyseren

Het idee:
Soms is de blauwdruk niet genoeg. Soms werkt een tandwiel alleen als er een andere, verborgen stroom van energie doorheen gaat. CircuitLens kijkt naar de circuits (de routes) die de informatie neemt.

De analogie:
Stel je een drukke stad voor met verkeerslichten en wegen.

• Oude methode: Je telt hoeveel auto's er op een kruispunt staan (activaties). Maar je weet niet waarom ze daar staan.
• CircuitLens: Je kijkt naar de routes die de auto's nemen. Je ziet: "Oh, deze auto's komen allemaal van de school en gaan naar het station." Je ziet het patroon van de stroom, niet alleen de auto's zelf.

Wat doet het?

• Het isoleert welke woorden in een zin een bepaald onderdeel van de AI activeren.
• Het kijkt ook naar wat er na die activatie gebeurt: welke woorden produceert de AI nu?
• Het groepeert verschillende situaties in "clusters". Stel, een onderdeel reageert op "hond" én "kat". De oude methode zou zeggen: "Het is een dier-herkenner." CircuitLens ziet misschien twee aparte groepen: één voor huisdieren en één voor wilde dieren, en legt dat uit.

---

🚀 Waarom is dit zo belangrijk?

Tot nu toe moesten onderzoekers vaak een andere, nog grotere AI (een "uitleg-AI") vragen om te raden wat een klein onderdeel deed. Dat is als een tolk gebruiken om een gesprek te vertalen, maar die tolk maakt soms fouten of verzint dingen.

Met WeightLens en CircuitLens doen de onderzoekers dit zelf, direct op de structuur van het model:

1. Betrouwbaarder: Ze vertrouwen minder op toeval of grote datasets.
2. Sneller: Ze hoeven niet urenlang te wachten op reacties van een andere AI.
3. Dieper: Ze zien niet alleen wat er gebeurt, maar waarom het gebeurt (de onderliggende schakelingen).

🏁 Conclusie

De auteurs zeggen eigenlijk: "Om een machine echt te begrijpen, moet je niet alleen kijken naar wie er aan het werk is (activaties), maar ook naar de vaste verbindingen (WeightLens) en de routes die de informatie aflegt (CircuitLens)."

Door deze twee methoden te combineren, krijgen we eindelijk een helder beeld van hoe die complexe "AI-horloges" echt werken, zonder dat we hoeven te gissen. Dit maakt AI veiliger en betrouwbaarder, bijvoorbeeld in de geneeskunde of bij het nemen van belangrijke beslissingen.

Technische samenvatting

Probleemstelling

Het veld van mechanistische interpretabiliteit en uitlegbare AI (XAI) streeft ernaar de interne werking van neurale netwerken, met name Large Language Models (LLMs), te ontrafelen. Bestaande methoden voor geautomatiseerde interpretatie hebben echter aanzienlijke beperkingen:

1. Afhankelijkheid van activeringen: Traditionele methoden analyseren voornamelijk activeringspatronen van neuronen of features. Dit is vaak onvoldoende omdat activeringen contextafhankelijk kunnen zijn en niet altijd de onderliggende oorzaak van een activatie onthullen.
2. Beperking tot "toy" taken: Veel circuit-discovery studies blijven beperkt tot eenvoudige taken en vereisen nog steeds uitgebreide handmatige analyse.
3. Afhankelijkheid van externe LLMs: Geautomatiseerde pipelines (zoals die van Bills et al., 2023) vertrouwen zwaar op grote taalmodellen (explainer LLMs) om natuurlijke taalbeschrijvingen te genereren op basis van activeringen. Dit verplaatst het "black box"-probleem naar een ander black box-model, introduceert risico's op onbetrouwbare uitleg en is sterk afhankelijk van de kwaliteit van de dataset en de prompt.
4. Polysemantisme: Features kunnen meerdere concepten vertegenwoordigen (polysemantisme), wat het moeilijk maakt om ze te interpreteren op basis van activeringen alleen.

Methodologie

De auteurs introduceren twee complementaire methoden, WeightLens en CircuitLens, die gebaseerd zijn op de architectuur van Transcoders. Transcoders zijn een alternatief voor Sparse Autoencoders (SAEs) dat MLP-lagen schaars benadert en attributies splitst in input-afhankelijke en input-invariante componenten.

1. WeightLens: Input-invariante interpretatie

Deze methode interpreteert features direct op basis van de geleerde gewichten van het model en de transcoder, zonder gebruik te maken van datasets of explainer LLMs.

• Principe: Het maakt gebruik van de input-invariante verbindingen in de transcoder (de gewichten tussen encoder en decoder). De auteurs veronderstellen dat sterke gewichtsverbindingen die statistische uitschieters zijn, betekenisvolle structurele relaties aangeven.
• Proces:
  1. Projectie: De encoder-vector van een feature wordt geprojecteerd op de input-embeddingruimte, en de decoder-vector op de vocabulaire-logits. Uitschieters (via z-scores) worden geïdentificeerd als kandidaat-tokens.
  2. Gewichtsanalyse: Verbindingen met features in eerdere lagen worden geanalyseerd om bijdragende tokens te vinden.
  3. Validatie: Een forward pass wordt uitgevoerd om te verifiëren of de geïdentificeerde tokens de feature daadwerkelijk activeren, ongeacht de context.
  4. Beschrijving: Geldige tokens worden samengevoegd (via lemmatisatie) tot een beschrijving.
• Voordeel: Elimineert de noodzaak voor datasets en externe LLMs voor context-onafhankelijke features.

2. CircuitLens: Circuit-gebaseerde analyse

Deze methode richt zich op context-afhankelijke features door te analyseren hoe activeringen ontstaan uit interacties tussen componenten (circuits).

• Principe: In plaats van alleen de sterkst activerende voorbeelden te bekijken, analyseert CircuitLens de volledige verdeling van activeringen en isoleert de specifieke inputpatronen en output-invloeden via attributie.
• Proces:
  1. Sampling: Er wordt gesampled over de volledige activeringsverdeling (met inverse-frequentie quantile sampling) om zeldzame maar sterke gevallen te vangen.
  2. Circuit-detectie:
     • Input-centric: Gebruik van attributie naar attention heads om te bepalen welke tokens de feature activeren.
     • Output-centric: Analyse van welke output-tokens worden beïnvloed door de geactiveerde feature.
  3. Clustering: Geactiveerde inputs worden gegroepeerd op basis van hun onderliggende circuits (bijdragende features en attention heads) met behulp van DBSCAN. Dit lost polysemantisme op door verschillende concepten binnen één feature te scheiden.
  4. Generatie: De geclusterde, gemaskerde patronen worden aan een explainer LLM gegeven om specifieke, minder vage beschrijvingen te genereren.

Belangrijkste Bijdragen

1. WeightLens: Een framework dat features interpreteert puur op basis van gewichten, wat leidt tot beschrijvingen die vergelijkbaar zijn met of beter zijn dan bestaande methoden voor context-onafhankelijke features, zonder datasets of LLMs.
2. CircuitLens: Een framework dat interpretatie uitbreidt naar context-afhankelijke features door input- en output-patronen te isoleren en polysemantisme op te lossen via circuit-clustering.
3. Robuustheid en Schaalbaarheid: De combinatie van gewichts- en circuit-analyse vermindert de afhankelijkheid van grote datasets en verbetert de robuustheid van de interpretatie, zelfs op kleinere datasets.
4. Transcoder-gebaseerde attributie: Het paper demonstreert hoe transcoders efficiënt attributies kunnen berekenen die input-afhankelijke en input-invariante componenten scheiden, wat een solide basis vormt voor circuit-analyse.

Resultaten

De methoden zijn geëvalueerd op modellen zoals GPT-2 Small, Gemma-2-2B en Llama-3.2-1B, met vergelijkingen tegen baselines zoals Neuronpedia en MaxAct*.

• Prestaties: WeightLens presteert op gelijke hoogte of beter dan activeringsmaximalisatiemethoden op de metrics Clarity (Duidelijkheid) en Responsiveness (Responsiviteit).
• Context-afhankelijkheid: Hoewel WeightLens uitstekend werkt voor token-gebaseerde features (tot 58,8% van de features in GPT-2), presteert het minder goed op zeer context-afhankelijke features. CircuitLens vult dit aan door deze context-afhankelijke patronen te ontrafelen.
• Dataset-onafhankelijkheid: CircuitLens beschrijvingen, zelfs gegenereerd op een veel kleiner dataset (24M tokens), concurreren met of overtreffen baselines die op enorme datasets (2,3B tokens) zijn getraind.
• Polysemantisme: Circuit-based clustering slaagt erin om polysemantische features op te splitsen in coherentere sub-concepten, wat leidt tot minder vage beschrijvingen.
• Faithfulness: De "Faithfulness" (trouw) score blijft over het algemeen laag, wat de auteurs toeschrijven aan de architectuur van transcoders (redundantie) en de moeilijkheid om individuele features te sturen in plaats van hele circuits.

Betekenis en Impact

Dit werk vormt een belangrijke stap voorwaarts in de mechanistische interpretabiliteit door:

• De "Black Box" te doorbreken: Het vermindert de afhankelijkheid van externe LLMs voor het genereren van uitleg, wat de betrouwbaarheid en reproduceerbaarheid vergroot.
• Schaalbaarheid: Het biedt methoden die schaalbaar zijn naar grote modellen en diverse domeinen, zonder de noodzaak van enorme datasets voor elke interpretatie-taak.
• Diepere Inzichten: Door verder te kijken dan alleen activeringen en in te zoomen op de structurele gewichten en circuit-dynamiek, biedt het een completer beeld van hoe LLMs informatie verwerken.
• Praktische Toepasbaarheid: De combinatie van WeightLens en CircuitLens maakt geautomatiseerde interpretatie praktischer voor real-world toepassingen, waar datasets beperkt kunnen zijn en betrouwbare, niet-manuele inzichten cruciaal zijn voor veiligheid en betrouwbaarheid.

Kortom, het paper stelt dat een combinatie van gewichtsgebaseerde analyse en circuit-gebaseerde dynamiek essentieel is voor robuuste, schaalbare en betrouwbare interpretatie van moderne taalmodellen.