💬 NLP

Many Circuits, One Mechanism: Input Variation and Evaluation Granularity in Circuit Discovery

Dit artikel daagt de aanname uit dat structurele verschillen in ontdekte circuits duiden op verschillende mechanismen, door via "phantom specialization" aan te tonen dat variërende inputstatistieken leiden tot structureel diverse maar functioneel equivalente subgrafen, waardoor wordt onthuld dat standaard evaluatiepraktijken vaak de vele-op-één mapping tussen circuitstructuur en modelfunctie verhullen.

Oorspronkelijke auteurs: Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe machine hebt (een groot AI-model) die een specifieke truc uitvoert: het kijkt naar een patroon van letters en kopieert een van die letters aan het einde van de regel. Wetenschappers willen weten hoe de machine deze truc doet. Ze proberen de specifieke "bedrading" te vinden binnen de machine die verantwoordelijk is voor de truc. Ze noemen deze bedrading een circuit.

Gedurende een lange tijd geloofden onderzoekers dat als ze een ander bedradingsdiagram vonden voor dezelfde truc onder licht verschillende omstandigheden, dit betekende dat de machine een nieuwe, gespecialiseerde manier had ontwikkeld om de truc uit te voeren.

Dit artikel zegt: Wacht even.

De auteurs ontdekten dat wat lijkt op een nieuwe, gespecialiseerde machine, eigenlijk gewoon dezelfde machine is die dezelfde truc uitvoert, maar met een paar extra, overbodige draden eraan vastgemaakt. Ze noemen dit "Phantom Specialization" (Fantoom-specialisatie).

Hier is de uitsplitsing met eenvoudige analogieën:

1. Het Experiment: Het "Copy Cat" Spel

De onderzoekers gebruikten een spel genaamd "Literal Sequence Copying".

De Taak: De AI ziet een reeks zoals A B C D ... A B C en moet de volgende letter raden (D).
De Twist: Ze speelden dit spel met woorden die heel vaak voorkomen in de training van de AI (zoals "the") en woorden die zeer zelden voorkomen (zoals obscure eigennamen).
De Verwachting: Ze dachten: "Misschien gebruikt de AI een andere set interne draden voor zeldzame woorden dan voor veelvoorkomende woorden."

2. De Ontdekking: Het "Veel Wegen naar Rome" Probleem

Toen ze naar de bedradingsdiagrammen keken voor veelvoorkomende woorden versus zeldzame woorden, zagen de diagrammen er anders uit.

Het "zeldzame woord"-circuit had meer draden.
Het "veelvoorkomende woord"-circuit had minder draden.
Ze leken op twee verschillende blauwdrukken.

Echter, toen ze de functie testten:

Ze namen de "zeldzame woord"-draden en gebruikten ze om "veelvoorkomende woorden" te kopiëren. Het werkte perfect.
Ze namen de "veelvoorkomende woord"-draden en gebruikten ze voor "zeldzame woorden". Dat werkte ook perfect.
De Conclusie: De extra draden in het "zeldzame woord"-circuit deden niets bijzonders. Ze waren slechts decoratie. De machine gebruikte exact dezelfde kernlogica voor beide.

3. De Analogie: De "Spandrel" of de "Extra Rugzak"

Stel je voor dat je gaat wandelen.

Scenario A: Je pakt een kleine, efficiënte rugzak in voor een korte wandeling.
Scenario B: Je pakt een enorme, zware rugzak in voor een lange wandeling.

Als je naar de twee rugzakken kijkt, zien ze er totaal anders uit (Structuur). Je zou kunnen denken: "De grote rugzak is een gespecialiseerd hulpmiddel voor lange wandelingen!"

Maar wat als je erachter kwam dat beide rugzakken exact dezelfde waterfles en kaart bevatten? De extra ruimte in de grote rugzak is slechts leeg of gevuld met willekeurige items die toevallig aanwezig zijn. Als je de kleine rugzak zou gebruiken voor de lange wandeling, zou je nog steeds overleven. Als je de grote rugzak zou gebruiken voor de korte wandeling, zou je ook nog steeds overleven.

De "Phantom Specialization" is de illusie dat de grote rugzak een ander soort hulpmiddel is, terwijl het eigenlijk gewoon hetzelfde hulpmiddel is met wat extra, nutteloos gewicht eraan vast.

4. Waarom gebeurde dit? (De "Greedy" Mechaniek)

De onderzoekers ontdekten dat de methode die wordt gebruikt om deze circuits te vinden, een beetje lijkt op een hebzuchtige monteur die een auto probeert te repareren.

De monteur wil de kleinste set draden vinden die de auto laat rijden.
Soms zijn er meerdere draden die exact dezelfde taak uitvoeren (redundantie/overtolligheid).
Wanneer de monteur naar een "zeldzaam woord"-input kijkt, is de interne staat van de auto iets anders. De hebzuchtige monteur kiest één set draden om te behouden en knipt de rest weg.
Wanneer hij naar een "veelvoorkomend woord" kijkt, is de interne staat weer iets anders, dus kiest de monteur een andere set draden om te behouden.

Het resultaat? Twee verschillende bedradingsdiagrammen die beide de auto perfect laten rijden. De verschillen komen niet doordat de auto een andere motor nodig heeft; het is simpelweg omdat de monteur verschillende willekeurige keuzes maakte tussen even goede opties.

5. Het "Zoom Lens" Probleem (Evaluatie Granulariteit)

De paper vond ook dat wetenschappers vaak naar de circuits keken door de verkeerde "lens".

De "Source-Level" Lens (Uitgezoomd): Deze kijkt naar de hele component (zoals een hele chip). Als elke draad op de chip actief is, wordt de hele chip als "werkend" geteld. Dit maakt de circuits zeer trouw en verschillend.
De "Edge-Level" Lens (Ingezoomd): Deze kijdt naar de specifieke draden. Wanneer je inzoomt, zie je dat veel van de geselecteerde draden eigenlijk onnodig waren.

Het artikel stelt dat als je alleen van een afstand kijkt (Source-Level), je "Phantom Specialization" ziet. Als je inzoomt (Edge-Level), zie je dat de circuits eigenlijk exact hetzelfde doen.

Samenvatting van de belangrijkste leerpunten

Andere draden $\neq$ Andere logica: Alleen omdat twee circuits op papier verschillend lijken, betekent dit niet dat ze iets anders doen.
De "Fantoom": De schijnbare specialisatie is een illusie veroorzaakt door de manier waarop we deze circuits extraheren en meten.
Redundantie is echt: AI-modellen hebben veel back-up paden. Als één pad wordt afgesneden, neemt een ander het over. Dit maakt het moeilijk om het "ene ware" circuit te vinden.
Hoe het te fixen: Om te begrijpen hoe AI werkt, moeten we niet alleen naar één circuit kijken. We moeten:
- Testen of een circuit werkt op verschillende soorten inputs (Transfer Tests).
- Kijken naar de specifieke draden, niet alleen naar de grote componenten (Edge-Level Evaluatie).
- De extractie meerdere keren uitvoeren en kijken wat er hetzelfde blijft (Multiple Extractions).

Kortom: De AI bouwt geen nieuwe motor voor zeldzame woorden; het draagt gewoon een andere hoed. De hoed ziet er anders uit, maar de motor eronder is hetzelfde.

Technische Samenvatting: Veel Circuits, Eén Mechanisme

Probleemstelling

Mechanistische interpreteerbaarheid streeft ernaar neurale netwerken te reverse-engineeren door "circuits" te identificeren—dunbevolkte subgrafen van de computationele graaf van een model die specifieke gedragingen implementeren. Een gangbare aanname in het veld is dat er voor een gegeven model en taak één stabiel circuit bestaat om te ontdekken. Bijgevolg worden structurele verschillen tussen ontdekte circuits vaak geïnterpreteerd als bewijs van afzonderlijke onderliggende mechanismen of functionele specialisaties.

Deze aanname staat echter onder druk door de instabiliteit van extractiemethoden, het bestaan van redundante back-up gedragingen (het "Hydra-effect") en fundamentele niet-identificeerbaarheid. Hoewel eerder werk heeft aangetoond dat circuits kunnen variëren tussen modellen, schalen of promptstructuren, blijft het onduidelijk of structurele verschillen uitsluitend voortkomen uit veranderingen in inputstatistieken (bijv. tokenfrequentie) terwijl de taakdefinitie vast blijft staan, en cruciaal, of dergelijke structurele verschillen corresponderen met werkelijke functionele specialisatie.

Methodologie

De auteurs onderzoeken deze vraag met behulp van Literal Sequence Copying (LSC), een niet-semantische taak waarbij een model een token moet reproduceren dat eerder in een sequentie voorkwam. Deze taak isoleert een smal kopieergedrag, waardoor semantische verwarringen worden geminimaliseerd.

Experimenteel Ontwerp:

Modellen: Vijf Pythia-modellen variërend van 70M tot 1.4B parameters.
Condities: De vocabulaire is verdeeld in vier token-frequentiebanden (zeer laag tot zeer hoog) op basis van pretraining-statistieken, plus een frequentie-gewogen controleconditie.
Extractie: Het ACDC (Automatic Circuit Discovery) algoritme wordt gebruikt om circuits te extraheren. Om robuustheid te garanderen, worden drie onafhankelijke extracties uitgevoerd per model per conditie, wat resulteert in 7s circuits in totaal.
Evaluatie Granulariteit: De studie introduceert een cruciaal onderscheid tussen twee evaluatieniveaus:
- Bron-niveau (Source-level): Behoudt alle uitgaande randen van elke node die ten minste één circuit-rand bijdraagt.
- Rand-niveau (Edge-level): Behoudt alleen de specifieke randen die door het ontdekkingsalgoritme zijn geselecteerd.
Analyse-assen: Circuits worden vergeleken over structurele (overlap van randen), functionele (cross-band transfer, sufficiëntie, noodzakelijkheid) en representationele (interne activatiegeometrie) assen. Causal interchange interventies worden eveneens ingezet om de uitwisselbaarheid van interne representaties te testen.

Belangrijkste Bijdragen

Fantoomspecialisatie: De paper munt de term "fantoomspecialisatie" om een fenomeen te beschrijven waarbij circuit-ontdekkingsalgoritmen structureel verschillende circuits terugvinden voor verschillende inputcondities (bijv. frequentiebanden) die desondanks exact hetzelfde computationele proces implementeren.
Veel-op-één Mapping: De auteurs demonstreren een veel-op-één mapping van circuitstructuur naar functie. Structurele divergentie impliceert niet noodzakelijkerwijs functionele specialisatie; in plaats daarvan kunnen ontdekkingsalgoritmen een steekproef nemen uit een equivalentieklasse van geldige, functioneel uitwisselbare subgrafen.
Afhankelijkheid van Granulariteit: De studie stelt vast dat de zichtbaarheid van deze degeneratie volledig afhangt van de evaluatiegranulariteit. Evaluatie op bron-niveau blaast de schijnbare getrouwheid (faithfulness) systematisch op en maskeert het gebrek aan specialisatie, terwijl evaluatie op rand-niveau de veel-op-één mapping onthult.
Methodologische Aanbevelingen: De paper stelt dat structurele verschillen niet als bewijs voor afzonderlijke mechanismen moeten worden geaccepteerd zonder cross-conditie transfertests, en pleit voor evaluatie op rand-niveau en meerdere extracties met meerderheidsstem-aggregatie om stabiele structuren te identificeren.

Belangrijkste Resultaten

Structurele Verschillen: Geëxtraheerde circuits uit verschillende frequentiebanden zijn structureel verschillend. Circuits met lage frequentie zijn systematisch groter en bevatten een bovenset van randen vergeleken met circuits met hoge frequentie. De Jaccard-gelijkenis tussen banden is lager dan binnen banden, hoewel de absolute verschillen klein zijn.
Functionele Equivalentie: Ondanks structurele verschillen zijn de circuits functioneel equivalent.
- Cross-Band Transfer: Band-specifieke randen transfereren breed over alle frequentiebanden met een hoge efficiëntie (81–97%).
- Kern-sufficiëntie: Een "universele kern" van randen gedeeld door de meeste banden (specifiek die verschijnen in $\ge$ 3 van de 5 condities) herstelt ten minste 99% van de volledige circuit-prestaties.
- Causale Uitwisseling: Interchange-interventies bevestigen dat interne representaties uitwisselbaar zijn over frequentiebanden; het wisselen van activaties tussen banden behoudt de modeloutput met bijna perfecte getrouwheid.
Instabiliteit en Ruis: Extractie is ruizig; band-specifieke randen zijn zeer instabiel over onafhankelijke runs (verschijnen in slechts één van de drie trekkingen). Deze ruis is functioneel irrelevant, aangezien structureel verschillende trekkingen equivalente outputs produceren.
Evaluatie Inflatie: Evaluatie op bron-niveau blaast de schijnbare circuit-nauwkeurigheid op met 0,22 tot 0,85 punten vergeleken met evaluatie op rand-niveau, wat de afwezigheid van specialisatie effectief maskeert.
Representationele Invariantie: Hoewel de verwerkingsdynamiek (convergentietijd) licht varieert met de tokenfrequentie, blijven de onderliggende representationele geometrie en causale paden grotendeels invariant over de banden.

Betekenis en Claims

De paper betoogt dat structurele verschillen tussen circuits onvoldoende bewijs zijn voor afzonderlijke mechanismen. De geobserveerde "specialisatie" is een fantoom-artefact van het extractieproces (greedy pruning op redundante paden) en de evaluatiemethodologie (bron-niveau granulariteit).

De auteurs claimen dat:

Degeneratie is wijdverbreid: Ontdekkingsalgoritmen samplen uit een equivalentieklasse van structureel verschillende maar functioneel uitwisselbare subgrafen, analoog aan biologische degeneratie.
Granulariteit doet ertoe: De causale structuur van een model manifesteert zich verschillend op verschillende beschrijvingsniveaus. Evaluatie op bron-niveau creëert een "macro-toestand" van schijnbare getrouwheid die de onderliggende degeneratie doet instorten, terwijl evaluatie op rand-niveau de ware veel-op-één mapping onthult.
Methodologische verschuiving: Om te voorkomen dat extractie-artefacten worden misverstaan als functionele specialisatie, moeten toekomstige werken cross-conditie transfertests toepassen, prioriteit geven aan evaluatie op rand-niveau en meerdere extracties gebruiken om stabiele mechanismen van ruis te onderscheiden.

De paper concludeert dat een enkel ontdekt circuit niet als unieke identificatie van het onderliggende mechanisme moet worden behandeld, aangezien dezelfde functie kan worden geïmplementeerd door meerdere geldige structurele configuraties, afhankelijk van de inputstatistieken en de keuze van de extractie.