Technische Samenvatting: Alle Circuits Leiden naar Rome

Probleemstelling

Het artikel daagt een centrale, grotendeels impliciete aanname in het veld van mechanistische interpreteerbaarheid uit, bekend als de Hypothese van Functionele Anisotropie. Deze hypothese stelt dat specifieke capaciteiten of taken binnen Large Language Models (LLMs) worden ondersteund door één enkel, uniek of bijna-uniek intern mechanisme (een specifiek circuit of schaar). Volgens dit perspectief worden modelfuncties verondersteld anisotroop verdeeld te zijn, wat betekent dat elke capaciteit overeenkomt met één bevoorrechte subgraaf.

De auteurs betogen dat deze aanname de dominante evaluatieparadigma's in Circuit en Sheaf Discovery (CSD) onderbouwt, waarbij succes wordt gemeten door een "ground truth"-circuit te herstellen of het kleinste mogelijke mechanisme te vinden dat de taakprestatie behoudt. Het artikel stelt de vraag of deze methoden eigenlijk een uniek onderliggend mechanisme identificeren of slechts één van vele mogelijke realisaties.

Methodologie

Om het bestaan van concurrerende mechanismen systematisch te onderzoeken, introduceren de auteurs Overlap-Aware Sheaf Repulsion (OASR).

1. Sheaf Discovery Framework: Het werk bouwt voort op het DiscoGP-framework, dat sheaf-discovery formuleert als een differentieerbaar randselectieprobleem. Een sheaf wordt gedefinieerd als een subgraaf die causaal bijdraagt aan de berekening en onafhankelijk taakprestatie kan handhaven (in tegenstelling tot een standaard circuit dat mogelijk afhankelijk is van gepatchte activeringen).
2. OASR-mechanisme: Standaard discovery-methoden convergeren vaak naar vergelijkbare oplossingen vanwege willekeurige initialisatie of optimalisatielandschappen. OASR wijzigt de doelfunctie door een expliciete overlap-loss ($L_{overlap}$) toe te voegen.
   • Na het ontdekken van een initiële sheaf $R$, straft de methode de verwachte activatie van randen die al in $R$ zijn geselecteerd.
   • De gecombineerde doelfunctie is: $L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$.
   • Deze "afstoting" dwingt de optimizer om alternatieve sheafs te vinden die trouw zijn aan de taak maar structureel verschillend (minimaliseren van Intersection-over-Union, of IoU) van eerder ontdekte sheafs.
3. Experimentele reikwijdte: De auteurs passen OASR toe op meerdere benchmarktaken (Indirect Object Identification [IOI], BLiMP, AGA, ANA, DNA-varianten en Docstring) en modellen (GPT-2 Small en Pythia-160M). Ze valideren hun bevindingen ook over andere CSD-methoden, waaronder ACDC (heuristisch), EAP (gradient-based attribution) en Edge Pruning (EP).

Belangrijkste Resultaten

1. Bestaan van Functioneel Equivalent, Laag-Overlap Sheafs

Het primaire empirische resultaat is dat een enkele LLM-taak getrouw kan worden uitgevoerd door meerdere, structureel verschillende sheafs.

• IOI Case Study: Met behulp van OASR ontdekten de auteurs twee sheafs voor de IOI-taak die beide 100% nauwkeurigheid behaalden. Hun structurele overlap (IoU) was echter slechts 4,1%, dicht bij willekeurige kans.
• Generalisatie: Dit fenomeen geldt voor alle geteste benchmarks. Voor elke taak werden paren sheafs ontdekt met hoge prestaties maar zeer lage IoU (typisch 4–11%).
• Schalingseffect: Naarmate het aantal ontdekte sheafs toeneemt (tot 20 runs), krimpt de wederzijdse intersectie van randen drastisch (vaak tot <1% IoU), terwijl de unie van randen groeit. Dit geeft aan dat de ruimte van geldige mechanismen enorm is en niet convergeert naar één enkele kern.

2. Persistentie over Methoden

De afbraak van functionele anisotropie is geen artefact van de OASR-methode of DiscoGP alleen:

• ACDC: Het variëren van de traversievolgorde van attention heads (een niet-semantische ordeningskeuze) resulteerde in aanzienlijk verschillende circuits met lage IoU, ondanks het gebruik van dezelfde drempelwaarden.
• EAP: Het veranderen van taak-irrelevante informatie (bijvoorbeeld het verwisselen van namen in IOI-prompten) leidde tot systematisch verschillende circuits, wat de stabiliteit van attributie-gebaseerde methoden uitdaagt.
• Edge Pruning: Bij gebruik van taak-specifieke verliesfuncties vertoonde EP ook hoge diversiteit in ontdekte circuits, vergelijkbaar met DiscoGP.

3. Afwezigheid van Onmisbare Componenten

De auteurs testten een "verzwakte" versie van de anisotropie-hypothese: dat hoewel meerdere sheafs bestaan, ze mogelijk een kleine, essentiële "kern" van onmisbare randen delen.

• Ultra-Sparse Sheaf: Ze identificeerden een ultra-sparse drie-rands sheaf voor IOI die in isolatie 86,7% nauwkeurigheid behaalde.
• Niet-onmisbaarheid: Echter, toen de taak werd ontleed (bijvoorbeeld het scheiden van ABBA- en BABA-sjablonen) of wanneer deze drie randen expliciet werden verboden, vond het discovery-proces nog steeds andere sparse, hoogpresterende sheafs.
• Conclusie: Geen enkele rand (zelfs niet de drie-rands kern) is strikt onmisbaar voor alle functioneel geldige mechanismen. De schijnbare "essentie" van de kern ontstaat alleen wanneer de taak als een geaggregeerd geheel wordt behandeld.

4. Theoretische Analyse

Het artikel stelt de Distributive Dense Circuit Hypothesis voor om deze bevindingen te verklaren.

• Theoretisch Bewijs: Onder milde aannames (residuale additiviteit en lokale lineariteit) bewijzen de auteurs het bestaan van meerdere structureel verschillende, laag-overlap circuits die $\epsilon$-trouw zijn aan dezelfde taak.
• Mechanisme: In hoog-dimensionale ruimtes groeit het aantal mogelijke rand-subsets combinatorisch. Door lineaire superpositie kunnen verschillende subsets van randen bijna identieke readout-vectoren produceren (subset-sum botsingen). Als de taakbeslissing wordt beschermd door een eindige marge, hebben deze structurele verschillen geen invloed op de uiteindelijke voorspelling, waardoor meerdere geldige verklaringen mogelijk zijn.

Betekenis en Claims

Het artikel claimt niet Circuit en Sheaf Discovery (CSD) als veld ongeldig te verklaren; in plaats daarvan roept het op tot een fundamentele heroverweging van hoe CSD-resultaten moeten worden geïnterpreteerd en geëvalueerd.

• Afwijzing van Uniekheid: De resultaten suggereren dat mechanistische verklaringen in LLMs inherent niet-canoniek zijn. Een ontdekt circuit of sheaf vertegenwoordigt één geldige realisatie onder vele in een ruimte van functioneel equivalente mechanismen, niet het mechanisme dat aan een taak ten grondslag ligt.
• Kritiek op Evaluatie: Huidige evaluatieparadigma's die zoeken naar een "ground truth" of een "minimale" uniek circuit, zijn gebaseerd op een gebrekkige aanname. Het artikel betoogt dat de zoektocht naar een enkele sparse, onmisbare subgraaf ontoereikend is om de waargenomen empirische niet-uniekheid te verklaren.
• Gedistribueerd Perspectief: De auteurs pleiten voor een gedistribueerd perspectief op berekening, waarbij taakgedrag voortkomt uit een dichte regime van concurrerende, gedeeltelijk redundante mechanismen.
• Implicaties: Dit daagt het concept van "essentiële" componenten uit en suggereert dat redundantie in LLMs niet slechts een latente back-up systeem is (geactiveerd alleen bij ablatie), maar een fundamenteel kenmerk van normale modeloperatie.

Kortom, het artikel levert zowel empirisch bewijs als theoretische rechtvaardiging dat "Alle Circuits Leiden naar Rome"—meerdere verschillende structurele paden kunnen en doen hetzelfde functionele gedrag ondersteunen in LLMs, waardoor de aanname van functionele anisotropie wordt ondermijnd.