Technische Samenvatting: Datagedreven Circuitontdekking voor Interpretatie van Taalmodellen

Probleemstelling

Mechanistische interpretatie (MI) beoogt de interne mechanismen van Large Language Models (LLM's) te reverse-engineeren door "circuits" te lokaliseren en te interpreteren—dit zijn verspreide subgrafieken van het berekeningsgraph van het model die verantwoordelijk zijn voor specifieke gedragingen. Het heersende paradigma in circuitontdekking is hypothese-gedreven: onderzoekers definiëren een taak, construeren een representatieve dataset en passen een algoritme toe om een enkel circuit te ontdekken dat bedoeld is om het gedrag van het model op die taak te verklaren.

Deze workflow rust op twee impliciete aannames:

1. Enkel-Circuit Aanname: Het model implementeert een gegeven taak via één samenhangend berekeningsmechanisme.
2. Dataset Adequaatheid Aanname: De specifieke dataset die voor de ontdekking wordt gebruikt, vertegenwoordigt de volledige reikwijdte van de taak zoals mensen deze begrijpen.

De auteurs hypothetiseren dat deze aannames gebrekkig zijn. Zij stellen dat bestaande methoden mogelijk geen algemene taakcircuits ontdekken, maar eerder datasetspecifieke circuits die onbedoeld verschillende mechanismen kunnen vermengen in één verklaring. Bovendien stellen zij de vraag of één circuit werkelijk alle instanties van een taak kan verklaren, of dat het model meerdere verschillende mechanismen hanteert voor wat mensen als één taak categoriseren.

Methodologie

1. Systematische Evaluatie van Hypothese-Gedreven Methoden

De auteurs testen eerst rigoureus de geldigheid van het bestaande paradigma over vier gevestigde taken: Indirect Object Identification (IOI), Entity Binding (EB), Aritmetische Optelling en Sequenctie Voltooiing. Zij evalueren deze taken op drie modellen (GPT-2 Small, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct) met behulp van standaard ontdekkingmethoden (EAP-IG, EAP, E-ACT).

Hun experimentele opzet omvat twee hoofdonderzoeken:

• Cross-Dataset Betrouwbaarheid: Zij construeren meerdere datasetvarianten voor elke taak die de taaksemantiek behouden maar variëren in oppervlakkige kenmerken (complexiteit, syntaxis, domein). Zij ontdekken een circuit op één variant en testen de betrouwbaarheid daarvan op andere varianten.
• Gemengde-Taak Ontdekking: Zij construeren datasets die voorbeelden mengen van twee verschillende taken (bijvoorbeeld aritmetiek en entiteitbinding) en observeren of hypothese-gedreven methoden een enkel circuit teruggeven dat betrouwbaar is voor beide, wat mogelijk wijst op een vermenging van mechanismen.

2. Voorgestelde Kader: Datagedreven Circuitontdekking (DCD)

Gemotiveerd door de bevindingen dat hypothese-gedreven methoden niet generaliseren en mechanismen kunnen vermengen, stellen de auteurs Datagedreven Circuitontdekking (DCD) voor. Dit kader verwijdert de aanname van één circuit per taak.

DCD Workflow:

1. Groepering op Basis van Berekening: In plaats van aan te nemen dat alle voorbeelden in een dataset door hetzelfde mechanisme worden verwerkt, analyseert DCD eerst hoe het model elk individueel voorbeeld verwerkt. Het berekent per-voorbeeld randtoewijzingsvectoren (met methoden zoals EAP-IG) om de afhankelijkheid van het model van specifieke randen voor elke invoer te karakteriseren.
2. Clustering: Deze hoogdimensionale toewijzingsvectoren worden geprojecteerd naar een lager dimensionale ruimte (via PCA of SVD) en geclusterd (bijvoorbeeld met K-means). Dit groepeert voorbeelden die door vergelijkbare berekeningsmechanismen worden verwerkt.
3. Onafhankelijke Ontdekking: Een apart circuit wordt onafhankelijk voor elke cluster ontdekt.

Het resultaat is een set van verschillende circuits, waarbij elk een specifiek subset van de data verklaart dat vertrouwt op een samenhangend mechanisme, in plaats van één enkel circuit dat probeert de volledige dataset te verklaren.

Belangrijkste Resultaten

1. Falen van Algemene Taakcircuits

De studie vindt dat circuits die door hypothese-gedreven methoden worden ontdekt, datasetspecifiek zijn, en geen algemene taakcircuits:

• Lage Cross-Dataset Betrouwbaarheid: Circuits die op één datasetvariant worden ontdekt, vertonen vaak aanzienlijk lagere betrouwbaarheid op andere varianten van dezelfde taak (bijvoorbeeld een 2-persoons IOI-circuit dat faalt op een 3-persoons variant), ondanks dat de taken semantisch identiek zijn.
• Lage Structurele Overlap: Circuits die op verschillende varianten van dezelfde taak worden ontdekt, delen een lage randoverlap (Jaccard-similariteit variërend van 0,30 tot 0,66), wat aangeeft dat zij vertrouwen op verschillende berekeningspaden.
• Mechanisme Vermenging: Wanneer ontdekkingsdatasets voorbeelden bevatten van twee verschillende taken (bijvoorbeeld aritmetiek en entiteitbinding), geven hypothese-gedreven methoden toch een enkel circuit terug met hoge betrouwbaarheid op beide taken. Dit suggereert dat de methode verschillende mechanismen vermengt in één circuit in plaats van ze te isoleren.

2. Effectiviteit van DCD

DCD adresseert deze beperkingen succesvol:

• Ontdekking van Meerdere Mechanismen: Op gemengde-taak datasets herstelt DCD meerdere verschillende circuits. Elk circuit specialiseert zich in een samenhangend subset van voorbeelden (bijvoorbeeld één circuit voor aritmetiek, een ander voor entiteitbinding) en bereikt hoge betrouwbaarheid op zijn specifieke groep terwijl het faalt op andere.
• Hogere Betrouwbaarheid en Sparsiteit: DCD presteert consequent beter dan hypothese-gedreven baselines (EAP-IG, EAP, E-ACT) en willekeurige partitioneringsbaselines (K-RANDOM) wat betreft best-of-K betrouwbaarheid (het selecteren van het meest betrouwbare circuit voor elke testinstantie). Dit voordeel is het meest uitgesproken in regimes met lage sparsiteit (circuitgroottes $\le$ 0,05).
• Samenhangende Clustering: De clusters die door DCD worden gevormd, corresponderen met de interne organisatie van het model in plaats van door mensen gedefinieerde taakgrenzen. Bijvoorbeeld, binnen een enkele taak zoals IOI, scheidt DCD voorbeelden op basis van complexiteit (2-persoons versus 3-persoons) of domein (namen versus letters), en ontdekt verschillende circuits voor elk.

Betekenis en Claims

Het artikel claimt dat de huidige hypothese-gedreven aanpak voor circuitontdekking fundamenteel beperkt is door zijn afhankelijkheid van door mensen gedefinieerde taakgrenzen en de aanname van één mechanisme per taak.

• Herformulering van de Reikwijdte van Verklaring: De auteurs betogen dat een "circuit" niet gedefinieerd moet worden als het mechanisme voor een door mensen gedefinieerde taak, maar eerder als het mechanisme voor een specifieke cluster van voorbeelden die op vergelijkbare wijze door het model worden verwerkt.
• Datagedreven Paradigmaverschuiving: DCD demonstreert dat het laten bepalen van de reikwijdte van circuitontdekking door de interne berekeningsstructuur van het model leidt tot betrouwbaardere en interpreteerbaardere verklaringen. Het onthult dat wat mensen als één taak waarnemen, vaak bestaat uit meerdere verschillende mechanismen die door bestaande methoden worden verward.
• Beperkingen en Toekomstig Werk: De auteurs merken bescheiden op dat DCD aannames erf van de onderliggende toewijzingsmethoden (bijvoorbeeld dat toewijzingsscores mechanismen betrouwbaar weerspiegelen) en afhankelijk is van clustering-hyperparameters. Zij identificeren open vragen over hoe nieuwe voorbeelden bij testtijd aan clusters kunnen worden toegewezen en hoe clusters die zich weerstaan aan voor mensen leesbare beschrijvingen geïnterpreteerd kunnen worden, en laten deze voor toekomstig werk.

Kortom, het artikel levert empirisch bewijs dat bestaande circuitontdekkingsmethodes datasetspecifieke artefacten herstellen in plaats van algemene taakmechanismen, en stelt DCD voor als een kader om de ware, multi-mechanistische aard van taalmodelberekening bloot te leggen.