Technische Samenvatting: Het Meten van de Consistentie en Specificiteit van Taalmodelcircuits

Probleemstelling

Het vakgebied van mechanistische interpretabiliteit streeft ernaar neurale netwerken te ontwarren door "circuits" te identificeren: spaarzame subgrafieken van modelcomponenten (doorgaans attention heads en MLP-lagen) die causaal verantwoordelijk zijn voor specifieke gedragingen. Hoewel bestaand werk methoden heeft vastgesteld voor het extraheren van deze circuits en het evalueren van hun noodzakelijkheid (het verwijderen van het circuit verslechtert de prestaties) en voldoendeheid (het circuit alleen reproduceert het gedrag), blijven twee kritieke eigenschappen onderbelicht: consistentie en specificiteit.

• Consistentie: Als een circuit het algoritme van een model voor een taak echt vastlegt, moeten dezelfde componenten terugkeren over verschillende invoerinstanties van die taak. Zonder consistentie kan een circuit een artefact zijn van een specifieke invoer in plaats van een generaliseerbaar mechanisme.
• Specificiteit: Het circuit van een taak moet betekenisvol onderscheiden zijn van de circuits van niet-gerelateerde taken. Zonder specificiteit kan een circuit niet worden gebruikt om taakspecifiek gedrag te begrijpen of te beïnvloeden, omdat het mogelijk slechts algemene modelinfrastructuur weerspiegelt.

Dit artikel onderzoekt of circuits die op het niveau van attention heads en MLP-lagen zijn ontdekt, deze eigenschappen vertonen over diverse taken en modelfamilies heen.

Methodologie

Experimentele Opzet

De auteurs evalueerden zes taken die variëren van algoritmisch redeneren (Optellen, Booleaanse Logica), informatiewinning (Indirect Object Identification [IOI], CopyColors MCQA) tot kennisintensieve benchmarks (ARC Easy, ARC Challenge). Deze werden getest op zeven modellen uit vier architectuurfamilies: Gemma 2 (2B, 2B IT), Llama 3.2 (3B, 3B Instruct), Qwen3 (4B, 8B) en OLMo-2 (1B, gebruikt voor pretraining-dynamiek).

Circuit-extractie

De studie gebruikte Edge Attribution Patching (EAP) om circuits per voorbeeld te extraheren. EAP benadert causale effecten met behulp van gradiëntinformatie en rangschikt componenten op basis van hun absolute toewijzingsscores. Voor elke taak werden circuits geëxtraheerd voor $n=1000$ voorbeelden, waarbij de circuitgroottes ($K$) werden doorgelopen van 1% tot 30% van de topcomponenten.

Evaluatiemetrics

1. Consistentie (Hergebruik): De auteurs definieerden een "gedeelde componentenset" ($S_P$) die componenten bevat die voorkomen in ten minste een fractie $P$ van de circuits per voorbeeld. Zij maten reuse@P, het aandeel van een circuit per voorbeeld dat wordt gedekt door deze gedeelde set.
2. Noodzakelijkheid: Om te bevestigen dat gedeelde componenten causaal belangrijk zijn, voerden de auteurs ablaties (nulzetten van activaties) uit op de gedeelde set $S_P$. Zij vergeleken de daling in nauwkeur met een capaciteitsbehoudende controle (C3), waarbij een willekeurige subset van componenten van gelijke grootte werd geablateerd. Een positieve noodzakelijkheidsscore geeft aan dat de gedeelde set functioneel kritiek is, verder dan louter capaciteitsreductie.
3. Specificiteit (Cross-Task Overlap):
   • Cross-Task Ablatie: De auteurs ablateerden het gedeelde circuit van Taak A en maten de prestaties op Taak B. Als circuits specifiek zijn, zou het ablaten van het circuit van Taak A Taak A aanzienlijk meer moeten schaden dan Taak B.
   • Decompositie: Voor paren van taken werden circuits opgesplitst in drie disjuncte sets: de gedeelde kern ($C_A \cap C_B$), taakspecifiek ($C_A \setminus C_B$) en complementair ($C_B \setminus C_A$). Elke set werd onafhankelijk geablateerd om de causale impact op de doeltaak versus andere taken te meten.

Belangrijkste Resultaten

1. Circuits zijn Consistent binnen een Taak

Over alle modellen en taken heen wordt een aanzienlijk deel van de circuits per voorbeeld getrokken uit een gedeelde set van componenten.

• Hoge Hergebruik: Bij $K=10\%$ varieerden de hergebruiksscores van 40% tot 70% voor de meeste taak-modelcombinaties. Bijvoorbeeld, in Llama- en Qwen-modellen bestond ongeveer de helft of meer van het circuit van elk individueel voorbeeld uit componenten die door bijna elk voorbeeld werden gedeeld.
• Causaal Belang: Het ablaten van deze gedeelde componenten veroorzaakte aanzienlijk grotere dalingen in nauwkeur dan het ablaten van een willekeurige set met dezelfde capaciteit. Bijvoorbeeld, bij Optel-taken veroorzaakte het verwijderen van de gedeelde set een extra nauwkeurigheidsdaling van 0,8–1,0 ten opzichte van willekeurige controles, wat bevestigt dat deze componenten functioneel noodzakelijk zijn.
• Training-Dynamiek: In OLMo-2-1B ontstond consistentie vroeg in de pretraining (piekend rond 76B tokens), maar degradeerde in latere stadia. Echter, noodzakelijkheid (causaal belang) werd pas duidelijk meetbaar tijdens de anneal-fase, toen de baseline-nauwkeurigheid verbeterde.

2. Circuits zijn Niet Specifiek over Taken

In tegenstelling tot de verwachting dat verschillende taken vertrouwen op onderscheiden mechanismen, vond de studie uitgebreide overlap tussen circuits voor niet-gerelateerde taken.

• Ononderscheidbare Prestatiedalingen: Bij het ablaten van het circuit van Taak A en het evalueren op Taak B, was de prestatiedaling vergelijkbaar met het ablaten van het eigen circuit van Taak B. Bijvoorbeeld, in Llama-3.2-3B veroorzaakte het verwijderen van het Optel-circuit een daling van 99% op Optellen, en het verwijderen van circuits van andere taken veroorzaakte eveneens een gemiddelde daling van 99% op Optellen.
• Hoge Overlap: Bij $K=10\%$ varieerde de Jaccard-overlap tussen circuits van taakparen van 0,46 tot 0,89, wat ver boven de ~5% ligt die voor willekeurige circuits wordt verwacht. Deze overlap werd voornamelijk gedreven door MLP-lagen, die kleine circuits ($K \le 10\%$) domineerden en het overgrote deel van de gedeelde kern uitmaakten.
• Taakspecifieke Componenten Bestaan maar zijn Minor: Hoewel een kleine set taakspecifieke componenten werd geïdentificeerd (goed voor 15–30% van het circuit bij $K=10\%$), veroorzaakte het verwijderen ervan slechts een bescheiden extra schade in vergelijking met de enorme impact van het verwijderen van de gedeelde kern. De gedeelde kern was verantwoordelijk voor het grootste deel van de prestatie-impact.

3. Samenstelling en Granulariteit

• MLP-Dominantie: Bij kleine circuitgroottes bestaan circuits bijna volledig uit MLP-lagen (bijvoorbeeld 95–100% in Gemma 2 2B-IT bij $K \le 10\%$). Attention heads worden pas prevalent naarmate de circuitgrootte toeneemt ($K \ge 20\%$).
• Lagendistributie: In de Llama- en Qwen-families concentreren kleine circuits zich in vroege lagen, terwijl Gemma-modellen meer taakafhankelijke variatie vertoonden.

Betekenis en Beweringen

Het artikel betoogt dat op de granulariteit van attention heads en MLP-lagen circuitontdekking effectief is in het identificeren welke componenten belangrijk zijn (consistentie), maar faalt in het isoleren hoe een model een specifieke taak uitvoert die verschilt van andere (specificiteit).

• Algemene Infrastructuur versus Taakmechanismen: De bevindingen suggereren dat ontdekte circuits voornamelijk algemene modelinfrastructuur identificeren (specifiek gedeelde MLP-lagen) in plaats van taakspecifieke algoritmen. De hoge overlap wordt verklaard door het feit dat deze lagen fundamentele bewerkingen uitvoeren (bijvoorbeeld het opslaan van parametrische kennis, het mappen van tokens) waarop alle downstream-taken afhankelijk zijn.
• Implicaties voor Interpretabiliteit: Het gebrek aan specificiteit roept vragen op over de bruikbaarheid van huidige circuitontdekkingsmethoden voor gerichte begrip of interventie. Als een "circuit" voor Taak A grotendeels identiek is aan het circuit voor Taak B, onthult het identificeren ervan meer over het algemene functioneren van het model dan over zijn specifieke gedrag op Taak A.
• Toekomstige Richtingen: De auteurs suggereren dat het herstellen van taakspecifieke structuur mogelijk vereist:
  1. Finere analyse-eenheden: Het overstijgen van MLP-lagen naar spaarzame feature-circuits (bijvoorbeeld met behulp van sparse auto-encoders) om polysemantische componenten te ontkoppelen.
  2. Contrastieve toewijzing: Het identificeren van componenten met een hoge toewijzing voor één taak relatief ten opzichte van andere, in plaats van in absolute termen.

Het artikel concludeert dat terwijl de gedeelde kern van circuits een betekenisvol onderzoeksobject is (mogelijk drijvend voor generalisatie en in-context learning), de aanname van taakniveau-modulariteit op componentniveau grotendeels niet wordt ondersteund door het huidige bewijs.