💻 computer science

Pattern Selectivity is Not Task-Causal Structure: A Cross-Architecture Mechanistic Study of Composed-Task Circuits in 1B-Class Language Models

Deze cross-architecturale mechanistische studie toont aan dat een verenigd "screen-and-ablate"-protocol voor het identificeren van taakcircuits inconsistente causale claims oplevert over verschillende 1B-klasse taalmodellen, wat onthult dat identieke gedragscapaciteiten worden geïmplementeerd via verschillende aandachtspatroonstructuren en voorstelt dat MoE-modellen specifiek vertrouwen op een fundamenteel substraat van de positie van de vorige token voor samengestelde taken.

Oorspronkelijke auteurs: Yongzhong Xu

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongzhong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je drie verschillende chefs (AI-modellen) hebt die allemaal precies hetzelfde gerecht hebben geleerd te maken: een complex recept genaamd "Indirect Object Identification" (IOI). Je wilt weten hoe ze dit gerecht bereiden. Gebruiken ze dezelfde gereedschappen? Volgen ze dezelfde stappen?

Dit artikel is als een voedingscriticus die drie verschillende keukens binnenstapt om dit uit te zoeken. De criticus gebruikt een standaard testmethode: ze identificeren een specifiek gereedschap (zoals een garde of een mes), verwijderen het, en kijken of het gerecht uit elkaar valt.

Hier is wat het artikel vond, eenvoudig uitgelegd:

1. Hetzelfde Gerecht, Verschillende Recepten

De grote verrassing is dat alle drie de chefs het gerecht perfect maken, maar ze gebruiken volkomen verschillende gereedschappen om het te doen.

Chef A (Pythia): Gebruikt een "Previous Token"-gereedschap. Dit is als een chef die naar het ingrediënt kijkt dat hij zojuist heeft opgepakt om te beslissen wat hij nu gaat doen.
Chef B (OLMo): Gebruikt een "S-Inhibition"-gereedschap. Dit is als een chef die specifiek het hoofdingrediënt onderdrukt zodat het bijgerecht kan schitteren.
Chef C (OLMoE): Gebruikt een "Name-Mover"-gereedschap. Dit is als een chef die fysiek de naam van het bijgerecht pakt en naar de voorkant van het bord verplaatst.

De Les: Alleen omdat twee modellen een probleem op dezelfde manier oplossen (het juiste antwoord geven), betekent dit niet dat ze ook dezelfde interne "circuit" of mechanisme gebruiken. Je kunt er niet vanuit gaan dat wat werkt voor de ene AI, ook werkt voor een andere.

2. Het "Vissersexpeditie"-probleem

De onderzoekers waren bezorgd dat als ze genoeg verschillende gereedschappen zouden proberen, ze misschien gewoon geluk zouden hebben en er eentje zouden vinden die toevallig lijkt te werken. Om te bewijzen dat ze niet aan het vissen waren, gebruikten ze een "Matched Random" controle.

Denk hieraan als volgt: Als je de werkelijke garde van de chef verwijdert en de taart stort in, dan is dat goed. Maar als je een willekeurige lepel uit de lade haalt en de taart stort ook in, dan was de garde niet speciaal; de hele keuken was gewoon fragiel.

Het artikel laat zien dat voor de meeste taken, het verwijderen van het specifieke gereedschap dat de onderzoekers vonden voor een enorme instorting zorgde, terwijl het verwijderen van willekeurige gereedschappen niets deed. Dit bewijst dat ze de echte "geheime saus" voor elk specif kind model hadden gevonden.

3. De Vijf Typen "Gereedschappen"

Het artikel creëerde een nieuwe manier om te categoriseren wat er gebeurt wanneer je een gereedschap verwijdert. Het is niet alleen "het werkt" of "het werkt niet". Ze vonden vijf duidelijke uitkomsten:

De Primaire Oorzaak: De hoofdmotor. Als je deze verwijdert, stopt de auto. (bijv. het "Previous Token"-gereedschap bij Chef A).
De Secundaire Oorzaak: Een reservemotor. De auto rijdt nog wel als je deze verwijdert, maar hij sputtert.
De Correlatie: Een glimmende decoratie. Het lijkt alsof het in de motorruimte hoort, maar als je het verwijdert, rijdt de auto prima. Het was alleen maar meegelift.
De Interferentie: Een saboteur. Als je dit gereedschap verwijdert, rijdt de auto zelfs beter. In één geval ontdekten de onderzoekers gereedschappen die de prestaties van de AI zelfs verslechtten, en het verwijderen ervan loste het probleem op.
De Null: Een gereedschap dat niets doet. Het verwijderen ervan verandert niets.

4. Het "MoE"-Mysterie (De Speciale Geval)

Een van de chefs (OLMoE) is een "Mixture of Experts" (MoE). Stel je voor dat deze chef een team van 64 specialisten heeft, maar er mogen er slechts 8 tegelijkertijd koken.

De onderzoekers ontdekten een vreemd patroon bij deze chef:

Voor drie van de vier verschillende recepten vertrouwde deze chef zwaar op het "Previous Token"-gereedschap als fundament. Het was alsof de hele keuken van deze chef gebouwd was op een lopende band die het laatste item simpelweg doorgaf.
Echter, voor het "Indirect Object"-recept schakelde deze chef over naar het "Name-Mover"-gereedschap.

De Hypothese: Het artikel suggereert dat voor dit specifieke type AI (MoE), het "Previous Token"-gereedschap de standaard "ruggengraat" is die alles bij elkaar houdt. De AI bouwt complexe taken op bovenop deze eenvoudige ruggengraat, tenzij de taak specifiek een ander soort aandacht vereist (zoals het kopiëren van een naam aan het einde).

5. Waarom "Top-1" Accuraatheid Niet Genoeg Is

Het artikel waarschuwt ook dat alleen kijken naar of de AI het "juiste antwoord" geeft (Top-1 accuraatheid), misleidend kan zijn.

Soms verandert het verwijderen van een gereedschap niet het uiteindelijke antwoord, maar maakt het de AI minder zelfverzekerd. Het is als een student die de wiskundevraag nog steeds goed beantwoordt, maar wiens handschrift onvast wordt en die begint te twijfelen. Als je alleen het antwoord controleert, mis je het feit dat de student moeite heeft. De onderzoekers ontdekten dat voor sommige modellen de "marge" (hoeveel beter het juiste antwoord is dan het foute antwoord) krimpt, zelfs als het antwoord hetzelfde blijft.

Samenvatting

Het Recept Werkt, De Gereedschappen Niet: Je kunt het "mechanisme" van de ene AI niet zomaar kopiëren naar een andere. Ze lossen dezelfde problemen op met verschillende interne tandwielen.
Pas Op voor "Saboteurs": Soms zijn de onderdelen waarvan je denkt dat ze helpen, juist de onderdelen die de AI hinderen.
MoE-Modellen Zijn Uniek: Modellen met "experts" (MoE) lijken voor de meeste taken sterk te vertrouwen op een specifieke "Previous Token"-ruggengraat, wat een nieuwe ontdekking is.
Kijk Dieper: Controleer niet alleen of de AI het goed heeft; controleer ook hoe zelfverzekerd de AI is, want de "zelfverzekerdheid" kan juist het echte verhaal vertellen.

Het artikel concludeert dat hoewel we een geweldige methode hebben om deze "circuits" (het recept) te vinden, we er niet vanuit kunnen gaan dat de circuits hetzelfde zijn bij verschillende modellen. Elke AI is een unieke machine met zijn eigen interne logica.

Technische Samenvatting: Patroonselectiviteit is Geen Taak-Causale Structuur

Probleemstelling
Dit artikel onderzoekt of het gevestigde "screen-and-ablate"-recept voor mechanistische interpreteerbaarheid—het identificeren van aandachtshoofd-circuits via taak-patroonselectiviteit gevolgd door causale ablatie—consistente mechanistische claims oplevert over verschillende modelfamilies heen. Hoewel eerder werk (bijv. Wang et al., 2023) canonieke circuits heeft vastgesteld voor taken zoals Indirect Object Identification (IOI) in GPT-2 small, blijft het onbekend of deze specifieke circuits generaliseren naar andere 1B-klasse taalmodellen die getraind zijn op verschillende corpora met verschillende architecturen. De kernvraag is of een enkele taak-patroon-screen dezelfde causale circuit identificeert over verschillende modellen heen, of dat de mechanistische implementatie van samengestelde taken modelspecifiek is.

Methodologie
De auteurs passen een uniforme screen-and-ablate-protocol toe over een $4 \times 3$ empirische grid:

Taken: Vier samengestelde taken: Indirect Object Identification (IOI), Greater-Than, Successor Sequences, en Variable Binding.
Modellen: Drie 1B-klasse modellen uit verschillende pipelines:
- Pythia 1B: Dense architectuur, getraind op The Pile.
- OLMo 1B: Dense architectuur, getraind op DCLM.
- OLMoE 1B-7B: Mixture-of-Experts (MoE) architectuur (64 experts, top-8), getraind op DCLM.
Procedure:
1. Spectraal Signaal: Hoofden worden vooraf gescreend met behulp van een participation-ratio (PR) integraal om gespecialiseerde computation te identificeren.
2. Taak-Patroon Screen: Kandidaat-hoofden worden gefilterd op basis van selectiviteit voor specifieke aandachtspatronen (bijv. prev-token, inductie, name-mover, S-Inhibition).
3. Causale Verificatie: Groep-ablatie van de kandidaat-circuit wordt uitgevoerd (vervanging van de output van hoofden door de batch-gemiddelde activatie).
4. Controle: Een matched-random null wordt voor elke cel gegenereerd met behulp van 10 onafhankelijke zaden, waarbij willekeurige hoofden uit dezelfde lagen worden gesampled met een gelijke count en zonder overlap met de geselecteerde hoofden.
Metrieken: Prestaties worden gemeten via $\Delta$ top-1 accuratesse en $\Delta$ logit-diff (verschil tussen correcte en distractor logits).

Belangrijkste Bijdragen

Empirisch Grid: Een uitgebreide analyse van 12 (taak, model) cellen aan de 1B-klasse frontlinie, die aantoont dat hoewel de methodologie portabel is, de specifieke causale circuits dat niet zijn.
Vijf-Categorie Taxonomie: Een kwantitatief kader voor het classificeren van screen-uitkomsten:
- Primary Cause: Grootste niet-verzadigde effect met hoge specificiteit ( $\ge 3\times$ over matched-random).
- Secondary Cause: Betekenisvol effect maar kleiner dan de primaire screen; vaak een redundante route.
- Correlate: Hoofden vertonen het verwachte patroon, maar ablatie heeft weinig tot geen causale impact (antwoord is al upstream gecodeerd).
- Interferer: Ablatie verbetert de taakprestaties; vaak veroorzaakt door BOS-klasse (eerste token) aandacht-sinks die met de taak concurreren.
- Null: Geen causale rol; effectgrootte is niet te onderscheiden van willekeurige ruis.
OLMoE Prev-Token-Primacy Hypothese: Een falsifieerbare claim dat MoE-modellen op de 1B-actieve schaal samengestelde taak-circuits bouwen op een fundamentele prev-token positionele substraat. Taakspecifieke computation wordt gelaagd op dit substraat, behalve wanneer de taakstructuur direct een ander patroon probeert (bijv. IOI's laatste-positie name-copying).
Methodologische Verfijningen:
- Demonstratie dat matched-random controles essentieel zijn om echte causaliteit te onderscheiden van fishing expeditions, met name omdat ze onthullen dat L0-geconcentreerde screens een hoge variantie in de nullen hebben.
- Identificatie van de margin-not-argmax signatuur: In sommige modellen comprimeert ablatie de logit-marge (vermindert vertrouwen) zonder de top-1 voorspelling te veranderen, wat suggereert dat capaciteiten worden geïmplementeerd als distributionele biases in plaats van gating-beslissingen.

Belangrijkste Resultaten

Geen Cross-Architectuur Circuit Transfer: Geen twee cellen in de $4 \times 3$ $4 \times 3$ grid delen dezelfde primaire causale screen bij een vergelijkbare effectgrootte.
- IOI: Pythia is prev-token primair; OLMo is S-Inhibition primair; OLMoE is name-mover primair.
- Greater-Than: Pythia is GT-specific primair; OLMo vertoont een margin-only effect; OLMoE is prev-token primair.
- Successor: Pythia is gemengd; OLMo is L0-geconcentreerd (onbetrouwbare null); OLMoE is prev-token primair.
- Variable Binding: Pythia's naïeve screen identificeert interferers (BOS-confounds); OLMo en OLMoE zijn prev-token primair.
Het OLMoE Patroon: In OLMoE is de prev-token circuit de primaire causale driver voor Greater-Than, Successor, en Variable Binding. De uitzondering is IOI, waar de taakstructuur (laatste-positie name copying) direct de name-mover circuit activeert.
BOS-Class Confounds: In Pythia's Variable Binding taak waren de top screen-kandidaten BOS-klasse hoofden die als interferers fungeerden. Individuele hoofdablaties waren vereist om hen te onderscheiden van echte supporters, een diagnose die generaliseert over BOS-gedomineerde regimes.
Metrische Sensitiviteit: Het uitsluitend vertrouwen op top-1 accuratesse mist significante mechanistische effecten. Bijvoorbeeld, in OLMo's Greater-Than taak, comprimeerde het ableren van de GT-specifieke screen de logit-marge aanzienlijk ( $\Delta$ -1.98) terwijl de top-1 minimaal daalde ( $\Delta$ -0.6).

Significantie en Claims
Het artikel betoogt dat de vraag "Wat is de circuit voor capaciteit X?" een malafide vraag is voor de 1B-klasse frontlinie, omdat het een enkele, overdraagbare oplossing veronderstelt. In plaats daarvan stellen de auteurs voor dat:

Mechanistische Ontkoppeling: Verschillende modellen bereiken dezelfde gedragsmatige capaciteit via volledig verschillende mechanistische implementaties. De "recept" (screen-and-ablate) is een geldige generatieve procedure, maar de specifieke circuit moet voor elk model opnieuw worden afgeleid.
Model-Class Regulariteiten: Hoewel specifieke circuits verschillen, kunnen structurele patronen standhouden binnen architectuurfamilies. De OLMoE prev-token-primacy hypothese suggereert dat MoE-architecturen vertrouwen op een stabiel positioneel substraat voor routing, waarop taakspecifieke logica wordt gebouwd.
Methodologische Eerlijkheid: Het paper benadrukt dat spectrale signalen alleen onvoldoende zijn; taak-patroon screens en causale verificatie (met name individuele hoofdablaties in BOS-gedomineerde regimes) zijn vereist om supporters te onderscheiden van correlaten en interferers.

De auteurs presenteren deze bevindingen als een startpunt voor een breder empirisch programma, waarbij zij opmerken dat de OLMoE-hypothese validatie vereist op andere MoE-modellen (bijv. Mixtral, DBRX) en dat de 12-cel grid voldoende is om te motiveren maar niet volledig te vestigen van cross-taak generalisatie.