🤖 machine learning

Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes

Dit artikel toont aan dat hoewel het clusteren van attention heads op basis van co-activatiestatistieken plausibele circuitvoorstellen genereert, alleen causale ablatie-testen hun functionele noodzaak kunnen valideren, wat onthult dat dergelijke goedkope signalen vaak er niet in slagen echte circuits te identificeren in complexe architecturen zoals Mixture-of-Experts-modellen.

Oorspronkelijke auteurs: Yongzhong Xu

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongzhong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "Voorstellen" versus "Bewijzen" van een Team

Stel je voor dat je probeert uit te zoeken hoe een complexe machine (zoals een gigantische robothersenen) werkt. Je vermoedt dat bepaalde groepen tandwielen (genaamd attention heads) samenwerken als een team om specifieke taken uit te voeren, zoals "het vorige woord onthouden" of "een patroon vinden."

Een lange tijd probeerden onderzoekers deze teams te vinden door te kijken naar co-activatie. Dit is alsof je naar de tandwielen kijkt en zegt: "Hé, Tandwiel A en Tandwiel B draaien altijd tegelijkertijd. Ze moeten wel een team zijn!"

Dit paper stelt een kritische vraag: Alleen omdat tandwielen samen draaien, betekent dat dan ook dat ze daadwerkelijk een functioneel team vormen dat belangrijk werk verricht? Of draaien ze alleen maar samen omdat ze beide verbonden zijn met dezelfde aan-schakelaar, zelfs als ze niets nuttigs doen?

De auteurs noemen dit het verschil tussen een Proposal (een gok gebaseerd op observatie) en een Discovery (een bewezen feit gebaseerd op bewijs).

Het Experiment: De "Silence Test"

Om te bewijzen dat een team echt is, hebben de auteurs niet alleen gekeken naar het draaien van de tandwielen; ze voerden een Silence Test uit (wat zij Closure noemen).

De Proposal: Ze gebruikten een wiskundig recept (clustering) om groepen tandwielen te vinden die samen draaien.
De Test: Ze zetten die specifieke groep tandwielen uit (ablated).
Het Verdict:
- Echt Circuit: Als de machine fouten begint te maken of stopt met werken, was de groep een echt, essentieel team.
- Nep Circuit: Als de machine perfect blijft werken (of zelfs beter werkt), was de groep geen echt team. Ze waren slechts "ruis" of overbodige onderdelen die er niet toe deden.

De Resultaten: Twee Verschillende Verhalen

De auteurs testten dit op drie verschillende soorten robotbreinen (AI-modellen).

1. De Dense Modellen (De "Standaard" Breinen)

Modellen: Pythia 1B en OLMo 1B.
Het Verhaal: In deze modellen werkte de "Silence Test" perfect. Wanneer ze de groepen tandwielen uitzetten die de wiskunde als "teams" identificeerde, werd de robot hersenen daadwerkelijk slechter in zijn taak.
De Analogie: Het is als het vinden van een groep muzikanten in een orkest die altijd dezelfde noten spelen. Wanneer je hen dempt, valt de muziek uit elkaar. Conclusie: In deze modellen was de "draaien-samen" gok meestal een correcte proposal voor een echt circuit.

2. Het MoE Model (Het "Specialist" Brein)

Model: OLMoE-1B-7B (Mixture of Experts). Dit model is anders; het heeft een "manager" die beslist welke specialisten aan welke taak werken.
Het Verhaal: Hier wordt het lastig.
- Eerst faalde de wiskunde om überhaupt teams te vinden wanneer er naar het hele brein werd gekeken.
- Daarna probeerden de onderzoekers een slimme truc: ze groepeerden de inputs op basis van welke "manager" actief was en zochten naar teams binnen die groepen. Deze keer vond de wiskunde een zeer sterk signaal. Het leek op een echt team!
- De Twist: Toen ze de Silence Test uitvoerden op dit "perfecte" team, werd de robot hersenen niet slechter. Hij werd beter.
De Analogie: Stel je een groep mensen in een kantoor voor die altijd in dezelfde hoek staan en hard praten. Je denkt dat zij een "Projectteam" zijn. Maar wanneer je vraagt of ze willen vertrekken, verloopt het werk op kantoor juist soepeler, omdat ze eigenlijk gewoon afleiding waren voor iedereen.
Conclusie: In dit model vond de wiskunde een groep die leek op een team, maar het was eigenlijk gewoon "ruis". De Silence Test bewees dat lijken op een team niet genoeg is om een team te zijn.

De Trainings-tijdlijn: "Vorm" versus "Functie"

De auteurs keken ook hoe deze breinen groeiden van baby tot volwassene (tijdens de training). Ze keken naar twee dingen:

Vorm: Ziet het tandwiel eruit alsof het zich op het juiste punt concentreert? (bijv. Kijkt het naar het vorige woord?)
Functie: Is het tandwiel daadwerkelijk het werk aan het doen? (Als je het uitzet, gaat de robot dan kapot?)

Ze ontdekten een verrassende mismatch:

Functie zonder Vorm: Somsen een groep tandwielen deed het zware werk (essentiële functie) voordat ze zelfs begonnen te focussen. Ze werkten hard terwijl ze nog aan het "ronddwalen" waren.
Vorm zonder Functie: Somsen een groep tandwielen zag er perfect gefocust en scherp uit (goede vorm), maar als je ze uitzette, gebeurde er niets. Ze zagen eruit als een team, maar ze waren slechts decoratief.

De "Redundantie" Verrassing

In één specifieke test (Pythia 1B op natuurlijke tekst) vonden ze een vreemd fenomeen.

Wanneer ze het "team" uitzetten, stortte het vertrouwen van de robot in de exacte juiste antwoord (hij was er zeker van dat het fout was).
MAAR, de algemene score (gemiddelde loss) veranderde nauwelijks.
De Analogie: Stel je een noodaggregaat voor. Als je de hoofdkabel doorknipt, flikkeren de lichten wild (het specifieke signaal stort in), maar omdat de noodstroomvoorziening zo snel bijspringt, gaat het huis niet donker (de algemene score blijft gelijk). Het model heeft zoveel reservepaden dat het de schade verbergt, waardoor het "team" minder belangrijk lijkt dan het in werkelijkheid is.

De Belangrijkste Les

Het paper sluit af met een simpele regel voor AI-onderzoekers:

"Co-activatie is een proposal; Closure is het bewijs."

Alleen omdat onderdelen van een AI-brein samen activeren, of gefocust lijken, of verschijnen in een statistische cluster, betekent dat niet dat het een functioneel circuit is. Je moet de "Silence Test" (ablatie) uitvoeren om te zien of ze daadwerkelijk belangrijk zijn.

In standaardmodellen is de gok vaak juist.
In complexe "Mixture of Experts"-modellen kan de gok volledig fout zijn, waardoor je denkt dat je een team hebt gevonden terwijl je eigenlijk een groep afleidingen hebt gevonden.

Wat het paper NIET claimt:

Het zegt niet dat deze methode werkt voor álle AI-modellen (alleen voor de modellen die zij hebben getest).
Het zegt niet dat dit van toepassing is op andere soorten AI-features (zoals "Sparse Autoencoders") die andere wiskunde gebruiken.
Het biedt geen medisch of klinisch advies. Het gaat puur over het begrijpen van hoe deze specifieke computerbreinen werken.

Technische Samenvatting: Closure-gevalideerde Circuitontdekking in Attention Heads

Probleemstelling
Mechanistische interpreteerbaarheid is verschoven naar het beschouwen van groepen componenten (subruimtes, manifolds, head-sets) in plaats van individuele eenheden als het fundamentele object van studie. Een gangbare methodologische aanpak stelt voor om deze groepen te vinden door co-activatiestatistieken te clusteren (bijv. met behulp van gebinariseerde Ising-modellen op sparse autoencoder-features of attention heads). Er blijft echter een kritische kloof bestaan: vormt een statistisch coherente co-activatiegemeenschap daadwerkelijk een "circuit" in de belastende zin? Een echt circuit is een groep componenten waarvan de verwijdering de prestaties van het model op inputs waar de functie van de groep van toepassing is, causaal verslechtert.

Het onderzoek onderzoekt of "goedkope" signalen — specifiek co-activatie-clusterlidmaatschap, attention-target selectiviteit en participatieverhouding — kunnen dienen als voldoende bewijs voor circuitontdekking, of dat ze slechts kandidaten voorstellen die causale validatie vereisen. De auteurs vragen zich af of clustering alleen onderscheid kan maken tussen:

Ware Circuits: Groepen die gezamenlijk een functie implementeren en belastend zijn.
Co-actieve Gemeenschappen: Groepen die samen vuren vanwege gedeelde upstream-drivers, maar redundant of marginaal bijdragen.
Annuleerbare Gemeenschappen: Groepen die bias-signalen toevoegen waar het netwerk voor compenseert, zodanig dat hun verwijdering de prestaties zelfs kan verbeteren.

Methodologie
De studie hanteert een "voorstel-en-validatie"-raamwerk over drie 1B-schaal taalmodellen (Pythia 1B, OLMo 1B, en de Mixture-of-Experts OLMoE-1B-7B) en twee inputdistributies (synthetische inductie en natuurlijke tekst).

Voorstel (Clustering):
- Signaalextractie: Voor elk attention head wordt een template-vrij signaal geëxtraheerd: het maximale attention gewicht toegewezen aan elke key-positie in een input.
- Binarisatie: Signalen worden gebinariseerd op de per-head mediaan, waardoor elk head constructief op 50% van de voorbeelden vuurt, wat firing-rate biases verwijdert.
- Ising Fit: Een pairwise Ising-model wordt gefit op de gebinariseerde signalen met behulp van pseudolikelihood om de koppelingssterktes tussen heads te schatten.
- Community Recovery: Spectral clustering wordt toegepast op de absolute koppelingsmatrix. Het aantal clusters ( $k$ ) wordt geselecteerd om de Adjusted Rand Index (ARI) te maximaliseren tegenover een gesuperviseerde classificatie van head-capaciteiten (bijv. previous-token, inductie).
- Kandidaatselectie: Een specifieke sub-cluster wordt geselecteerd op basis van zuiverheid (purity), isolatie (ratio van interne naar externe koppeling) en groottebeperkingen.
Validatie (Closure Test):
- Ablatie: De geselecteerde gemeenschap wordt geablateerd door de output-slices van de geïdentificeerde heads op nul te zetten voordat ze de residual stream ingaan.
- Vergelijking: De schade per voorbeeld (verandering in cross-entropy loss, top-1 accuratesse en target-token logit) wordt vergeleken met vijf gematchte-random controle-ablaties van dezelfde grootte.
- Verdict Criteria: Een kandidaat slaagt voor closure als de schade in de verwachte richting ligt (loss neemt toe, accuratesse/logit neemt af) en statistisch significant is (z-score > 1.8) ten opzichte van de random controleverdeling.
Uitgebreide Proxies:
- De studie volgt ook attention-to-target selectiviteit en de participatieverhouding (PR) over verschillende trainingscheckpoints om te zien of deze "goedkope" signalen in de loop van de tijd correleren met de belastende functie.

Belangrijkste Resultaten

Dense Modellen (Pythia 1B, OLMo 1B):
- Co-activatiegemeenschappen geïdentificeerd op zowel synthetische als natuurlijke tekstdistributies slagen voor closure.
- Ablatie van deze gemeenschappen verhoogt consistent de loss en verlaagt de accuratesse/target-logit ten opzichte van random controles.
- OLMo 1B (Natuurlijke Tekst): Produceerde het sterkste signaal, met een z-score van +36.4 $\sigma$ op loss en -50.9 $\sigma$ op target logit.
- Pythia 1B (Natuurlijke Tekst): Toonde een "downstream-redundantie signature". Hoewel de target-logit aanzienlijk daalde (-52.5 $\sigma$ ), was de geaggregeerde loss-verandering klein (+1.95 $\sigma$ ). Dit geeft aan dat het model redundante downstream-paden heeft die de geablateerde output reconstrueren, waardoor de cross-entropy loss wordt geïsoleerd terwijl de specifieke voorspellingszekerheid instort.
Mixture-of-Experts (OLMoE-1B-7B):
- Marginale Mislukking: Op natuurlijke tekst stortte het marginale Ising-model in (ARI $\approx$ 0.006), waarbij het er niet in slaagde enige structuur te herstellen.
- Route-Conditionele Herstel: Door voorbeelden te stratificeren op basis van routing-patronen (met behulp van k-means op routing weights) en aparte Isings te fitten, werd een statistisch significant signaal hersteld (ARI 0.191, +3.05 $\sigma$ boven een random-partition null).
- Closure Mislukking: Ondanks de statistische herwinning, faalde de ontdekte gemeenschap voor closure in de verkeerde richting. Het ablateren van de gemeenschap verbeterde de loss (z = -5.64 $\sigma$ op de ontdekkingsstratum, -12.94 $\sigma$ buitenaf). De heads fungeerden als route-gemoduleerde ruis; het verwijderen ervan hielp het model, vooral op inputs buiten de specifieke routing-stratum.
Trainingsas Proxies:
- Functie zonder Vorm: BOS (beginning-of-sequence) heads waren belastend (slaagden voor closure) bij 2B tokens voordat hun attention-to-BOS selectiviteitspatroon gevormd was (selectiviteit was nabij nul).
- Vorm zonder Functie: In Pythia 1B vertoonden previous-token heads een hoge selectiviteit en een hoge participatieverhouding bij 1B tokens, maar faalden ze voor closure (ablatie beschadigde de prestaties niet, en hielp in sommige gevallen zelfs).
- Deze bidirectionele ontkoppeling bewijst dat attention-patronen en functie verschillende constructen zijn, en niet louter verschillende gevoeligheden van hetzelfde fenomeen.

Multi-Metric Rapportage
Het artikel betoogt dat cross-entropy loss alleen een onbetrouwbare metriek is voor closure. Het kan worden opgeblazen door control-variance collapse (zoals gezien in OLMo natuurlijke tekst) of worden gemaskeerd door downstream redundantie (zoals gezien in Pythia natuurlijke tekst). De auteurs bevelen een multi-metriek standaard aan:

Richting: Alle metrieken moeten in de richting van de schade bewegen.
Target-Logit: De primaire indicator van causale impact.
Accuratesse: Bevestigend bewijs.
Loss: Een conservatieve vloer, onderhevig aan aggregatie-slack.

Claims en Betekenis
Het artikel concludeert met vier specifieke claims:

Voorstel vs. Ontdekking: Ongesuperviseerde co-activatie clustering is een circuit-voorstelmethode, geen ontdekkingsmethode. Het identificeert kandidaat-gemeenschappen, maar alleen causale ablatie (closure) valideert hen als belastend.
Succes in Dense Modellen: Co-activatiegemeenschappen in dense 1B-schaal modellen op zowel synthetische als natuurlijke tekst kunnen succesvol belastende circuits voorstellen die closure doorstaan.
MoE Mislukking: In MoE-architecturen is zelfs route-conditionele statistische herwinning (die een zorgvuldige null-test doorstaat) onvoldoende bewijs van een circuit. De herstelde gemeenschappen kunnen falen voor closure in de tegenovergestelde richting (het verbeteren van prestaties bij verwijdering).
Metrische Divergentie: De kloof tussen attention-patronen (selectiviteit/PR) en functie is bidirectioneel; een head kan een scherp patroon hebben zonder functie, en functie zonder een patroon.

Reikwijdte en Beperkingen
De auteurs geven expliciet aan dat zij niet beweren dat deze resultaten generaliseren naar SAE-feature manifolds (die andere validatiecriteria gebruiken), grotere modellen, andere architecturen (bijv. LLaMA, Mistral), of andere inputdistributies (bijv. code). Ze merken ook op dat de "verkeerde richting" mislukking in MoE specifiek is voor de geteste architectuur en routing-protocol, en dat de gebruikte Ising affinity een keuze is voor vergelijkbaarheid, niet noodzakelijkerwijs de optimale affinity voor discrete circuits. De studie benadrukt dat het negatieve resultaat in MoE essentieel is, omdat het aantoont dat statistische coherentie geen garantie biedt voor causale belastendheid, vooral in complexe architecturen.