💬 NLP

Detection vs. Execution: Single-Bucket Probes Miss Half the Mamba-2 State Sink

Dit artikel toont aan dat in Mamba-2 de door single-bucket probes geïdentificeerde representationele signaturen vaak onderscheidende detectie- en executiecircuits voor het state sink-fenomeen verwarren, wat onthult dat slechts een specifieke subset van heads (BOS-specialisten) causaal de kritieke long-context retrieval-prestaties aanstuurt, terwijl anderen met vergelijkbare representaties dat niet doen.

Oorspronkelijke auteurs: Yuhang Jiang

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuhang Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Schaduw" versus de "Acteur" zien

Stel je voor dat je probeert uit te zoeken hoe een enorm, complex orkest een specifiek nummer speelt. Je hebt een microfoon (een probe) die kan detecteren wanneer een specif）』 specifieke instrument hard speelt.

In de wereld van AI-onderzoek gaan wetenschappers er vaak van uit dat als hun microfoon een luid geluid van een specifiek instrument oppikt, dat instrument ook daadwerkelijk de melodie speelt.

Dit paper betoogt dat in een nieuw type AI-model genaamd Mamba-2, deze aanname onjuist is. De microfoon detecteert een enorme "schaduw" van activiteit, maar de werkelijke "acteur" die het zware werk verricht, is een kleine, verborgen groep binnen die schaduw. Als je alleen naar het luide geluid kijkt, mis je het echte mechanisme.

De Setting: De "State Sink"

Om het probleem te begrijpen, moeten we begrijpen wat de AI doet.

De Analogie: Stel je een lange rij mensen voor die een emmer water doorgeven in een keten. Elke keer dat er een nieuw persoon bij de rij komt (een nieuw woord in een zin), moet de persoon aan het begin van de rij (het "Begin van de Zin" of BOS-token) de emmer extra stevig vasthouden om te voorkomen dat het water eruit loopt.
De Wetenschap: In AI-modellen wordt dit "stevig vasthouden" een State Sink genoemd. Het model richt een enorme hoeveelheid energie op de eerste paar tokens (zoals het begin van een zin of een nieuwe regel) om zijn geheugen stabiel te houden.

De Ontdekking: Twee Groepen, Eén Signaal

De onderzoekers keken naar Mamba-2-modellen en ontdekten dat deze "State Sink" niet slechts één grote groep werkers is. Het is eigenlijk twee duidelijke groepen die er hetzelfde uitzien voor een eenvoudige detector, maar heel verschillende taken hebben.

1. De "BOS-Specialisten" (De Executielaag)

Wie ze zijn: Een kleine groep werkers (slechts ongeveer 5% van het totaal).
Wat ze doen: Zij zijn de doeners. Zij zijn degene die daadwerkelijk de emmer vasthouden en zorgen dat het water blijft stromen. Als je hen verwijdert, stort de hele rij in en vergeet de AI alles.
De claim van het paper: Dit is het "Execution" circuit. Zij zijn degenen die daadwerkelijk de berekening uitvoeren.

2. De "Dual Heads" (De Detectielaag)

Wie ze zijn: Een veel grotere groep (ongeveer 30% van het totaal).
Wat ze doen: Zij zijn de kijkers. Ze staan naast de doeners, kijken naar hetzelfde en raken net zo enthousiast. Voor een eenvoudige microfoon (een "single-bucket probe") lijken ze exact op de doeners. Hun signalen zijn bijna identiek.
De Twist: Als je deze kijkers verwijdert, werkt de AI nog steeds prima! Zij doen niet het zware werk. Ze detecteren alleen dat er iets belangrijks gebeurt.
De claim van het paper: Dit zijn de "Detection" circuits. Ze hebben het juiste signatuur (ze zien eruit alsof ze werken), maar niet de juiste functie (ze doen het werk niet echt).

De Fout: De "Single-Bucket" Valstrik

Het paper noemt de fout van het verwarren van deze twee groepen de "Single-Bucket Probe"-fout.

De Analogie: Stel je voor dat je de beste chefs in een keuken probeert te vinden door te vragen: "Wie houdt er een mes vast?"
- Je vindt een kleine groep Hoofdchefs (de BOS-specialisten) die daadwerkelijk de maaltijd koken.
- Je vindt ook een grote groep Sous-chefs (de Dual Heads) die messen vasthouden maar alleen groenten snijden voor de garnering.
- Als je een eenvoudige test gebruikt die simpelweg zegt: "Iedereen die een mes vasthoudt, is een Hoofdchef", dan zul je ten onrechte denken dat de Sous-chefs het hoofdgerecht aan het koken zijn.
- Het Resultaat: Je denkt dat je de hele keukenteam hebt gevonden, maar je hebt gemist dat het echte koken wordt gedaan door een klein, elitair team.

In Mamba-2 zijn de "messen" de wiskundige signalen. De eenvoudige probe ziet beide groepen het mes vasthouden, maar alleen de kleine groep is daadwerkelijk aan het koken.

Waarom gebeurt dit? (De Architectuur)

Waarom heeft Mamba-2 deze "Schaduw"-groep terwijl oudere modellen dat niet hebben?

Mamba-1 (Het Oude Model): Stel je een keuken voor waar elke chef zijn eigen privé-werkblad heeft. Als een chef zich op het begin van de zin wil richten, kan hij dat doen zonder anderen te storen. De "Doeners" en de "Kijkers" zijn dezelfde mensen.
Mamba-2 (Het Nieuwe Model): Stel je een keuken voor waar chefs gedwongen worden om één enkel, klein werkblad te delen. Omdat ze de ruimte moeten delen, moeten ze meerdere dingen tegelijk doen.
- Het model dwingt een groep "heads" om te "multiplexen" (twee taken tegelijk uitvoeren).
- De ene taak is het detecteren van het begin van de zin (de Kijkers).
- De andere taak is het uitvoeren van de reset (de Doers).
- Omdat ze dezelfde ruimte delen, zien ze er identiek uit voor een eenvoudige probe, ook al zijn hun taken verschillend.

Het Bewijs: De "Naald in de Hooiberg" Test

Om te bewijzen dat de kleine groep (Specialisten) de echte held is en de grote groep (Dual Heads) slechts een toeschouwer is, deden de onderzoekers een "Naald in de Hooiberg" test.

De Test: Ze verstopten een specifieke zin (de "naald") diep in een enorm boek (de "hooiberg") en vroegen de AI om deze te vinden.
Het Resultaat:
- Toen ze de Kleine Groep (Specialisten) verwijderden: De AI faalde volledig. De AI kon de naald helemaal niet vinden. De nauwkeurigheid daalde van 100% naar 0%.
- Toen ze de Grote Groep (Dual Heads) verwijderden: De AI vond de naald nog steeds perfect.
- Conclusie: De grote groep was alleen maar aan het kijken; de kleine groep was degene die de naald daadwerkelijk onthield.

Samenvatting van de Claims van het Paper

Detectie $\neq$ Executie: Alleen omdat een deel van de AI oplicht (word gedetecteerd), betekent niet dat het het werk doet (executie).
De Splitsing: In Mamba-2 splitst de "State Sink" zich in een kleine Executielaag (5% van de heads) en een grote Detectielaag (30% van de heads).
De Valstrik: Eenvoudige probes (single-bucket) zien alleen de grote Detectielaag en missen de kleine Executielaag.
De Oplossing: Om te begrijpen hoe Mamba-2 werkt, kun je niet alleen kijken naar wie "luid" is. Je moet testen wie er daadwerkelijk nodig is door hen te verwijderen en te zien of de AI dan kapot gaat.
Architectuur Is Belangrijk: Dit gebeurt door de manier waarop Mamba-2 is gebouwd (gedeelde projecties), en niet alleen door de grootte van het model.

Kortom: Het paper waarschuwt ons dat in de nieuwe Mamba-2-modellen de "luide" delen van het brein niet altijd de delen zijn die het denken doen. Er is een verborgen, klein team dat het echte werk verricht, en een veel groter team dat er alleen maar bij staat en druk lijkt te doen. Als je alleen naar het lawaai luistert, mis je het echte verhaal.

Technische Samenvatting: Detectie versus Executie in Mamba-2 State Sinks

Probleemstelling
Mechanistische interpreteerbaarheid opereert vaak onder de assumptie dat probes die een specifieke representationele signatuur identificeren (bijv. hoge activatie op boundary tokens) ook de specifieke circuit identificeren die de bijbehorende berekening uitvoert. Dit artikel daagt die assumptie uit binnen de context van Selective State Space Models (SSM's), specifiek Mamba-2. De auteurs onderzoeken de "state sink" — analoog aan de "attention sink" in Transformers — waar een disproportionele activatie van de token-conditionele gate ( $\Delta$ ) optreedt op boundary tokens (Begin-of-Sequence/BOS en nieuwe regels). Het kernprobleem is of single-bucket probes (die eenheden classificeren op basis van activatie op een enkele klasse) accuraat de causale circuit lokaliseren die verantwoordelijk is voor state management, of dat ze een grotere, functioneel verschillende set eenheden missen die dezelfde representationele signatuur delen.

Methodologie
De studie maakt gebruik van een rigoureus interventie-grid met 12.096 cellen (6.060 geëvalueerd) over vier model-checkpoints: Mamba-1 (130M, 2.8B) en Mamba-2 (1.3B, 2.7B), naast Pythia (160M–2.8B) als een cross-architectuur baseline.

Specialist Classificatie: Eenheden (kanalen in Mamba-1, heads in Mamba-2) worden geclassificeerd als "specialisten" als hun gemiddelde pre-softplus $\Delta$ -activatie op een specifieke token-klasse (BOS, newline, etc.) een drempelwaarde ( $\tau=0.5$ ) overschrijdt ten opzichte van een referentieset. Dit levert "single-bucket" specialisten op (één klasse) en "dual" specialisten (twee klassen).
Causale Interventies: De auteurs voeren ablatie-studies uit met zes interventie-types (bijv. gate_zero, delta_zero, gate_one) op specifieke sets eenheden. Ze meten het verschil in Negative Log-Likelihood (NLL) op de eerste acht tokens na een boundary token, waarbij de specialist-set wordt vergeleken met grootte-gematchte willekeurige complementen.
Granulariteit Vergelijking: De studie contrasteert Mamba-1 (kanaal-granulariteit, onafhankelijke $\Delta$ -projecties) met Mamba-2 (head-granulariteit, head-gedeelde $\Delta$ -projecties) om architecturale effecten te isoleren.
Validatie: Resultaten worden gevalideerd over twee corpora (wikitext-2, Pile-10k), meerdere schalen, en een long-context retrieval taak (RULER Needle-in-a-Haystack).

Kernbijdragen en Resultaten

Granulariteit-Conditionele Causaliteit:
- In Mamba-1 (kanaal-granulariteit) dragen single-bucket BOS-specialisten de causale massa voor de state sink. Het ableren van hen veroorzaakt significante prestatievermindering, en de probe volgt de executie-circuit accuraat.
- In Mamba-2 (head-granulariteit) herstellen single-bucket probes slechts een kleine "executie-laag" (~5% van de heads). Echter, een veel grotere set "dual heads" (27–35% van de heads), die dezelfde representationele signatuur delen (hoge activatie op zowel BOS als newlines), wordt gemist door single-bucket classificatie.
Detectie versus Executie Dichotomie:
- Executie-laag: De single-bucket BOS-specialisten vormen de causale executie-laag. Het ableren van hen laat de retrieval-accuratesse instorten van 1.00 naar 0.00 in RULER NIAH taken en verhoogt de NLL op BOS-context en newline targets aanzienlijk.
- Detectie-laag: De dual heads vertonen een hoge representationele gelijkenis met de specialisten (cosine similarity $\approx 0.89$ op BOS versus newline) maar tonen substantieel zwakkere causale effecten onder ablatie. Sterker nog, het ableren van dual heads heeft vaak een verwaarloosbaar of zelfs negatief effect op de prestaties vergeleken met de baseline, wat aangeeft dat zij een "representationele detectie-laag" zijn in plaats van de functionele executie-laag.
- Misleidende Probes: Het artikel demonstreert dat representationele gelijkenis niet impliceert dat er sprake is van functionele equivalentie. Single-bucket probes tellen de causale substantie systematisch 3–7× te laag in termen van set-grootte bij de head-granulariteit van Mamba-2.
Architecturale Driver:
- De asymmetrie wordt toegeschreven aan de Mamba-2 architectuur, waarbij de $\Delta$ -projectie gedeeld wordt over kanalen binnen een head. Dit dwingt heads om te multiplexen over boundary klassen, wat de grote dual-head populatie creëert.
- Een controle-experiment met willekeurige kanaal-bucketing van Mamba-1 om de head-naar-klasse ratio van Mamba-2 te evenaren, slaagde er niet in de dual-head dominantie te reproduceren, wat de specifieke head-gedeelde $\Delta$ -projectie als de driver aanwijst, in plaats van louter de substraat-granulariteit.
Cross-Architectuur Baseline:
- Pythia (Transformer) attention heads vertonen single-bucket selectiviteit maar missen de dominante dual-head set die in Mamba-2 wordt gevonden. Dit bevestigt dat de detectie/executie splitsing specifiek is voor de state-space mechanica van de Mamba-2 architectuur, en geen universele eigenschap is van head-granulaire modellen.

Betekenis en Claims
Het artikel claimt dat de standaard "label-to-locus" beweging in mechanistische interpreteerbaarheid — de assumptie dat de hoogst-activerende eenheden geïdentificeerd door een probe de causale circuit zijn — systematisch onbetrouwbaar is bij de head-granulariteit van Mamba-2.

Noodzaak tot Re-audit: Interpretatie-bevindingen die gelokaliseerd zijn tot Mamba-2 heads via single-bucket probes vereisen een re-audit onder multi-class aggregatie regels.
Functionele Decompositie: De state sink in Mamba-2 deelt zich op in twee distincte functionele lagen: een kleine executie-laag (single-bucket specialisten) en een grote detectie-laag (dual heads). Het scheiden hiervan vereist klasse-conditionele ablatie in plaats van te vertrouwen op klasse-conditionele cosine similarity.
Actieve Anker: In tegen tegenstelling tot attention sinks in Transformers, die passief of onderdruktebaar kunnen zijn, is de Mamba-2 state sink een actieve anker waarbij specifieke heads noodzakelijk zijn voor long-context retrieval en boundary state management.

De auteurs concluderen dat hoewel probes effectief zijn voor representationele analyse, ze kunnen falen bij het identificeren van de werkelijke causale circuit in architecturen met gedeelde projecties en gemultiplexte activatieprofielen, wat interventie-gebaseerde verificatie noodzakelijk maakt om onderscheid te maken tussen detectie en executie.