🤖 machine learning

An Exact Instrument for State Usage in Selective State-Space Models, and the Input-Driven Migration It Reveals

Dit artikel introduceert een exact instrument voor het meten van modusgebruik in selectieve toestandsruimtemodellen, waarbij wordt onthuld dat input-afhankelijke toestandshereverdeling gedreven door de schrijfmap $B_t$ input-geplande modus-pruning mogelijk maakt die statische methoden aanzienlijk overtreft en de ongeprunede prestaties evenaart bij de helft van het toestandsbudget.

Oorspronkelijke auteurs: Raktim Bhattacharya

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raktim Bhattacharya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Mamba-model voor als een gigantisch, superintelligent orkest. Binnen elke laag van dit orkest bevindt zich een bank van 16 kleine, enkelvoudige instrumenten (genaamd "modes"). In de oude manier van denken namen we aan dat de dirigent (het model) een vaste set van, zeg, de 8 beste instrumenten zou kiezen om de hele compositie te spelen, ongeacht wat er met de muziek gebeurde.

Maar dit paper trekt het gordijn op en onthult een schokkend geheim: De dirigent kiest helemaal geen vaste set.

In plaats daarvan is de dirigent een meester in improvisatie. Voor elk woord (of "token") dat het model leest, beslist hij onmiddellijk opnieuw welke 8 instrumenten nodig zijn om de melodie te dragen. Soms zijn het de fluiten; soms de violen; soms de drums. De "belangrijke" instrumenten migreren afhankelijk van de input. Als je het orkest dwingt vast te houden aan één vaste set van 8 instrumenten (een "statische" keuze), vraag je hen om een jazzsolo te spelen met de bladmuziek van een marsband. Het werkt wel, maar het klinkt verschrikkelijk vergeleken met het echte werk.

Het Magische Instrument: De "Exacte Instrument"

Hoe wisten de auteurs dit? Ze bouwden een wiskundig "exact instrument".

Omdat de interne structuur van het orkest een speciaal soort "diagonale" opzet heeft (waarbij de instrumenten elkaar niet storen), konden de auteurs de output uiteenzetten in een perfecte som van de bijdrage van elk afzonderlijk instrument. Ze creëerden een "Gram tensor" (denk aan een superprecieze scorekaart) die hen precies vertelt hoeveel fout ze zouden maken als ze een specifieke groep instrumenten zouden weglaten.

Ze testten dit instrument tegen het echte model en ontdekten dat het nauwkeurig was tot een relatieve fout van 2,3 × 10⁻⁷. Dat is alsof je de afstand van de aarde naar de maan meet en er minder naast zit dan de breedte van een menselijk haar. Het is geen schatting; het is een precieze meting.

De Grote Ontdekking: De "Migratie-kloof"

Met behulp van dit instrument bekeken ze modellen variërend van piepklein (130M parameters) tot enorm (7B parameters, zoals de ingezette Falcon-Mamba).

Ze ontdekten dat bij de meest actieve lagen een vaste set instrumenten twee keer zoveel fout maakt als een set die verandert met de input.

De statistiek: Bij de meest getroffen lagen lag de "migratie-kloof" (de ratio tussen de fout van een vaste set en een veranderende set) tussen de 0,44 en 0,57.
De betekenis: Als je het model de ruimte geeft om de beste instrumenten voor elk specifiek moment te kiezen (een "input-scheduled oracle"), halveer je de fout ten opzichte van het simpelweg één keer kiezen van een statische lijst en die vervolgens aan te houden.

Dit gebeurt in elk model dat ze hebben getest: de Mamba-1 familie, de 7B Falcon-Mamba, en zelfs Mamba-2.

Wat veroorzaakt de migratie? (Het "Waarom")

De auteurs vroegen zich af: Welk deel van het model doet al dit schakelen?
Er zijn drie hoofdsignalen in een Mamba-laag:

De Write Map ( $B_t$ ): Beslist welke instrumenten het inputsignaal krijgen.
De Readout ( $C_t$ ): Beslist welke instrumenten gehoord worden.
De Timestep ( $\Delta$ ): Wordt vaak gezien als de knop voor "selectiviteit".

Ze voerden een "frozen-signal" experiment uit. Ze bevroren elk signaal op zijn gemiddelde waarde, één voor één, om te zien of de migratie stopte.

Het resultaat: Wanneer ze de Write Map ( $B_t$ ) bevroren, verdween de migratie. Het model stopte met het wisselen van instrumenten.
De verrassing: Wanneer ze de Timestep ( $\Delta$ ) bevroren, bleef de migratie exact hetzelfde.

Het oordeel: Het "timestep"-signaal, waarvan velen dachten dat dit de sleutel tot selectiviteit was, draagt bijna geen enkele migratie-signaal bij. De echte held is de Write Map ( $B_t$ ). Het is de poortwachter die per token beslist welke instrumenten mogen spelen.

De Gevolgen: Kunnen we dit gebruiken?

De auteurs probeerden deze kennis te gebruiken om het model te "prunen" (inkorten) om ruimte te besparen.

Statische Pruning: Kies de 8 beste instrumenten op basis van een gemiddelde test en houd ze voor altijd vast.
Input-Scheduled Pruning: Kijk naar de huidige zin, meet welke 8 instrumenten op dit moment actief zijn, en houd alleen die over.

De uitkomst:
Bij de helft van het state-budget (het behouden van slechts 8 van de 16 modes), presteerde de Input-Scheduled methode even goed als (en in sommige gevallen zelfs iets beter dan) het volledige, onveranderde model qua ruwe nauwkeurigheid.

Op het 130M model had de scheduled methode een perplexity van 11,84, terwijl het onveranderde model op 12,38 zat.
Op de 7B Falcon-Mamba was de scheduled methode 4,44, wat beter is dan de 4,48 van het onveranderde model.

Er is echter een cruciale kanttekening: Het paper stelt expliciet dat deze "scheduled" methode een two-pass oracle is. Het leest het hele venster eerst één keer om te beslissen welke instrumenten behouden moeten worden, en voert dan een tweede ronde uit om de output te genereren. Dit betekent dat het in de praktijk geen rekenkracht of geheugen bespaart (je moet de data nog steeds twee keer lezen).

De auteurs verduidelijken dat dit resultaat de realiseerbare headroom aantoont, en niet een direct inzetbare efficiëntiewinst. Het bewijst dat het potentieel bestaat voor een klein, super-efficiënt model dat even goed presteert als het grote model, maar alleen als we een goedkope, snelle voorspeller kunnen bouwen die de juiste instrumenten raadt zonder die dure eerste ronde nodig te hebben. De huidige methode laat ons slechts de bovengrens zien van wat mogelijk is.

Wat ze hebben uitgesloten

Het paper is zeer duidelijk over wat niet werkt:

Statische rangschikking: Methoden die een vaste set modes kiezen op basis van gemiddelde activiteit of "Hankel energy" (zoals GHOST of LAST) zijn aanzienlijk slechter. Ze kunnen het bewegende doelwit niet bijhouden.
Timestep Activiteit: Pruning gebaseerd op hoe actief het timestep-signaal is, is een doodlopende weg omdat de timestep de migratie niet aanstuurt.
Simpele Voorspellers: Ze probeerden de maskering te voorspellen op basis van alleen de eerste helft van een zin of het "domein" (zoals code versus proza). Deze goedkope trucjes brachten slechts 2–6% van de potentiële winst terug. De "belangrijke" set instrumenten verandert zo snel (binnen enkele honderden tokens) dat je echt de specifieke tokens moet meten die je scoort om het volledige voordeel te behalen.

De Kern van het Verhaal

Het paper bewijst dat getrainde selectieve state-space modellen dynamische, levende wezens zijn die hun interne middelen constant herverdelen op basis van de input. De "Write Map" is de dirigent van deze migratie. Hoewel we nog niet in staat zijn om een model in te zetten dat zijn eigen instrumenten in realtime wisselt zonder een "two-pass" kostenpost, geeft dit onderzoek ons een exacte kaart van het gebied. Het laat zien dat de huidige "statische" pruning-methoden een enorme hoeveelheid prestaties laten liggen, en dat de weg vooruit ligt in het bouwen van schedulers die deze migraties on-the-fly kunnen voorspellen.

Technische Samenvatting: Een Exact Instrument voor de Gebruik van Toestanden in Selectieve State-Space Modellen

Probleemstelling
Selectieve State-Space Modellen (SSM's), zoals Mamba, maken gebruik van een bank van vaste eerste-orde modi waarbij de koppeling aan het signaal dynamisch wordt gescheduled door input-afhankelijke matrices. Hoewel de toestandsmatrix diagonaal is (ontkoppelde modi), blijft de specifieke benutting van deze modi door een getraind model opaak. Bestaande methoden voor het snoeien (pruning) of reduceren van de toestandsruimte vertrouwen op statische, benaderende criteria (bijv. output-bewuste scores uit kalibratiestatistieken of activiteitsgebaseerde rangschikkingen). Deze methoden gaan uit van een vaste set belangrijke modi, en houden geen rekening met de mogelijkheid dat de "belangrijke" set kan verschuiven afhankelijk van de inputcontext. Zonder een exacte meting van het gebruik van toestanden is het onmogelijk te bepalen of statisch snoeien onnodige fouten veroorzaakt of of de interne vrijheidsgraden van het model dynamisch worden benut.

Methodologie: Het Exacte Instrument
Het artikel introduceert een exact instrument voor het meten van het gebruik van toestanden, gebruikmakend van de diagonale structuur van de SSM-toestandsmatrix.

Exacte Decompositie: Omdat de toestandsmatrix diagonaal is, is de output van een kanaal een exacte som van per-mode bijdragen. De auteurs definiëren een per-mode output $m_{h,t,i}$ voor elke modus $i$ in kanaal $h$ op tijdstap $t$ .
Constructie van de Gram-tensor: Door de buitenproducten van deze bijdragen over een venster te accumuleren, construeert de methode een kleine Gram-tensor ( $G_h$ ) voor elk (laag, kanaal, venster).
Closed-Form Foutberekening: De gekwadrateerde outputfout van het snoeien van een willekeurige subset van modi $S$ wordt exact gegeven door een kwadratische vorm van de gedropte modi in de Gram-matrix. Dit maakt de offline berekening van de exacte snoeifout voor elk budget mogelijk zonder het model opnieuw te draaien.
Validatie: Het instrument werd gevalideerd tegen referentie-implementaties met een relatieve fout van $\approx 2,3 \times 10^{-7}$ op Mamba-1. Bovendien voorspelde het de werkelijke toegepaste snoeifout van een gesnoeide laag met een mediane relatieve afwijking van $10^{-6}$ over 4.464 configuraties.

Kernbevindingen: Input-gestuurde Modusmigratie
Met behulp van dit instrument ontdekten de auteurs een fenomeen dat zij input-gestuurde modusmigratie noemen:

Dynamische Allocatie: De set modi die de output van een laag dragen, is niet vast; deze migreert over verschillende inputcontexten. Bij de meest getroffen lagen halveert een input-gescheduled oracle (die de beste modi selecteert voor elk specifepiek venster) de outputfout vergeleken met een statische top- $r$ set.
Mechanisme: Via frozen-signal counterfactuals schrijft het artikel deze migratie primair toe aan de input-afhankelijke write map ( $B_t$ ). Het bevriezen van $B_t$ naar het gemiddelde over de corpus elimineert het grootste deel van de migratie. De readout map ( $C_t$ ) draagt er gedeeltelijk aan bij, terwijl de tijdstap ( $\Delta$ ), vaak geassocieerd met selectiviteit, bijna geen signaal voor migratie bevat.
Trage Modi: De migrerende modi zijn voornamelijk de "trage" modi (die met lange tijdconstanten), welke input-gestuurde writes over lange horizonten integreren.
Universaliteit: Dit gedrag wordt waargenomen in de gehele Mamba-1 familie (130M–2.8B), de ingezette 7B Falcon-Mamba, en Mamba-2.

Experimentele Resultaten
De auteurs evalueerden input-gescheduled modus-snoeien tegenover statische baselines (statische energie-rangschikking, modale-Hankel enkelvoudige waarde-rangschikking, en laag-adaptieve LAST) over meerdere schalen:

Prestaties: Input-gescheduled selectie (een twee-pass oracle die in een eerste pass de modus-energieën meet en in een tweede pass snoeit) presteerde beter dan alle statische regels bij elke schaal en elk budget.
Budget-efficiëntie: Bij de helft van het toestandbudget ( $r=8$ voor $N=16$ ), evenaarde of overtrof het input-gescheduled model de perplexiteit van het ongesnoeide model over alle geteste schalen (130M tot 7B).
Falen van Statische Baselines: Statisch snoeien veroorzaakte aanzienlijk hogere fouten. Bijvoorbeeld, op de 130M schaal met $r=4$ , bereikte statisch snoeien een perplexiteit van 19,8, terwijl de gescheduled aanpak 14,2 bereikte (vergeleken met 12,4 voor ongesnoeid).
Downstream Taken: Op LAMBADA stortte de nauwkeurigheid bij statisch snoeien in, terwijl de twee-pass oracle 86% van het verloren prestatievermogen herstelde.
Headroom vs. Implementatie: De auteurs benadrukken dat de gescheduled aanpak een "eerste pass" vereist om modus-energieën te lezen, wat betekent dat het realiseerbare headroom (het potentieel voor verbetering) aantoont, maar in de huidige vorm geen besparing oplevert voor compute of geheugen tijdens de implementatie. Goedkope schedulers (bijv. gebruikmakend van een prefix of domeinregime) legden slechts een fractie (2–26%) van de winst van de oracle vast.

Betekenis en Claims
De auteurs claimen drie primaire bijdragen:

Een Exact Instrument: Het biedt de eerste exacte, offline meting van het gebruik van toestanden en de snoeifout voor diagonale SSM's, waardoor heuristische aannames worden vervangen door directe meting.
Ontdekking van Migratie: Het stelt vast dat getrainde selectieve SSM's hun toestandsruimte dynamisch herverdelen op basis van de input, gedreven door de write map $B_t$ . Dit daagt de aanname uit dat een vaste set modi optimaal is voor alle contexten.
Bewijs van Headroom: Het toont aan dat het gat tussen statisch en input-gescheduled snoeien groot en consistent is over verschillende schalen. Hoewel het artikel niet claimt dat er een deployed besparing is (omdat de scheduler een eerste pass vereist), bewijst het dat aanzienlijk prestatieherstel mogelijk is als de modusselectie kan worden aangepast aan de input.

De auteurs concluderen dat het exacte instrument heuristische keuzes vervangt door een directe meting die varieert met de input, en dat de volgende stappen bestaan uit het begrijpen van de realization-theoretische redenen voor deze migratie en het ontwikkelen van geleerde schedulers die dit goedkoop kunnen exploiteren.