🤖 machine learning

Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

Dit artikel vestigt rigoureuze stabiliteits- en regulariteitsgaranties voor selectieve State-Space Models (SSM's) zoals Mamba met behulp van regeltechnische instrumenten zoals passiviteit en Input-to-State Stability, en vertaalt deze bevindingen naar een differentieerbare regularisator tijdens de training die stabiliteitsschendingen aanzienlijk vermindert met een verwaarloosbare impact op de voorspellingsnauwkeurigheid.

Oorspronkelijke auteurs: Nikola Zubić, Davide Scaramuzza

Gepubliceerd 2026-07-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikola Zubić, Davide Scaramuzza

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Slimme Geheugen"-probleem

Stel je een robot voor die probeert een lang verhaal te onthouden terwijl hij naar een verteller luistert. Moderne AI-modellen zoals Mamba zijn als deze robots. Ze hebben een "geheugen" (een verborgen toestand) dat wordt bijgewerkt terwijl ze elk nieuw woord horen.

Het lastige deel is dat deze modellen selectief zijn. Ze slaan niet alles evenveel op. Ze hebben een "poortwachter" die woord voor woord beslist wat er onthouden moet worden en wat vergeten moet worden. Als de poortwachter te chaotisch is, kan de robot in de war raken, het begin van het verhaal vergeten, of door het slaan van de verteller in paniek raken.

Dit paper vraagt zich af: Hoe zorgen we ervoor dat deze poortwachter stabiel is? Hoe zorgen we ervoor dat het geheugen van de robot niet explodeert of verdwijnt, zelfs wanneer de regels voor wat er onthouden moet worden plotseling veranderen?

De Kernidee: Energie en Stabiliteit

De auteurs gebruiken instrumenten uit de regeltechniek (de wiskunde die wordt gebruikt om vliegtuigen stabiel te houden en robots in balans te houden) om deze AI-modellen te analyseren.

Ze behandelen het geheugen van de AI als een batterij of een watertank:

Input: De nieuwe woorden die binnenkomen.
Output: Het begrip van de robot.
Opslag: Het geheugen binnenin de robot.

Het paper betoogt dat voor een stabiel systeem de "batterij" niet zomaar energie uit het niets mag creëren. Het mag alleen opslaan wat het van de input krijgt, en het moet van nature een beetje energie verliezen over tijd (zoals een batterij die langzaam leegloopt), zodat oude, irrelevante herinneringen vervagen. Dit concept wordt Passiviteit en Dissipativiteit genoemd.

De Twee Signalen: De "Schakelaar" versus de "Bestuurder"

Een cruciaal inzicht in het paper is het scheiden van twee zaken die meestal door elkaar worden gehaald:

De Bestuurder (Input): De werkelijke data (de woorden) die het systeem vooruit stuwen.
De Schakelaar (Selectie): De interne besluitvorming die bepaalt hoe het systeem op de data reageert.

Analogie: Stel je een auto voor.

De Bestuurder ben jij die het gaspedaal indrukt (de input).
De Schakelaar is de transmissie die versnelt (de selectie).
Het paper zegt: "Laten we de stabiliteit van de auto analyseren door te kijken naar hoe de transmissie schakelt, onafhankelijk van hoe hard je het gaspedaal indrukt." Dit maakt de wiskunde veel schoner en onthult verborgen regels over hoe de transmissie zich moet gedragen om te voorkomen dat de auto crasht.

De Belangrijkste Bevindingen

1. De "Vergetelheids"-regel

Als het systeem correct is ontworpen (specifiek, als het een eigenschap van "strikte dissipativiteit" heeft), zal het van nature oude informatie exponentieel snel vergeten wanneer er geen nieuwe input is.

Analogie: Denk aan een lekkende emmer. Als je stopt met water in te gieten, blijft de emmer niet eeuwig vol; hij loopt leeg. Dit is goed! Het betekent dat de AI niet vast blijft zitten in het onthouden van het eerste woord van een zin terwijl hij het laatste woord probeert te verwerken. Het paper bewijst wiskundig dat dit "lekken" automatisch gebeurt als het systeem goed is gebouwd.

2. De "Freeze"-test

De auteurs keken naar wat er gebeurt als ze de selectieschakelaar "bevriezen" (stoppen met het veranderen van de regels) en alleen de input laten doorstromen. Ze ontdekten dat het systeem, zelfs met deze bevroren instelling, een natuurlijke, ingebouwde "energiestructuur" heeft (een wiskundige vorm genaamd een kwadratische opslagfunctie).

Analogie: Zelfs als je de versnellingen uit een auto haalt en ze op hun plek vergrendelt, hebben de motor en de wielen nog steeds een specifieke fysieke relatie. Het paper laat zien dat Mamba een soortgelijke "natuurlijke vorm" heeft voor zijn geheugen, wat verklaart waarom bepaalde manieren van het initialiseren van het model (zoals HiPPO) zo goed werken—ze respecteren deze natuurlijke vorm.

3. De "Onomkeerbare Vergetelheid"-regel

Dit is een fascinerende structurele bevinding. Het paper suggereert dat zodra het systeem heeft besloten dat een stuk informatie "nutteloos" is (het valt in een "kernel" of een zone met nul energie), geen enkele hoeveelheid schakelen van de poorten kan het terugbrengen.

Analogie: Stel je een papierversnipperaar voor. Zodra een document in de versnipperaar gaat en in stukjes is gesneden, kun je niet simpelweg een schakelaar omzetten om het papier weer heel te maken. Het systeem heeft een "punt van geen terugkeer" voor bepaalde soorten informatie. Dit voorkomt dat de AI in de war raakt door te proberen oude, irrelevante herinneringen te doen herleven.

Van Theorie naar Praktijk: De "Regularizer"

De auteurs stopten niet bij de wiskunde. Ze bouwden een praktisch hulpmiddel genaamd een Regularizer.

Het Probleem: In de echte wereld kunnen we de oneindige wiskunde van de continue wereld niet controleren. We moeten de discrete stappen controleren die de computer daadwerkelijk neemt.
De Oplossing: Ze creëerden een "drempel" voor het trainingsproces. Tijdens de training berekent het model een specifiek getal (een eigenwaarde) dat aangeeft of het de stabiliteitsregels overtreedt. Als dat het geval is, voegt het trainingsproces een kleine straf toe om het terug te duwen richting stabiliteit.
Het Resultaat: Ze testten dit op zeven verschillende real-world datasets (zoals weer, verkeer en elektriciteitsverbruik).
- Succes: Het hulpmiddel verminderde het aantal "stabiliteitschendingen" met 92%.
- Kosten: De nauwkeurigheid van de voorspellingen veranderde nauwelijks (minder dan 0,02% verschil).
- Robuustheid: Wanneer ze ruis of "pieken" aan de data toevoegden (zoals een plotselinge glitch), bleef het model met het hulpmiddel intern rustiger, hoewel het niet magisch perfect werd in het voorspellen van de toekomst onder chaos.

Wat het Paper Niet Beweert

De auteurs zijn zeer eerlijk over de beperkingen van hun werk:

Het is geen magische oplossing voor alle fouten: Het hulpmiddel maakt het interne geheugen van het Mamba-gedeelte van de AI stabieler, maar het repareert niet het hele AI-netwerk (dat andere onderdelen heeft zoals normalisatie en routing).
Het garandeert geen perfecte voorspellingen onder chaos: Hoewel het interne geheugen stabieler werd wanneer de data ruisig was, werd de uiteindelijke voorspellingsnauwkeurigheid niet significant beter. Het hulpmiddel zorgt ervoor dat de motor soepeler loopt, maar het zorgt er niet noodzakelijkerwijs voor dat de auto sneller rijdt in een storm.
Het is een "zachte" regel: Het hulpmiddel moedigt stabiliteit aan, maar dwingt het model niet om perfect stabiel te zijn in de zin van een wiskundig certificaat. Het maakt het alleen veel minder waarschijnlijk dat het breekt.

Samenvatting

Dit paper neemt een complexe, moderne AI-architectuur (Mamba) en analyseert deze met behulp van de fysica van energie en stabiliteit. Ze bewezen dat deze modellen een natuurlijke "lek" hebben die hen helpt te vergeten, en een "versnipperaar" die voorkomt dat ze nutteloze herinneringen tot leven wekken. Vervolgens bouwden ze een eenvoudig, goedkoop hulpmiddel dat helpt deze modellen te trainen om deze regels te respecteren, waardoor ze stabieler en betrouwbaarder worden zonder hun vermogen om de toekomst te voorspellen te schaden.

Technische Samenvatting: Regulariteit en Stabiliteitseigenschappen van Selectieve SSM's met Discontinue Gating

Probleemstelling

Selectieve State-Space Modellen (SSM's), zoals Mamba, zijn centraal komen te staan in long-sequence modellering. De stabiliteitseigenschappen hiervan blijven echter onvoldoende begrepen. In tegen tegenstelling tot klassieke Lineaire Tijd-Invariante (LTI) of gladde nietlineaire systemen, vertonen selectieve SSM's staat-ruimte coëfficiënten ( $A, B, C$ ) die online worden gemoduleerd door een token-afhankelijk gating-signaal. Dit creëert een systeem dat noch LTI, noch klassiek nietlineair is, maar eerder een hybride systeem met discontinue, data-afhankelijke parameters. Bestaande analyses richten zich vaak op expressiviteit of behandelen de recursie als een vast dynamisch systeem per input, waarbij een verenigd energie-gebaseerd account ontbreekt over hoe deze modellen initiële condities vergeten, energie opslaan of stabiliteit handhaven onder perturbaties.

Methodologie

De auteurs benaderen het probleem vanuit de lens van de klassieke regeltechniek, specifiek passiviteit, dissipativiteit en Input-to-State Stability (ISS). Een cruciale conceptuele innovatie is de expliciete scheiding van twee signalen:

Selectie-signaal ( $x(\cdot)$ ): Reguleert de dynamica door de tijdvariërende matrices $A, B, C$ te bepalen.
Drijvend Input-signaal ( $u(\cdot)$ ): De poort-input die de dynamica aandrijft en voorkomt in de supply rate.

Hoewel token-selectieve architecturen vaak $x \equiv u$ instellen, behouden de auteurs deze scheiding om de kwantificaties in de passiviteits- en ISS-analyses te verduidelijken.

Theoretisch Kader

Het artikel analyseert continue-tijd selectieve SSM's gedefinieerd door:
$\dot{h}(t) = A(\Delta(t), x(t))h(t) + B(\Delta(t), x(t))u(t)$
$y(t) = C(\Delta(t), x(t))h(t)$
waarbij $\Delta(t)$ een hulp-gating signaal is (doorgaans stuksgewijs constant). De analyse gaat uit van milde $L^p_{loc}$ regulariteit, wat de discontinuïteiten die door gating worden geïntroduceerd, accommodeert.

Belangrijke theoretische stappen omvatten:

Strikte Dissipativiteit: Het vaststellen van voorwaarden waaronder het systeem een exponentieel vergeten van initiële condities vertoont.
Frozen-Selection Analyse: Het bevriezen van het selectie-signaal ( $x(t) \equiv 0$ ) om een passief Linear Time-Varying (LTV) subsysteem te onthullen. Door gebruik te maken van recente resultaten van Morandin & Hinsen (2024), bewijzen de auteurs dat dit subsysteem een minimale kwadratische opslagfunctie bezit met Locally Absolutely Upper Semicontinuous (AUC $_{loc}$ ) regulariteit, zelfs onder discontinue gating.
Universele Kwadratische Opslag: Het onderzoeken van de structurele beperkingen die ontstaan als een enkele kwadratische opslagfunctie passiviteit moet certificeren over alle toegestane selectie-schema's. Dit leidt tot een parametrische Linear Matrix Inequality (LMI) en het concept van "irreversibel vergeten" (zodra een staat-richting in de kernel van de opslagmatrix terechtkomt, kan deze niet meer observeerbaar worden gemaakt).
Globale ISS: Het afleiden van voldoende voorwaarden voor globale Input-to-State Stability met betrekking tot de drijvende input $u(\cdot)$ , uniform over selectie-schema's.

Discrete Brug en Regularisatie

Om de theorie bruikbaar te maken voor moderne architecturen, vertalen de auteurs de continue-tijd parametrische LMI naar een gesamplede blok LMI voor de Mamba selectieve-scan recursie.

Ze leiden een één-stap discrete dissipativiteitsongelijkheid af.
Ze definiëren een differentieerbare regularisator, $R_{LMI}$ , die de grootste positieve eigenwaarde van de gesamplede blokmatrix $L_k(P, \beta)$ bij elke token-stap bestraft.
Deze regularisator wordt geïntegreerd in de trainingslus van een echte Mamba-gebaseerde architectuur (SST) als een soft constraint.

Belangrijkste Bijdragen

Twee-signaal Model: Een heldere formulering van selectieve SSM's die het selectie-signaal scheidt van de poort-input, wat rigoureuze passiviteits- en ISS-analyse mogelijk maakt.
Exponentieel Vergeten: Een formeel bewijs dat strikte dissipativiteit ( $\beta > 0$ ) gecombineerd met kwadratische grenzen een exponentieel verval van homogene trajecten impliceert, uniform over toegestane selectie-schema's.
Canonieke Energie-structuur: Demonstratie dat het frozen-selection subsysteem een minimale kwadratische opslagfunctie bezit met AUC $_{loc}$ regulariteit. Dit biedt een energie-gebaseerde rechtvaardiging voor principiële initialisaties zoals HiPPO.
Structurele Beperkingen & Irreversibel Vergeten: Onder de hypothese van universele kwadratische opslag leiden de auteurs een parametrische LMI af en bewijzen zij dat de rang van de opslagmatrix niet-toenemend is. Dit formaliseert "irreversibel vergeten": staat-richtingen die door de energiestructuur worden weggegooid, kunnen niet meer worden hersteld door het gating-mechanisme.
Globale ISS Voorwaarden: Voldoende voorwaarden voor globale stabiliteit met betrekking tot drijvende inputs, uniform over selectie-schema's.
Discrete LMI Regularisator: Een praktische, differentieerbare training-tijd regularisator afgeleid van de continue theorie, toepasbaar op de Mamba selectieve-scan kern.
Empirische Validatie: Uitgebreide evaluatie op zeven tijdreeks-datasets en vier voorspellingshorizonten, waarbij wordt aangetoond dat de regularisator de LMI-schendingen vermindert zonder de cleane nauwkeurigheid te verslechteren.

Resultaten

De empirische evaluatie werd uitgevoerd op de SST-architectuur (een gerouteerde mix van Mamba en kort-bereik attentie) over 28 dataset-horizon paren (ETTh1/2, ETTm1/2, weer, elektriciteit, verkeer).

Reductie van LMI-schendingen: De discrete LMI-regularisator verminderde de gemiddelde gesamplede Mamba-kern LMI-schending met ongeveer 92% (van 0,0358 naar 0,0029) over alle 28 paren.
Cleane Nauwkeurigheid: De reductie in LMI-schendingen ging gepaard met een verwaarloosbare kost voor de cleane Mean Squared Error (MSE), met een verschil van minder dan 0,018% vergeleken met de ongeregulariseerde baseline.
Conservatisme Ablatie: Het vervangen van de vaste identiteits-opslagmatrix ( $P=I$ ) door een leerbare diagonale matrix ( $P=\text{diag}(q)$ ) leverde een strikte Pareto-verbetering op (lagere schendingen, zelfde nauwkeurigheid) in alle 28 paren, wat de flexibiliteit van het kader bevestigt.
Robuustheid tegen Perturbaties: Onder geïnjecteerde perturbaties (Gaussische ruis, spikes, maskers, etc.) verbeterde de regularisator de interne Mamba-kern diagnostiek (vermindering van L-LMI schendingen met ~60% en staat-normen met ~3,4%). Echter, het produceerde geen meetbare verbetering in de robuuste forecasting MSE. De auteurs merken hierbij expliciet op dat dit een "eerlijk negatief" is, wat wordt toegeschreven aan het feit dat de regularisator alleen de Mamba-kern beperkt, terwijl het omliggende netwerk (normalisatie, residuen, routing) de effecten van de perturbatie op de uiteindelijke output absorbeert.
Router Stabiliteit: Een ablatiestudie die probeerde een energie-bewust routing-schema te leren (het straffen van Mamba-gebruik wanneer lokale LMI-schendingen hoog zijn) resulteerde in een neutraal resultaat. Hoewel de Mamba-gewichten licht naar beneden werden gestuurd, was de correlatie tussen Mamba-gewicht en LMI-schending essentieel nul, wat suggereert dat trainen op cleane data geen energie-bewuste routing induceert.

Betekenis en Claims

Het artikel positioneert zich als een brug tussen klassieke regeltechniek en moderne deep learning architecturen. De betekenis ligt in:

Theoretische Helderheid: Het bieden van een verenigd energie-gebaseerd account voor selectieve SSM's, reikend voorbij Lyapunov-exponent diagnostiek naar structurele eigenschappen zoals passiviteit en ISS.
Rechtvaardiging van Initialisaties: Het bieden van een theoretische verklaring waarom initialisaties zoals HiPPO effectief zijn (ze bieden een goed geconditioneerd kwadratisch energielandschap).
Praktische Tools: Het introduceren van een goedkope, differentieerbare regularisator die kan worden toegevoegd aan bestaande trainingspipelines om structurele stabiliteit op de SSM-kern af te dwingen.
Eerlijke Afbakening: De auteurs zijn expliciet over de beperkingen van hun claims. Zij beweren niet dat de regularisator de passiviteit van het volledige diepe netwerk certificeert, noch dat het op zichzelf een verbetering in robuuste MSE garandeert. Zij kaderen de resultaten als een "substantiële reductie in schending" in plaats van "gecertificeerde passiviteit", en erkennen dat de kloof tussen de kernstabiliteit en end-to-end robuustheid een open onderzoeksrichting blijft.

Samenvattend slaagt het papier erin om continue-tijd controle-theoretische garanties te vertalen naar een verifieerbare, differentieerbare training-criterium voor selectieve SSM's, waarbij wordt aangetoond dat dergelijke structurele beperkingen kunnen worden afgedwongen met een verwaarloosbare nauwkeurigheidskost, terwijl de interne stabiliteitsdiagnostiek aanzienlijk wordt verbeterd.