⚡ electrical engineering

On the Generalization Properties of Selective State-Space Models for Filtering Tasks for Unknown Systems

Dit artikel onderzoekt de generalisatie-eigenschappen van selectieve State-Space Models (zoals Mamba) bij het online voorspellen van de uitkomsten van onbekende systemen, waarbij zowel theoretische foutmarges als empirische prestaties worden vergeleken met Transformers.

Oorspronkelijke auteurs: Alex Tang, M. Emrullah Ildiz, Batin Kurt, Samet Oymak, Necmiye Ozay

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alex Tang, M. Emrullah Ildiz, Batin Kurt, Samet Oymak, Necmiye Ozay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe, mysterieuze machine in een fabriek krijgt. Je hebt geen handleiding, je weet niet hoe hij werkt, en hij maakt soms een beetje lawaai of trilt een beetje onvoorspelbaar. Jouw taak? Voorspellen wat de machine over een seconde gaat doen, zodat je kunt voorkomen dat hij kapotgaat.

Dit wetenschappelijke artikel gaat over de vraag: Welke "digitale hersenen" (AI-modellen) zijn het beste in het raden van de volgende stap van zo'n onbekende machine?

Hier is de uitleg in begrijpelijke taal:

1. De twee kandidaten: De 'Super-Geheugen' Robot vs. de 'Slimme Flow' Robot

De onderzoekers vergelijken twee soorten AI-architecturen:

De Transformer (De 'Super-Geheugen' Robot): Dit is de technologie achter ChatGPT. Hij is fantastisch in het onthouden van enorme hoeveelheden tekst. Maar hij heeft een probleem: hij werkt met een 'venster'. Hij kan alleen naar een beperkt stukje van het verleden tegelijk kijken. Als hij de geschiedenis van de machine wil begrijpen, moet hij steeds een nieuw 'fotoalbum' aanmaken, wat heel veel rekenkracht en geheugen kost. Het is alsof je een boek leest, maar telkens alleen de laatste vijf pagina's mag onthouden.
De SSM / Mamba (De 'Slimme Flow' Robot): Dit is de nieuwe uitdager. In plaats van een fotoalbum te maken, werkt deze robot met een 'interne staat'. Hij heeft een soort intern notitieblokje waar hij constant de essentie van wat er gebeurt in schrijft. Hij hoeft niet alles te onthouden, alleen de betekenis van de bewegingen. Dit is veel efficiënter en hij heeft geen limiet aan hoe lang hij kan meekijken.

2. Wat hebben de onderzoekers bewezen?

De onderzoekers deden drie belangrijke dingen:

A. De Wiskundige Belofte (De Theorie)
Ze hebben niet alleen gekeken of het werkte, maar ook waarom het werkt. Ze hebben met ingewikkelde formules bewezen dat de 'Slimme Flow' robot (SSM) een uniek voordeel heeft: hij is heel goed in het negeren van kleine foutjes of ruis. Als de machine een keer een rare sprong maakt, raakt de SSM niet meteen in paniek, terwijl de Transformer dat wel sneller doet. Bovendien bewezen ze dat de foutmarge van de SSM veel sneller afneemt naarmate hij meer traint.

B. De Stress-test (De Experimenten)
Ze hebben de AI's getest in verschillende scenario's:

De 'Plotselinge Verandering': Wat als de machine halverwege de dag ineens van gedrag verandert? De SSM merkte dit sneller op en paste zich razendsnel aan, terwijl de andere modellen bleven hangen in het oude gedrag.
De 'Ruis-test': Wat als de metingen een beetje onbetrouwbaar zijn (zoals een trillende camera)? De SSM bleef rustig en accuraat.
De 'Lange Duur' test: Wat als de machine dagenlang draait, veel langer dan de AI tijdens zijn training heeft gezien? De Transformer raakte de weg kwijt, maar de SSM bleef stabiel presteren.

3. De Conclusie: Waarom is dit belangrijk?

De conclusie is dat Selective SSMs (zoals Mamba) de nieuwe kampioenen zijn voor taken waarbij we systemen in de echte wereld moeten monitoren.

De metafoor om het te onthouden:
De Transformer is als een fotograaf die duizenden foto's van een danser maakt om te begrijpen hoe hij beweegt; hij heeft een enorme stapel foto's nodig om het beeld te krijgen. De SSM is als een ervaren dansleraar die naar de danser kijkt; hij onthoudt niet elke beweging, maar begrijpt het ritme en de flow. Daardoor kan de leraar veel beter voorspellen wat de volgende stap van de danser zal zijn, zelfs als de danser ineens van tempo verandert of als het licht in de zaal flikkert.

In het kort: Voor het voorspellen van bewegende, veranderende systemen (zoals robots, motoren of zelfs het weer) is de nieuwe SSM-technologie sneller, slimmer en betrouwbaarder dan de huidige AI-standaard.

Technische Samenvatting: Generalisatie-eigenschappen van Selectieve State-Space Modellen voor Filtertaken bij Onbekende Systemen

1. Probleemstelling

Het kernprobleem van dit onderzoek is het voorspellen van toekomstige trajecten van een dynamisch systeem op basis van ruisgevoelige observaties, zonder dat het exacte model van het systeem vooraf bekend is.

In de klassieke regeltechniek worden methoden zoals het Kalman Filter (KF) of Particle Filters gebruikt, maar deze vereisen een expliciet wiskundig model van de systeemdynamica. Recentelijk zijn Transformer-architecturen populair geworden voor "in-context learning", waarbij ze impliciet de structuur van een systeem leren uit de inputdata. Dit paper onderzoekt echter of Selective State-Space Models (SSMs), zoals de Mamba-architectuur, een even effectief of zelfs superieur alternatief bieden voor Transformers bij deze filtertaken.

2. Methodologie

De auteurs benaderen het probleem vanuit twee invalshoeken: theoretische analyse en empirische validatie.

Architectuur: Er wordt gebruikgemaakt van een Selective SSM. In tegenstelling tot Transformers, die een kwadratische complexiteit hebben ten opzichte van de sequentielengte, werken SSM's met een lineaire tijdscomplexiteit. De architectuur is gebaseerd op een continu-tijds Lineair Tijdsvariant (LTV) model dat wordt gediscretiseerd met een leerbare stapgrootte ( $\Delta$ ).
Trainingsprotocol: De SSM wordt getraind via Empirical Risk Minimization (ERM). Er wordt een verzameling systemen ( $S_k$ ) uit een distributie ( $D_{sys}$ ) gesampled, waarvan trajecten worden gebruikt om de SSM te trainen om de volgende output te voorspellen.
Theoretische Kader: De auteurs stellen drie cruciale aannames op voor de onderliggende systemen:
1. Specifieke begincondities ( $x_0 = 0$ ).
2. Lipschitz-continuïteit van de outputfunctie.
3. Incrementally exponentially input-to-state stability (de dynamica is stabiel en reageert voorspelbaar op ruis).

3. Belangrijkste Bijdragen

Het paper levert drie fundamentele bijdragen:

Algoritmische Robuustheid (Theorem 1): De auteurs bewijzen dat SSM's robuust zijn tegen kleine verstoringen in de input. Ze tonen aan dat de fout in de voorspelling exponentieel afneemt naarmate de tijd tussen de verstoring ( $\tau$ ) en de huidige tijd ( $t$ ) groter wordt. Dit is cruciaal voor stabiliteit in online filtering.
Generalisatie-grenzen (Theorem 2): Dit is de belangrijkste theoretische bijdrage. Het paper introduceert de eerste generalisatie-garanties voor SSM's in filtering-context. Ze bewijzen dat de excess risk (het verschil tussen de prestaties van de getrainde SSM en de theoretisch optimale SSM) convergeert. Belangrijk is dat de foutmarge bij SSM's sneller afneemt (exponentieel met de horizon $T$ ) dan bij Transformers.
Vergelijking van Context-vensters: Ze leggen theoretisch uit waarom SSM's een voordeel hebben: Transformers zijn beperkt door een eindig context-venster, terwijl SSM's een recursieve kaart gebruiken die in theorie een oneindig lange voorspellingshorizon toestaat zonder verlies van theoretische garanties.

4. Resultaten (Empirisch)

De prestaties van de SSM werden vergeleken met een GPT-2 (Transformer) en een standaard Kalman Filter (KF) in vier scenario's:

Lineair-Gaussisch scenario: De SSM presteert bijna even goed als de optimale Kalman Filter, maar met aanzienlijk minder parameters (662k vs. 3,3 miljoen voor GPT-2).
Dynamische Switch: Wanneer de systeemdynamica halverwege de tijd verandert, past de SSM zich sneller aan dan de Transformer en presteert hij beter dan de (mismatched) Kalman Filter.
Gekleurde Ruis (Colored Noise): In situaties waar de ruis gecorreleerd is (niet-wit), presteert de SSM beter dan de standaard Kalman Filter, omdat de SSM de temporele correlatie van de ruis kan leren.
Lengte-generalisatie: Bij het testen op trajecten die langer zijn dan de trainingsdata, blijft de SSM stabiel, terwijl de fout van de Transformer (GPT-2) sterk toeneemt.

5. Betekenis en Conclusie

Dit werk is significant omdat het de theoretische basis legt voor het gebruik van SSM's in de controle- en regeltechniek. Het bewijst dat SSM's niet alleen efficiënter zijn qua rekenkracht, maar ook superieure generalisatie-eigenschappen hebben voor dynamische systemen vergeleken met Transformers. De exponentiële afname van de foutmarge maakt ze bijzonder geschikt voor kritieke toepassingen waar voorspellingsnauwkeurigheid en stabiliteit over lange perioden essentieel zijn.