🤖 machine learning

STM3: Mixture of Multiscale Mamba for Long-Term Spatio-Temporal Time-Series Prediction

Het artikel stelt STM3 voor, een nieuw raamwerk dat een Multiscale Mamba-architectuur combineert met een ontwarde Mixture-of-Experts-structuur en een adaptief grafisch causaal netwerk om complexe langetermijn ruimtelijk-temporele afhankelijkheden efficiënt te vangen, en dat state-of-the-art prestaties behaalt op tien real-world benchmarks.

Oorspronkelijke auteurs: Haolong Chen, Liang Zhang, Zhengyuan Xin, Guangxu Zhu

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haolong Chen, Liang Zhang, Zhengyuan Xin, Guangxu Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de toekomstige verkeersstroom van een enorme stad te voorspellen. Je hebt gegevens van duizenden sensoren (nodes) die elke paar minuten snelheid en volume registreren. Dit is niet zomaar een eenvoudige lijngrafiek; het is een complex web waarbij wat er op een snelweg gebeurt, een effect heeft op een straat in het centrum, en patronen zich met verschillende snelheden herhalen: sommige dingen veranderen elke minuut (een rood licht dat groen wordt), sommige elk uur (spits), en sommige elke dag (het weekenddrukte).

Het artikel introduceert STM3, een nieuw AI-model dat is ontworpen om de hoofdpijn op te lossen van het voorspellen van dit soort "spatio-temporele" gegevens over lange perioden. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten en analogieën.

Het Probleem: De "Rommelige Keuken" van Gegevens

Bestaande AI-modellen worstelen met twee hoofdzaken bij het bekijken van langetermijndata:

Het Schaalprobleem: Gegevens bevatten informatie op veel verschillende "schalen" (snelheden) die door elkaar lopen. Het is alsof je probeert een fluistering, een gesprek en een sirene tegelijkertijd te horen. Oude modellen mengen deze vaak door elkaar, waardoor details verloren gaan.
Het Routeringsprobleem: Verschillende delen van de stad gedragen zich anders. Een snelweg gedraagt zich als een snelle rivier; een centrumgebied als een drukke markt. Oude modellen proberen één "brein" te gebruiken om beide te begrijpen, of ze schakelen te snel en chaotisch tussen breinen, wat verwarring veroorzaakt.

De Oplossing: STM3 (Het "Gespecialiseerd Team")

De auteurs hebben STM3 gebouwd, dat fungeert als een hoogst georganiseerd, gespecialiseerd team van experts. Het gebruikt drie belangrijkste trucs om de bovenstaande problemen op te lossen.

1. De Multiscale Mamba (De "Zoomlens")

Stel je standaard AI-modellen voor als een camera met een vaste zoom. Ze kunnen het grote plaatje zien of de close-up, maar niet beide tegelijk goed.
STM3 gebruikt een Multiscale Mamba. Stel je een camera voor die direct kan schakelen tussen groothoek-, standaard- en teleobjectieven zonder te stoppen. Het bekijkt de verkeersgegevens tegelijkertijd door verschillende "lenzen" (tijdschalen).

Hoe het werkt: Het kijkt niet alleen naar de ruwe gegevens; het maakt meerdere versies van de gegevens, die elk zijn afgevlakt om verschillende tijdspatronen te benadrukken (zoals dagelijkse spitsuren versus fluctuaties per minuut). Het verwerkt deze lagen efficiënt, zodat het niet overweldigd raakt door de hoeveelheid gegevens.

2. Het Adaptieve Graph Causal Netwerk (De "Slimme Verkeersleider")

In een stad kan een file op een snelweg een golfbeweging veroorzaken op een zijstraat, maar de zijstraat veroorzaakt meestal niet de file op de snelweg. De stroom van informatie heeft een richting.
STM3 gebruikt een Adaptief Graph Causal Netwerk.

De Analogie: Stel je een verkeersleider voor die niet alleen naar een statische kaart kijkt. In plaats daarvan leert hij de kaart onderweg. Cruciaal is dat hij een regel afdwingt: "Informatie kan stromen van het grote plaatje (grove schaal) naar de details (fijne schaal), maar niet andersom."
Waarom dit belangrijk is: Dit voorkomt dat de "ruis" van een klein, willekeurig gebeurtenis de begrijping van het model van de grote, dagelijkse trends verwarren. Het houdt de verschillende tijdschalen distinct en georganiseerd.

3. Ontkoppelde Mengeling van Experts (Het "Gespecialiseerd Team")

Dit is het meest unieke deel. In plaats van één groot brein dat alles probeert te doen, huurt STM3 een team van Experts in.

De Opzet: Er is één "Gedeelde Expert" die algemene verkeersregels behandelt, en verschillende "Gespecialiseerde Experts" die zich richten op specifieke soorten patronen (bijvoorbeeld één voor snelheid op snelwegen, één voor congestie in het stadscentrum).
De Routeringsstrategie (Het "ID-kaart" Systeem): Bij oudere modellen beslist het systeem welke expert moet worden gebruikt op basis van de huidige gegevens. Als de gegevens ruis bevatten, kan het heen en weer springen tussen experts, wat instabiliteit veroorzaakt.
- De Oplossing van STM3: Het gebruikt een Node-Embedding systeem. Stel je voor dat elke sensor in de stad een permanente "ID-kaart" heeft. Het systeem kijkt naar de ID-kaart (de locatie) om te beslissen welke expert het moet afhandelen, in plaats van naar de ruizige gegevens zelf. Dit zorgt ervoor dat dezelfde locatie altijd dezelfde expert krijgt, wat een stabiele, vloeiende werkwijze creëert.
Het "Causal Contrastive Learning" (De "Oefening"): Om ervoor te zorgen dat de experts niet allemaal precies hetzelfde werk gaan doen (wat een verspilling zou zijn), gebruikt het model een speciale trainingsoefening. Het dwingt de experts om verschillende dingen te leren. Het is alsof een trainer de "Snelwegexpert" zegt: "Jij richt je op snelheid," en de "Stadsexpert": "Jij richt je op dichtheid," en hen straft als ze proberen elkaars notities over te nemen.

De Resultaten: Waarom Dit Belangrijk Is

Het artikel heeft STM3 getest op 10 real-world datasets, waaronder verkeer in Los Angeles (METR-LA), luchtkwaliteit en zonne-energieopwekking.

De Overwinning: STM3 sloeg consequent de huidige beste modellen.
Het Hoogtepunt: Op de PEMSD8 verkeersdataset won het niet alleen; het domineerde. Het verbeterde de voorspellingnauwkeurigheid met 7,1% (MAE), 8,5% (RMSE) en een enorme 15,9% (MAPE) vergeleken met het op één na beste model.
Efficiëntie: Hoewel het een team van experts gebruikt, is het ontworpen om snel te zijn. Het "wakt" alleen de specifieke expert die nodig is voor een taak, waardoor het efficiënt genoeg blijft voor gebruik in real-time.

Samenvatting

STM3 is als een upgrade van een enkele, vermoeide generalist die probeert een chaotische stad te beheren, naar een goed georganiseerd, gespecialiseerd taskforce.

Het gebruikt zoomlenzen om patronen op alle snelheden te zien.
Het gebruikt een slimme controller om ervoor te zorgen dat informatie in de juiste richting stroomt zonder de schalen door elkaar te halen.
Het gebruikt stabiele ID-kaarten om de juiste specialist aan de juiste taak toe te wijzen, zodat iedereen zijn unieke deel doet zonder elkaars tenen te trappen.

Het resultaat is een systeem dat ver in de toekomst kan kijken en complexe, langetermijnpatronen met veel hogere nauwkeurigheid kan voorspellen dan iets dat daarvoor bestond.

Technische Samenvatting: STM3: Mengsel van Multiscale Mamba voor Lange-termijn Spatio-temporele Tijdreeksvoorspelling

Probleemdefinitie

Spatio-temporele tijdreeksvoorspelling is cruciaal voor toepassingen zoals verkeersvoorspelling en milieumonitoring. Hoewel deep learning-methoden dit veld hebben vooruitgebracht, worstelen bestaande benaderingen om complexe lange-termijn spatio-temporele afhankelijkheden efficiënt te leren. Het artikel identificeert twee specifieke uitdagingen die inherent zijn aan lange-termijn sequenties:

Multiscale Informatie-extractie: Lange-termijn sequenties bevatten van nature multiscale informatie (bijvoorbeeld patronen op minuut-niveau versus dagelijkse periodiciteiten). Bestaande methoden vertrouwen vaak op grove aggregatiemechanismen (zoals naïeve sommatie) die leiden tot de herverstrengeling van deze schalen, of ze lijden onder hoge rekenkosten bij het proberen deze te extraheren.
Heterogene Ruimtelijke Correlaties: Multiscale tijdsinformatie over verschillende ruimtelijke knopen is sterk gecorreleerd maar heterogeen (bijvoorbeeld verkeerspatronen verschillen tussen snelwegen en zakelijke wijken). Huidige modellen falen vaak om de fundamentele oorsprong van ruimtelijke correlaties te vangen, wat volgens de auteurs intrinsiek wordt gedreven door de gelijkenis van tijdspatronen, en niet alleen door statische grafstructuren.

Methodologie

De auteurs stellen STM3 (Spatio-Temporal Mixture of Multiscale Mamba) voor, een raamwerk ontworpen om multiscale tijdspatronen te ontkoppelen en complexe ruimtelijke afhankelijkheden te modelleren. De architectuur bestaat uit drie kerncomponenten:

1. Multiscale Preprocessing

De invoer-tijdreeks wordt geprojecteerd naar ruwe kenmerken en vervolgens ontbonden in meerdere tijdschalen ( $Q$ ) met behulp van 1D-tijdsconvoluties met variërende kernelgroottes. Dit creëert een multiscale representatie waarbij fijnere en grovere schalen expliciet worden gescheiden voordat ze de hoofdbackbone binnenkomen.

2. Adaptieve Graf Causale Convolutie Netwerk (AGCCN)

Om de rekencomplexiteit van het verbinden van alle knopen over alle schalen en het ontbreken van bekende grond-waarheid ruimtelijke grafen aan te pakken, introduceert STM3 AGCCN.

Adaptief Grafleren: Het maakt gebruik van een leerbare knop-embeddingswoordenboek om een gedeelde grafstructuur af te leiden over alle tijdschalen, waardoor domeinspecifieke heuristieken worden vermeden.
Causale Attention: Een causale attention-mechanisme aggregeert informatie over schalen heen. Het dwingt een hiërarchische regel af waarbij fijnkorrelige kenmerken groverkorrelige informatie kunnen ophalen, maar niet andersom. Dit voorkomt informatieverstrengeling en behoudt schaalonderscheidbaarheid.

3. Ontkoppelde Mengsel van Multiscale Mamba (DMMM)

Dit is de kerninnovatie, die een Multiscale Mamba-architectuur combineert met een Disentangled Mixture-of-Experts (DMoE)-raamwerk.

Multiscale Mamba: In tegenstelling tot standaard Mamba, maakt deze module gebruik van een "schaalvergrotings"-mechanisme met 1D-convoluties om het receptieve veld efficiënt uit te breiden. Het gebruikt een Multiscale SSM die invoer-bewuste parameters deelt over schalen, maar leerbare bias-termen ( $\Omega$ ) introduceert om het State Space Model (SSM) te sturen bij het uitvoeren van schalspecifieke patroonextractie.
Ontkoppelde Mengsel van Experts (DMoE): Om heterogene ruimtelijke patronen te hanteren, maakt het model gebruik van meerdere experts (één gedeeld, meerdere gespecialiseerd).
- Op Knop-Embedding Gebaseerde Routing: In plaats van dynamische invoer-tijdreeksen te gebruiken voor gating (wat leidt tot onstabiele routing), gebruikt STM3 statische leerbare knop-embeddings om expert-toewijzing te bepalen. Dit zorgt ervoor dat alle tijdstappen van dezelfde ruimtelijke knoop naar dezelfde expert worden gerouteerd, wat routing-gladheid garandeert.
- Causale Contrastief Leren: Om ervoor te zorgen dat experts verschillende patronen leren, introduceren de auteurs een causale contrastief verlies. Dit verlies behandelt groverkorrelige outputs van hetzelfde monster als positieve paren en fijnkorrelige outputs of outputs van andere experts als negatieve paren. Deze asymmetrische gelijkenismaat dwingt patroonontkoppeling af, zodat elke expert zich specialiseert in specifieke tijdsdynamiek.

Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

Theoretisch Inzicht: De auteurs ontdekken dat inter-knoop ruimtelijke correlaties intrinsiek worden gedreven door de gelijkenis van multiscale tijdspatronen. Op basis hiervan stellen ze een methode voor voor multiscale kenmerkenaggregatie en modelontkoppeling.
Architecturale Innovatie (STM3): Een uitgebreide oplossing met:
- Multiscale Mamba: Erfelijk multiscale tijdspatronen met lage rekenkosten via schaalvergroting en door bias-gestuurde SSM's.
- AGCCN: Voert causale schaal-voor-schaal spatio-temporele fusie uit, waarbij hiërarchische informatiestroom wordt gewaarborgd.
- DMoE: Bereikt expert-ontkoppeling via knop-embedding routing en causale contrastief leren.
Empirische Prestaties: Uitgebreide experimenten op 10 real-world benchmarks tonen aan dat STM3 State-of-the-Art (SOTA) resultaten bereikt in lange-termijn spatio-temporele voorspelling.

Experimentele Resultaten

Het model werd geëvalueerd op 10 datasets in transport (METR-LA, PEMSD4, PEMSD8), luchtkwaliteit (KnowAir), draadloos verkeer (Milan), zonne-energie (NREL) en elektriciteit (ETTh1, Electricity).

Prestaties: STM3 presteerde consistent beter dan 13 baselines, waaronder Mamba-gebaseerde modellen (DST-Mamba, SST, MixMamba) en Transformer-gebaseerde modellen (iTransformer, PatchTST).
Opmerkelijke Winsten: Op de PEMSD8-dataset overtrof STM3 het op één na beste model met 7,1% in MAE, 8,5% in RMSE en 15,9% in MAPE. Op NREL verbeterde het MAE met 10,1% en RMSE met 7,1%.
Efficiëntie: Hoewel de trainingskosten hoger zijn door het multi-expert ontwerp, zorgt het Top-1 MoE-mechanisme voor efficiënte inferentie. STM3 is aanzienlijk sneller dan complexe baselines zoals MixMamba en AMD tijdens inferentie.
Ablatiestudies: Het verwijderen van een kerncomponent (Multiscale-mechanisme, DMoE, Causale Attention, of de specifieke routingstrategie) resulteerde in prestatiedegradatie, wat de noodzaak van elke module bevestigt. Het multiscale-mechanisme leverde de grootste gemiddelde prestatiewinst op (9,72%).

Betekenis en Claims

Het artikel positioneert STM3 als een significante vooruitgang in spatio-temporele modellering door de "verstrengeling" van ruimtelijke en tijdsafhankelijkheden aan te pakken.

Ontkoppeling: Het ontkoppelt succesvol complexe multiscale informatie en voorkomt de herverstrengeling die wordt gezien in eerdere aggregatiemethoden.
Stabiliteit: De voorgestelde op knop-embedding gebaseerde routingstrategie is theoretisch bewezen om nul knoop-voor-knoop onenigheid te bereiken, waardoor de stabiliteitsproblemen worden opgelost die gebruikelijk zijn bij traditionele invoer-gebaseerde MoE-gating voor tijdreeksen.
Generaliseerbaarheid: Door superieure prestaties te demonstreren over diverse domeinen (verkeer, energie, milieu), claimen de auteurs dat STM3 een robuust raamwerk biedt voor lange-termijn voorspellingstaken waar fijnkorrelige, multiscale dynamiek cruciaal is.

Het werk concludeert dat het modelleren van lange-termijn spatio-temporele afhankelijkheden een geünificeerde aanpak vereist die rekening houdt met het intrinsieke verband tussen ruimtelijke knoopgelijkenis en tijdspatroongelijkenis, een principe dat effectief wordt verwezenlijkt via de STM3-architectuur.