💻 computer science

PatchMamS2S: A Mamba-based Multivariate Time Series Forecasting Model in Power Domain with Patch Mining via Prior-based Weight Fusion

Dit artikel stelt PatchMamS2S voor, een lichtgewicht Mamba-2-gebaseerd model voor multivariate tijdreeksvoorspelling dat specifiek is afgestemd op de energiesector en dat patch mining, fysiek vooraf geleide gewichtsfusie en een efficiënte Seq2Seq-architectuur combineert om de nauwkeurigheid-resource-trade-offs van bestaande universele modellen te overwinnen.

Oorspronkelijke auteurs: Yuhan Lin, Haoyuan Ouyang, Hongyu Chen, Liping Xiong, Zhiyong Hong, Zhishuang Wang

Gepubliceerd 2026-08-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuhan Lin, Haoyuan Ouyang, Hongyu Chen, Liping Xiong, Zhiyong Hong, Zhishuang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst probeert te voorspellen, maar in plaats van het weer of de aandelenmarkt te raden, probeer je te raden hoeveel elektriciteit een hele stad volgende week nodig zal hebben. Dit is de wereld van Multivariate Time Series Forecasting. Denk eraan als het luisteren naar een chaotisch orkest waarbij elk instrument (temperatuur, zonne-energie, fabrieksschema's en menselijke gewoonten) een andere melodie speelt, en jij moet de volgende noot van de hele symfonie voorspellen. Lange tijd probeerden wetenschappers één "superbrein"-model te bouden dat elk orkest, overal, kon horen, ongeacht hoe complex het was. Maar hier komt de crux: deze superbreinen zijn vaak zo zwaar en hongerig naar computerkracht dat ze niet passen op de kleine, goedkope computers die in echte elektriciteitsnetten zitten. Het is alsof je een Hollywood-blockbuster probeert af te spelen op een speelgoedrekenmachine.

Maak kennis met Mamba, een nieuw type AI-architectuur dat als een superefficiënte, lichtgewicht hardloper is. In tegen afzet de oude zware modellen, die steeds langzamer worden naarmate het liedje langer wordt, blijft Mamba snel en slank, ongeacht hoeveel data het moet verwerken. Echter, zelfs deze lichtgewicht hardloper heeft wat bagage: het stapelt soms te veel lagen op (waardoor het weer zwaar wordt) en heeft moeite om te begrijpen hoe verschillende instrumenten in het orkest elkaar beïnvloeden. De grote vraag is: Kunnen we een model bouwen dat licht genoeg is om op een kleine computer van een elektriciteitsnet te draaien, slim genoeg is om het specifieke ritme van elektriciteit te begrijpen, en nauwkeurig genoeg is om het licht aan te houden?

Dit artikel introduceert PatchMamS2S, een slimme nieuwe oplossing die specifiek is ontworpen voor de elektriciteitssector. De onderzoekers betogen dat het najagen van een "universeel" model voor alles een valstrik is; in plaats daarvan hebben we een hulpmiddel nodig dat is afgestemd op de unieke fysica van elektriciteit. Ze bouwden een systeem dat elektriciteitsdata behandelt als een lappendeken. In plaats van de hele geschiedenis van het stroomverbruik in één keer te bekijken, hakken ze het in kleine, hanteerbare "patches" van verschillende groottes. Sommige patches zijn piepklein en vangen snelle, nerveuze schommelingen op (zoals een plotselinge piek wanneer een fabriek aangaat), terwijl andere groot zijn en de langzame, vloeiende trends vastleggen (zoals de dagelijkse cyclus van mensen die wakker worden en gaan slapen).

De magie gebeurt wanneer ze deze patches weer aan elkaar naaien. In plaats van de computer te laten raden hoe ze gemengd moeten worden, gebruiken de onderzoekers "physical priors" – in feite vertellen ze het model: "Hé, we weten dat kleine patches geweldig zijn voor details, en grote patches geweldig zijn voor het grote plaatje." Ze wijzen specifieke gewichten toe aan deze patches op basis van deze realistische logica, en voegen ze samen tot een helder beeld van de toekomst. Dit wordt vervolgens gevoed aan een gestroomlijnde motor genaamd MamS2S, een op maat gemaakte versie van Mamba die geen energie verspilt door onnodige lagen te stapelen.

De resultaten zijn indrukwekkend. Wanneer getest op vijf verschillende energie-datasets (inclusclusief echte elektriciteitsprijzen en transformatortemperaturen) en zelfs op sommige niet-elektriciteitsgerelateerde data zoals weer en financiën, hield PatchMamS2S niet alleen tempo; het versloeg vaak de beste bestaande modellen. Het slaagde erin aanzienlijk nauwkeuriger te zijn dan zijn concurrenten, terwijl het slechts een fractie van het geheugen gebruikte. In feite gebruikte dit nieuwe ontwerp, vergeleken met een ander zwaar Mamba-gebaseerd model, 8 keer minder geheugen en trainde het 20 keer sneller. De auteurs suggereren dat dit bewijst dat je geen enorme, dure supercomputer nodig hebt om stroombelastingen te voorspellen; met de juiste "patchwork"-strategie en een beetje begeleiding op basis van fysica, kun je een model bouwen dat zowel een genie als een lichtgewicht kampioen is, klaar om te draaien op de kleine apparaten die daadwerkelijk onze elektriciteitsnetten beheren.

Technische Samenvatting van PatchMamS2S

Probleemstelling
Multivariate tijdreeksvoorspelling (MTSF) in de energiesector staat voor een kritiek dilemma: bestaande "universele" architecturen worstelen met het vinden van een balans tussen voorspellingsnauwkeurigheid en de strikte computationele beperkingen van terminale apparaten in het elektriciteitsnet. Transformer-gebaseerde modellen zijn weliswaar krachtig, maar brengen een kwadratische computationele complexiteit en excessief geheugengebruik met zich mee, waardoor ze ongeschikt zijn voor implementatie aan de rand van het netwerk (edge deployment). Daartegenover staan eenvoudige lineaire modellen die niet in staat zijn om de complexe, niet-lineaire fysieke kenmerken van elektrische belastingen te vatten. Bovendien lijden bestaande State Space Models (SSM's), met name Mamba-gebaseerde frameworks, vaak aan architecturale redundantie door blind diep stapelen en slagen er onvoldoende in om multivariate correlaties te exploiteren met een laag aantal parameters. Het artikel stelt dat het streven naar één enkele "universele architectuur" voor alle domeinen een misvatting is, wat de noodzaak creëert voor een op maat gemaakte oplossing voor de elektriciteitssector die rekening houdt met fysieke operationele logica en real-time responsiviteit.

Methodologie
De auteurs stellen PatchMamS2S voor, een lichtgewicht, op Mamba gebaseerd voorspellingsmodel dat specifiek is ontworpen voor elektrische belastinggegevens. De architectuur integreert drie kerncomponenten:

Multi-Scale Patch Embedding (PatchEmb):
In plaats van single-scale patching gebruikt het model een multi-scale patch fusiemechanisme. Het segmenteert de invoertijdreeksen in patches van variërende lengtes ( $P = [p_1, p_2, \dots, p_M]$ ) met behulp van sliding windows. Dit stelt het model in staat om gelijktijdig microscopische korte-termijn fluctuaties en macroscopische lange-termijn trends te vangen, waardoor multi-scale kenmerken effectief worden gedekt zonder de hoge computationele last van globale aandachtmechanismen.
Prior-Based Weight Fusion:
Het model hanteert een strategie van seizoensgebonden-trend decompositie gevolgd door een physics-informed fusiemechanisme. Het deelt multi-scale patch embeddings op in seizoensgebonden en trend componenten. Cruciaal is dat het vaste, op prior gebaseerde gewichten gebruikt om deze componenten te fuseren, in plaats van ze blindelings te leren.
- Seasonal Fusion: Wint hogere gewichten toe aan kleine schaal patches (smal gezichtsveld) die beter in staat zijn om hoogfrequente, gelokaliseerde fluctuaties te vangen.
- Trend Fusion: Wint hogere gewichten toe aan grote schaal patches (breed gezichtsveld) die de vloeiende, globale trends beter karakteriseren.
  Deze aanpak injecteert fysieke interpreteerbaarheid in het model, waardoor de reconstructie van kenmerken overeenkomt met de natuurlijke "taakverdeling" van verschillende tijdschalen.
MamS2S (Lichtgewicht Seq2Seq Architectuur):
Gebouwd op Mamba-2, construeren de auteurs een aangepaste Seq2Seq architectuur genaamd MamS2S. Om de incompatibiliteit tussen de continue state-space evolutie van Mamba en traditionele Seq2Seq vereisten (die vertrouwen op expliciete verborgen toestanden) aan te pakken, hebben de auteurs de Mamba-module aangepast om de uiteindelijke verborgen toestand van de encoder expliciet te extraheren. Daarnaast hebben zij de eendimensionale convolutie-operatie voorafgaand aan de SSM-module verwijderd. Deze structurele vereenvoudiging garandeert strikte sequentie causaliteit (het voorkomen van lekkage van toekomstige informatie) en vermindert de complexiteit, wat efficiënte afhankelijkheidsmodellering mogelijk maakt op een lineair complexiteitsniveau van $O(L)$ .

Belangrijkste Bijdragen

Op maat gemaakte Patch Representatie: Een multi-scale patching strategie die de unieke periodieke patronen van elektrische belastingen nauwkeurig vastlegt, terwijl het de efficiëntie en representatiecapaciteit in evenwicht houdt.
Physics-Informed Fusion: Een afwijking van "black-box" automatische fusie, waarbij vaste prior-gewichten worden gebruikt om seizoensgebonden en trend kenmerken te reconstrueren, wat zowel de voorspellende prestaties als de fysieke interpreteerbaarheid verbetert.
Lichtgewicht MamS2S Architectuur: Een nieuwelijk ontworpen Seq2Seq ontwerp gebaseerd op Mamba-2 dat het gangbare blinde diepe stapelen in huidig SSM-onderzoek vermijdt. Het bereikt efficiënte afhankelijkheidsmodellering met lineaire complexiteit, wat de barrières voor hardware-implementatie aanzienlijk verlaagt en training op computers met lage rekenkracht (bijv. NVIDIA 3050) mogelijk maakt.

Experimentele Resultaten
Het model werd geëvalueerd op vijf datasets uit de energiesector (waaronder ETTh1/2, ETTm1/2 en SXEP) en drie niet-energie gerelateerde datasets (Weather, Exchange, Solar).

Prestaties in de Energiesector: PatchMamS2S behaalde een superieure algehele prestatie vergeleken met state-of-the-art baselines (inclusief iTransformer, PatchTST, Crossmamba en S-Mamba). Op de ETTh1 dataset verminderde het de MSE en MAE respectievelijk met 4,86% en 3,35% ten opzicht van het op één na beste model. Het demonstreerde een robuuste generalisatie, zelfs in scenario's met kleine samples (SXEP dataset).
Efficiëntie: Het model presteerde aanzienlijk beter dan andere Mamba-gebaseerde modellen wat betreft efficiëntie. Vergeleken met Crossmamba verminderde PatchMamS2S het GPU-geheugengebruik met een factor 8 en verkortte het de trainingstijd per epoch met meer dan 200 seconden. Het bereikte een aantal parameters van 4,5M, wat concurrerend is met Transformer-modellen maar met superieure efficiëntie.
Generalisatie: Ondanks dat het is ontworpen voor energiesystemen, behaalde het model SOTA-prestaties in 4 van de 24 gevallen binnen niet-elektriciteitsdomeinen, wat duidt op sterke cross-domein generalisatiecapaciteiten.

Betekenis en Claims
Het artikel claimt dat PatchMamS2S erin slaagt de applicatie-bottleneck van hoog-complexe modellen op terminale apparaten in het elektriciteitsnet te doorbreken. Door het vermijden van de redundante stapeling van Mamba-modules en het integreren van fysieke priors, biedt het model een lage-kosten, hoog-presterende oplossing die nauwkeurigheid en computationele efficiëntie in evenwicht brengt. De auteurs stellen dat dit werk een theoretisch en praktisch fundament biedt voor de implementatie van complexe deep learning modellen in industriële scenario's waar middelen beperkt zijn. Zij concluderen dat hoewel het veld beweegt naar grootschalige fundamentele modellen, het integreren van dergelijke modellen met domeinspecifieke fysieke beperkingen een belangrijke uitdaging blijft, en dat PatchMamS2S een stap voorwaarts is naar efficiënte, op het domein toegesneden voorspelling.

Technische Samenvatting van PatchMamS2S

Meer zoals dit