EnergyMamba: An Uncertainty-Aware Graph-Enhanced Selective State Space Model for Energy Consumption Prediction

Technische Samenvatting van "EnergyMamba: An Uncertainty-Aware Graph-Enhanced Selective State Space Model for Energy Consumption Prediction"

1. Probleemdefinitie

Voorspelling van energieverbruik is cruciaal voor netbeheer, optimalisatie aan de vraagzijde en duurzame planning. Bestaande benaderingen lijden echter onder twee primaire beperkingen:

1. Verwaarlozing van ruimtelijke afhankelijkheden: De meeste methoden behandelen energieverbruik als een puur tijdreeksvoorspellingsprobleem, waarbij ze er niet in slagen de ruimtelijke afhankelijkheden en interacties tussen verschillende regio's of netzones expliciet te modelleren.
2. Gebrek aan betrouwbare onzekerheidskwantificering: State-of-the-art modellen falen vaak in het leveren van betrouwbare voorspellingen met onzekerheidsschattingen, met name onder abnormale omstandigheden zoals extreme weersomstandigheden. Dit leidt tot overmoedige voorspellingen die besluitvormers kunnen misleiden.

De auteurs identificeren twee specifieke uitdagingen bij het aanpakken van deze beperkingen:

• Spatiotemporele heterogeniteit: Consumptiepatronen zijn zeer heterogeen over regio's en tijd door geografische factoren, temporele dynamiek en gebouweigenschappen.
• Niet-stationariteit: Energievraagdistributies verschuiven drastisch tijdens extreme gebeurtenissen, wat de vergelijkbaarheidsveronderstellingen (exchangeability assumptions) van standaard onzekerheidskwantificeringsmethoden schendt.

2. Methodologie: EnergyMamba

De auteurs stellen EnergyMamba voor, een onzekerheidsbewust spatiotemporeel leerkader bestaande uit twee kerncomponenten:

A. Graph-Enhanced Selective State Space Model (GE-Mamba)
Om spatiotemporele heterogeniteit aan te pakken, ontwerpen de auteurs een nieuwe architectuur die ruimtelijke context injecteert in de temporele dynamiek.

• Architectuur: Het model is georganiseerd binnen een U-Net structuur (encoder-decoder met skip-verbindingen) om multiscale temporele patronen (van kortetermijnfluctuaties tot langetermijntrends) te vangen.
• Extractie van ruimtelijke context: Een Graph Convolutional Network (GCN) extraheert ruimtelijke context uit de nettopologie (gemodelleerd als een graaf waarbij knopen regio's zijn en randen de ruimtelijke nabijheid vertegenwoordigen). Dit ontwerp is geïnspireerd door de wetten van Kirchhoff, waarbij belastingverstoringen bij één knoop zich voortplanten naar verbonden knopen.
• Selective State Space Model (SSM): De temporele dynamiek wordt gemodelleerd met een bidirectionale Mamba (SSM) met lineaire complexiteit $O(T)$. Cruciaal is dat de SSM-parameters (specifiek de inputprojectie $B$, outputprojectie $C$ en stapgrootte $\Delta$) input-afhankelijk zijn en geconditioneerd worden op de ruimtelijke context $z_t$ die door de GCN is geëxtraheerd. Dit stelt het model in staat om zijn temporele verwerking aan te passen op basis van de staat van naburige knopen.
• Bidirectionele verwerking (BIP): Het model verwerkt sequenties zowel voorwaarts als achterwaarts om zowel causale afhankelijkheden als volledige sequentiecontextuele patronen te vangen.

B. Adaptive Sequential Conformalized Quantile Regression (AS-CQR)
Om niet-stationariteit en heteroscedasticiteit (waarbij de voorspellingsvariantie schaalt met de belastinggrootte) aan te pakken, stellen de auteurs een distributievrije onzekerheidskwantificeringsmodule voor.

• Lokaal adaptieve normalisatie: In tegenstelling tot standaard Conformalized Quantile Regression (CQR), die absolute residuen gebruikt, normaliseert AS-CQR de non-conformiteitsscores door de voorspelde intervalbreedte. Dit zorgt voor schaal-invariante kalibratie over regio's met verschillende belastinggroottes.
• Online feedbackmechanisme: De doelstelling voor de miscoveragerate $\alpha$ wordt behandeld als een controlevariabele. Op basis van recente dekkingprestaties (of de werkelijke waarde binnen of buiten het voorspelde interval viel), wordt de effectieve miscoveragerate dynamisch aangepast. Dit stelt de voorspellingsintervallen in staat om snel te adapteren aan distributieverschuivingen veroorzaakt door extreme gebeurtenissen.
• Theoretische garantie: Onder milde regulariteitsvoorwaarden garandeert AS-CQR dat de gemiddelde empirische dekking op de lange termijn convergeert naar het doelniveau $1-\alpha$, zelfs in niet-stationaire omgevingen.

3. Belangrijkste Bijdragen

• Conceptueel: Het artikel herformuleert de voorspelling van energieverbruik als een onzekerheidsbewuste spatiotemporele taak, waarbij ruimtelijke afhankelijkheden expliciet worden gemodelleerd en betrouwbare onzekerheidskwantificering wordt geboden, in plaats van het te behandelen als een pure tijdreeks-taak.
• Technisch:
  • Introductie van GE-Mamba, dat door GCN afgeleide ruimtelijke context integreert in een bidirectionale Mamba binnen een U-Net structuur, wat gekoppelde spatiotemporele modellering mogelijk maakt.
  • Ontwikkeling van AS-CQR, een distributievrije methode met lokaal adaptieve normalisatie en online feedbackkalibratie om niet-stationaire condities en heteroscedasticiteit te behandelen.
• Empirisch: Uitgebreide evaluatie op vier grootschalige real-world datasets (Florida, New York, Californië) tegenover 15 state-of-the-art baselines (inclusclusief GNN's, Transformers, LLM's en Mamba-varianten).

4. Experimentele Resultaten

De auteurs evalueerden EnergyMamba met behulp van Mean Absolute Error (MAE), Root Mean Squared Error (RMSE), Mean Prediction Interval Width (MPIW), Interval Score (IS) en Coverage (COV).

• Nauwkeurigheid: EnergyMamba behaalde ongeveer 5% verbetering in voorspellingsnauwkeurigheid (MAE) vergeleken met de beste baseline over de datasets heen.
• Onzekerheidskwantificering: Het model vertoonde een 6% verbetering in onzekerheidskwantificering (gemeten door IS) en behaalde consistent de doeldekking (bijv. $\ge 90\%$ voor $\alpha=0.1$), terwijl veel baselines er niet in slaagden de doeldekking te halen.
• Robuustheid: In casestudies met betrekking tot extreme weersomstandigheden (orkanen, hittegolven), behield EnergyMamba nauwkeurige voorspellingen en hield de werkelijke waarden binnen de voorspellingsintervallen, terwijl baselines moeite hadden om zich aan abrupte veranderingen aan te passen.
• Efficiëntie: EnergyMamba demonstreerde gunstige computationele efficiëntie, met trainings Tijden en geheugenvoetafdrukken die aanzienlijk lager waren dan LLM-gebaseerde en sommige Transformer-gebaseerde baselines, dankzij de lineaire tijdscomplexiteit van de Mamba-backbone.

5. Betekenis en Claims

Het artikel beweert dat EnergyMamba bestaand onderzoek vooruit helpt door datagedreven leren te overbruggen met fysieke systeemprincipes (wetten van Kirchhoff) en het kritieke gat van betrouwbaarheid onder distributieverschuivingen aan te pakken.

• Fysieke interpreteerbaarheid: Door de temporele dynamiek te conditioneren op de ruimtelijke context afgeleid van de nettopologie, simuleert het model beter hoe belastingverstoringen zich door het elektriciteitsnet voortplanten.
• Betrouwbaarheid bij extreme gebeurtenissen: Het adaptieve karakter van AS-CQR zorgt ervoor dat het model niet overmoedig wordt tijdens abnormale situaties, waardoor besluitvormers voorzien worden van betrouwbare, risico-bewuste voorspellingen.
• Schaalbaarheid: Het framework biedt een balans tussen hoge nauwkeurigheid en computationele efficiëntie, waardoor het geschikt is voor frequente hertraining in dynamische netscenario's.

De auteurs erkennen beperkingen en merken op dat de huidige implementatie op regionaal niveau opereert (bijv. Census Block Groups) en niet expliciet de fijnmazige fysieke topologie van het elektriciteitsnet modelleert, wat zij aanduiden als een richting voor toekomstig werk.