🤖 machine learning

Ensemble Score Filtering for Real-Data Energy Consumption Forecast Correction

Dit artikel stelt voor om de Ensemble Score Filter (EnSF) te gebruiken om voorspellingen van een vooraf getraind black-box ruimtetijdmodel voor real-world energieverbruiksdata te corrigeren, en toont aan dat EnSF effectief omgaat met gedeeltelijke en ruisbeïnvloede waarnemingen en in niet-lineaire situaties beter presteert dan de Ensemble Kalman Filter.

Oorspronkelijke auteurs: Ruoyu Hu, Dahai Yu, Feng Bao, Guang Wang, Guannan Zhang

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruoyu Hu, Dahai Yu, Feng Bao, Guang Wang, Guannan Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Voorspellen van Stroomverbruik

Stel je voor dat je probeert te raden hoeveel elektriciteit een hele stad elk uur zal verbruiken. Dit is cruciaal voor energieleveranciers, zodat ze niet zonder stroom komen te zitten of geld verspillen aan het opwekken van te veel energie.

Het probleem is dat real-world data rommelig is. Soms ontbreken metingen, soms zijn ze ruisig (zoals een radio met statische storing), en soms arriveren ze te laat. Hierom is het simpelweg raden op basis van eerdere patronen niet voldoende.

De Tweestapsoplossing

De auteurs van dit artikel stellen een tweestaps-team voor om dit op te lossen:

De "Super-Radelaar" (Het Vooraf Getrainde Model):
Eerst gebruiken ze een zeer slim computerprogramma (een "spatio-temporaal groot taalmodel") dat al jaren aan elektriciteitsdata heeft bestudeerd. Denk aan dit model als een superervaren weerman. Als je het vraagt: "Hoe wordt het weer morgen op basis van vandaag?", geeft het een goed antwoord.
- Echter, als je het vraagt om het weer voor de komende 30 dagen te voorspellen zonder de echte lucht te controleren, begint het te afdrijven. Het kan een zonnige dag voorspellen terwijl het eigenlijk regent, omdat het alleen maar raadt op basis van zijn geheugen, niet op basis van de werkelijkheid. In het artikel noemen ze dit "open-loop propagatie", en ze tonen aan dat het snel onbetrouwbaar wordt.
De "Realiteitscheck" (Data Assimilatie):
Om de afdrijvende voorspellingen van de Super-Radelaar te corrigeren, voegen ze een tweede stap toe: Data Assimilatie. Dit is alsof je een waarnemer op de grond hebt die real-time updates doorgeeft.
- De Super-Radelaar doet een voorspelling.
- De Waarnemer zegt: "Hé, ik kan slechts 25% van de stad zien, en hier is het eigenlijk bewolkt."
- Het systeem combineert de Gissing met het rapport van de Waarnemer om de voorspelling te corrigeren.

Het Nieuwe Hulpmiddel: Ensemble Score Filtering (EnSF)

Het artikel introduceert een specifieke nieuwe methode voor het uitvoeren van deze "Realiteitscheck", genaamd de Ensemble Score Filter (EnSF).

Om te begrijpen waarom dit speciaal is, stel je voor dat je probeert een verdwaalde wandelaar te vinden in een dicht bos (het "ware" elektriciteitsverbruik).

De Oude Manier (EnKF): De traditionele methode (Ensemble Kalman Filter) gaat ervan uit dat de wandelaar waarschijnlijk in een eenvoudige, ronde cirkel rond de laatst bekende plek zit. Het is alsof je een perfecte cirkel op een kaart tekent en zegt: "Ze zijn ergens hierin." Dit werkt goed als het bos vlak en open is, maar als het terrein ruw en complex is (niet-lineair), is een simpele cirkel een slechte gok.
De Nieuwe Manier (EnSF): De EnSF is slimmer. In plaats van een simpele cirkel te tekenen, gebruikt het een "score" om de volledige vorm van het bos in kaart te brengen. Het begrijpt dat de wandelaar zich in een vallei, op een richel of verstopt in een grot kan bevinden. Het gaat er niet van uit dat het antwoord een eenvoudige vorm is; het leert de complexe vorm van waar de wandelaar echt is, gebaseerd op de aanwijzingen.

Belangrijke kenmerken van dit nieuwe hulpmiddel:

Geen Opnieuw Trainen: Normaal gesproken moet je, wanneer je nieuwe informatie krijgt, je AI-model vanaf nul opnieuw trainen. Dit is traag en duur. De EnSF is als een GPS die je route direct herberekent zonder dat je een nieuwe kaart hoeft te downloaden. Het gebruikt wiskundige trucs om de voorspelling onderweg aan te passen zonder iets opnieuw te leren.
Beheerst Ontbrekende Data: Het werkt zelfs als de "Waarnemer" slechts een paar huizen in de stad ziet (gedeeltelijke waarnemingen).

Wat Ze Vonden (De Resultaten)

De onderzoekers testten dit op echte elektriciteitsdata van 5.000 gebruikers in Tallahassee, Florida.

De "Super-Radelaar" alleen faalt na verloop van tijd: Als ze het computermodel de toekomst lieten voorspellen zonder echte data te controleren, werden de voorspellingen zeer snel wild verkeerd. Het was als een GPS die blijft zeggen dat je links moet afslaan, terwijl je de afslag al voorbij bent.
De "Realiteitscheck" lost het op: Toen ze de EnSF gebruikten om de gok van het model te mengen met echte (maar gedeeltelijke) data, werden de voorspellingen weer accuraat. Het slaagde erin het ware elektriciteitsverbruik te volgen, zelfs wanneer het model aanvankelijk fout zat of wanneer data ontbrak.
Nieuw Hulpmiddel versus Oud Hulpmiddel: Ze vergeleken hun nieuwe EnSF-methode met de standaard "Oude Manier" (EnKF). In situaties waarin de relatie tussen de data en de realiteit complex was (niet-lineair), was de EnSF veel beter. Het corrigeerde de voorspelling nauwkeuriger dan de traditionele methode, die worstelde met de complexiteit.

Samenvatting

Zie dit artikel als een recept voor een betere elektriciteitsvoorspelling.

Ingrediënt A: Een slimme AI die de algemene patronen van stroomverbruik kent.
Ingrediënt B: Een nieuwe wiskundige methode (EnSF) die fungeert als een real-time correctiesysteem.
Het Resultaat: Zelfs als de AI begint te afdrijven of als we slechts gedeeltelijke data hebben, houdt de combinatie de voorspelling accuraat. De nieuwe methode (EnSF) is beter in het hanteren van rommelige, complexe real-world data dan de oudere methoden die momenteel in gebruik zijn.

Technische Samenvatting: Ensemble Score Filtering voor Correctie van Voorspellingen van Energieverbruik op Basis van Realiteitsdata

Probleemstelling
Accurate voorspellingen van energieverbruik zijn cruciaal voor de bedrijfsvoering, planning en vraagzijdebeheer van elektriciteitsnetten. Echter, real-world energiedata lijden vaak onder gedeeltelijke, ruisbehaftte, vertraagde of onvolledige metingen. Hoewel moderne machinelearning-modellen, met name diepe spatio-temporele voorspellingsmodellen, complexe temporele en ruimtelijke afhankelijkheden kunnen vastleggen, ondervinden ze aanzienlijke beperkingen wanneer ze worden gebruikt voor voorspellingen op lange termijn in een "open-loop" omgeving. Zonder corrigerende observatiedata accumuleren fouten in geleerde modellen in de loop van de tijd, wat leidt tot onbetrouwbare schattingen van de systeemtoestand. Het kernprobleem dat wordt aangepakt, is hoe men de voorspellingstrajectorie van een vooraf getraind black-box voorspellingsmodel effectief kan corrigeren met behulp van sequentiële, gedeeltelijke en ruisbehaftte observaties, met name in hoogdimensionale, niet-lineaire omgevingen waar traditionele filtermethoden mogelijk moeite hebben.

Methodologie
Het artikel stelt een raamwerk voor dat een vooraf getraind spatio-temporeel groot taalmodel (STLLM) combineert met de Ensemble Score Filter (EnSF) voor data-assimilatie.

Forward Propagator (STLLM):
- De studie maakt gebruik van een vooraf getraind STLLM dat is ontworpen voor energieverbruik. Het model hanteert een gefactoreerde attentiestructuur om temporele en ruimtelijke afhankelijkheidsmodellering te scheiden, met gebruikmaking van componenten zoals RMSNorm, Rotary Positional Embeddings (RoPE) en SwiGLU feed-forward netwerken.
- In het assimilatiekader fungeert dit model als een vaste, black-box toestandspropagator ( $f_\theta$ ). Het wordt niet opnieuw getraind tijdens het filterproces; in plaats daarvan genereert het de prior voorspellingstrajectorie op basis van historische invoer.
Data-assimilatie via Ensemble Score Filter (EnSF):
- De EnSF wordt ingezet om de voorspellingstrajectorie te corrigeren door observaties te assimileren. In tegenstelling tot traditionele filters die vertrouwen op Gaussische aannames (zoals de Ensemble Kalman Filter) of vereisen dat neurale netwerken worden getraind om scorefuncties te benaderen (zoals standaard op diffusie gebaseerde filters), maakt EnSF gebruik van een trainingsvrije aanpak.
- Scorebenadering: De methode benadert de scorefunctie (de gradiënt van de log-dichtheid) van de filterdistributie met behulp van een gesloten-formule uitdrukking en Monte Carlo-schatting. Het maakt gebruik van een ensemble van toestandsstalen om empirische gewichten te berekenen, waardoor de rekenkosten van het herhaaldelijk opnieuw trainen van score-netwerken bij elke assimilatiestap worden vermeden.
- Diffusieproces: De filter opereert binnen een reverse-time diffusieproces. Het begint bij een standaard Gaussische distributie bij pseudo-tijd $\tau=1$ en evolueert naar de doel-posterieur-distributie bij $\tau=0$ .
- Update-mechanisme: De prior score (afgeleid van het ensemble dat door het STLLM is gepropageerd) wordt bijgewerkt door de likelihood-gradiënt van de nieuwe observatie te integreren. Een dempingsfunctie $g(\tau) = 1-\tau$ regelt de integratie van observatie-informatie, waarbij volledige integratie wordt gewaarborgd bij de doel-distributie ( $\tau=0$ ) terwijl deze vervalt bij de Gaussische referentie ( $\tau=1$ ).
- Omgaan met Nonlineariteit: Het raamwerk behandelt expliciet niet-lineaire observatie-operatoren (bijvoorbeeld arctangens-afbeeldingen) door de Jacobiaan van de observatie-operator te berekenen binnen de likelihood-gradiënt-term, waardoor correcties mogelijk zijn in niet-Gaussische omgevingen.

Belangrijkste Bijdragen

Toepassing van EnSF op Real Energy Data: Het artikel demonstreert de toepassing van de Ensemble Score Filter op een hoogdimensionale (5.000 gebruikers) real-world dataset van energieverbruik, waarbij een complex vooraf getraind STLLM wordt behandeld als het forward dynamics-model.
Trainingsvrije Scorebenadering: Het werk benadrukt de doeltreffendheid van het gebruik van een gesloten-formule, op Monte Carlo gebaseerde scorebenadering binnen EnSF, wat de noodzaak van iteratief opnieuw trainen van score-netwerken tijdens sequentiële data-assimilatie elimineert.
Robuustheid tegen Modeltekortkomingen: De studie toont aan dat het raamwerk de toestandschatting verbetert, zelfs wanneer het onderliggende forward-model "onvoldoende getraind" is (getraind op slechts 25% van de data) of wanneer het model volledig getraind is maar lijdt aan open-loop foutaccumulatie.
Vergelijking met EnKF: Het artikel biedt een directe vergelijking tussen EnSF en de Ensemble Kalman Filter (EnKF) onder gemengde observatieomstandigheden (combinatie van directe en niet-lineaire arctangens-observaties).

Experimentele Resultaten
Numerieke experimenten werden uitgevoerd op uurlijkse energieverbruiksdata van 5.000 nutsbedrijfsklanten in Tallahassee, Florida.

Open-loop Falen: Experimenten bevestigden dat hoewel het vooraf getrainde STLLM redelijke nauwkeurigheid bereikt in één-staps of korte-termijn directe voorspellingen, zijn open-loop voorspellingen in de loop van de tijd significant verslechteren (bijvoorbeeld: de RMSE neemt drastisch toe voor het 12-naar-1-model over 800 stappen).
EnSF Correctie: Het toepassen van EnSF met gedeeltelijke observaties (25%, 50%, 100%) verlaagde de Root Mean Squared Error (RMSE) aanzienlijk in vergelijking met open-loop propagatie. De correctie was effectief voor zowel onvoldoende getrainde als volledig getrainde 4-naar-1-modellen, waarbij de belangrijkste oscillerende structuren van de ware verbruikstrajectieën werden hersteld.
EnSF versus EnKF: In een uitdagende setting met niet-lineaire (arctangens) observatie-operatoren presteerde EnSF beter dan EnKF. Hoewel EnKF een verbetering bood ten opzichte van open-loop voorspellingen, leverde het te gladde of verschoven trajecten op en behield het een hogere RMSE. EnSF bood een sterkere correctie en een betere trajectherstel, toegeschreven aan het vermogen om niet-Gaussische filterdistributies te hanteren zonder te vertrouwen op Gaussische benaderingen.

Betekenis en Claims
Het artikel beweert dat het voorgestelde raamwerk een praktische en effectieve oplossing biedt voor het corrigeren van geleerde voorspellingen van energieverbruik in hoogdimensionale, niet-lineaire omgevingen. Door het voorspellingsmodel te behandelen als een vaste black-box en EnSF te gebruiken voor sequentiële correctie, overbrugt de methode de kloof tussen krachtige maar imperfecte geleerde dynamica en real-world observatiedata.

De auteurs benadrukken dat de betekenis ligt in het aantonen dat:

Geleerde voorspellingsmodellen alleen onvoldoende zijn voor betrouwbare langdurige toestandsvolging zonder sequentiële correctie.
EnSF een rekenkundig haalbaar, trainingsvrij mechanisme biedt voor hoogdimensionale data-assimilatie dat standaard op Gaussische aannames gebaseerde filters (EnKF) overtreft in niet-lineaire observatiesettingen.
De aanpak robuust is en de toestandschatting verbetert, ongeacht of het onderliggende voorspellingsmodel is getraind op volledige of gedeeltelijke datasets.

Het artikel concludeert dat dit raamwerk een levensvatbare richting vertegenwoordigt voor het verbeteren van de planning van elektriciteitsnetten en het vraagzijdebeheer, waarbij toekomstig werk wordt voorgesteld om exogene variabelen (zoals temperatuur) op te nemen en de aanpak te valideren op aanvullende real-world datasets.