🤖 machine learning

Short-Term Electricity Demand Forecasting for New England Using a Hybrid Transformer-XGBoost Framework with Weather, Calendar, and COVID-19 Indicators

Dit artikel stelt een hybride Transformer-XGBoost-framework voor voor de korte termijn voorspelling van de elektriciteitsvraag in New England dat, ondanks het opnemen van COVID-19-indicatoren en het bereiken van een hoge nauwkeurigheid, aantoont dat dergelijke epidemiologische kenmerken uiteindelijk de testprestaties verslechteren door overfitting op verouderde pandemische patronen te versterken zodra gedragsaanpassingen plaatsvonden.

Oorspronkelijke auteurs: Reza Ghanavati, Behrooz Mosallaei

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Reza Ghanavati, Behrooz Mosallaei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden hoeveel elektriciteit de hele regio New England morgen zal verbruiken. Het is een beetje alsof je probeert te voorspellen hoeveel water een enorme, dorstige tuin zal drinken. Je weet dat het weer ertoe doet (warme dagen vragen om meer airco, koude dagen om meer verwarming), en je weet dat de dag van de week ertoe doet (mensen gebruiken meer stroom op werkdagen dan in het weekend). Maar wat gebeurt er als de hele wereld plotseling verandert, zoals tijdens een pandemie? Dat is de puzzel die dit artikel probeert op te lossen.

Hier is een eenvoudige uitsplitsing van wat de onderzoekers hebben gedaan en wat ze hebben gevonden, met behulp van alledaagse analogieën.

Het Doel: De Dorst van het Elektriciteitsnet Voorspellen

Elektriciteit is lastig omdat je het niet echt kunt opslaan in een gigantisch magazijn; je moet precies evenveel maken als mensen op dat moment nodig hebben. Als je het fout raadt, kunnen de lichten gaan flikkeren of verspil je geld aan het maken van stroom die niemand gebruikt. De onderzoekers wilden een "glazen bol" bou�ien om de dagelijkse vraag naar elektriciteit in New England met hoge nauwkeurigheid te voorspellen.

Het Recept: Een Hybride Keuken

Het team heeft een nieuwe methode ontwikkeld met een "hybride" aanpak. Denk aan een restaurant met twee chefs die samenwerken:

Chef 1 (De Transformer): Dit is een hoogtechnologische AI-chef die gespecialiseerd is in het lezen van verhalen. Hij kijkt naar het "verhaal" van de afgelopen 30 dagen aan elektriciteitsverbruik en pandemie-nieuws (zoals het aantal besmettingen en sterfgevallen). Hij is erg goed in het herkennen van lange, complexe patronen in een tijdlijn, een beetje zoals een mens een roman kan lezen en de stemming van een personage over vele hoofdstukken heen kan begrijpen.
Chef 2 (XGBoost): Dit is een zeer scherpe, logische chef die van tabellen en spreadsheets houdt. Hij kijkt naar specifieke feiten: "Het is dinsdag," "De temperatuur in Boston is 40°F," en "We hadden gisteren 500 nieuwe gevallen." Hij is uitstekend in het nemen van snelle beslissingen op basis van harde gegevens.

Het Hybride Framework: Chef 1 leest het verhaal en overhandigt een samenvattende notitie aan Chef 2. Chef 2 combineert deze samenvatting vervolgens met alle harde feiten om de uiteindelijke voorspelling te doen. De onderzoekers hoopten dat dit team beter zou zijn dan alleen Chef 2 alleen.

De Ingrediënten

Om hun voorspelling te doen, mengden ze veel verschillende gegevens:

Het Weer: Ze keken niet naar slechts één stad; ze controleerden het weer in zes verschillende steden in New England (zoals Boston, Portland en Burlington) om een volledig beeld te krijgen.
De Kalender: Ze hielden rekening met feestdagen, weekenden en seizoenen.
De Pandemie-factor: Ze namen gegevens over COVID-19-gevallen en sterfgevallen op, in de hoop hoe het virus mensen in hun gedrag beïnvloedde (zoals thuiswerken) te vangen.
De Geschiedenis: Ze keken naar wat er gisteren, vorige week en vorige maand gebeurde.

De Proeverij: Werkte het?

Ze testten hun "Hybride Keuken" tegenover een "Solo Keuken" (alleen Chef 2/XGBoost zonder de AI-verhalenlezer).

Het Resultaat: De Hybride Keuken was iets beter in het raden van de exacte hoeveelheid elektriciteit die nodig was. Echter, toen de onderzoekers een strikte statistische test uitvoerden (zoals een scheidsrechter die controleert of het verschil in score echt is of gewoon geluk), kwamen ze tot de conclusie dat de twee keukens in feite gelijk speelden. Het hybride model was niet statistisch beter dan het simpele model.
De Conclusie: Als je een heel goede lijst met feiten hebt (weer, kalender, geschiedenis), heb je de fancy AI-verhalenlezer niet noodzakelijkerwijs nodig om een geweldig resultaat te behalen. De simpele, logische chef was bijna net zo goed.

De Grote Verrassing: Het Pandemie-Ingrediënt

Het meest interessante deel van het artikel is wat er gebeurde met het "Pandemie-Ingrediënt" (COVID-19-gegevens).

Tijdens de Pandemie (Training): Wanneer het model leerde van gegevens uit 2020–2021, waren de pandemiegegevens zeer nuttig. Ze hielpen het model begrijpen waarom het elektriciteitsverbruik vreemd was (bijv. kantoren waren leeg, huizen waren vol).
Na de Pandemie (Testen): Toen ze het model testten op gegevens van eind 2022 en begin 2023, werd het vreemd. Tegen die tijd hadden mensen zich aangepast aan het virus; we waren weer aan het werk en gewoontes waren genormaliseerd.
- De Glitch: Het model dacht dat de pandemiegegevens nog steeds super belangrijk waren. Sterker nog, het vertrouwde tijdens de testfase zelfs méér op de pandemiegegevens dan tijdens de leerfase!
- De Analogie: Stel je een student voor die leert dat "regen betekent dat er geen voetbaltraining is." Ze studeren hard tijdens een regenachtig seizoen. Maar dan verandert het seizoen, en het is zonnig, maar de student controleert nog steeds obsessief de regenverwachting en zegt de training toch af. Het model bleef naar de pandemiecijfers kijken alsof de wereld nog steeds in lockdown zat, terwijl mensen zich al hadden aangepast.
- Het Gevolg: Omdat het model deze "verouderde" informatie bleef gebruiken, maakte het in het hybride model eigenlijk iets slechtere voorspellingen wanneer de pandemiegegevens werden opgenomen, vergeleken met wanneer ze werden verwijderd.

Het Eindvonnis

Geschiedenis is Koning: Het belangrijkste voor het voorspellen van elektriciteit is weten wat er gisteren en vorige week is gebeurd. Als je dat verwijdert, faalt het model spectaculair.
Het Weer is Koningin: Weten wat de temperatuur en de dag van de week is, is het volgende belangrijkste ding.
De Pandemie is een "Tijdelijk Ingrediënt": De gegevens over COVID-19 waren nuttig alleen terwijl de wereld in actieve lockdown zat. Zodra mensen zich aanpasten (tegen medio 2022), werd die data "ruis". Het hielp niet bij het voorspellen van de toekomst; het verwarde het model alleen maar door te laten denken dat de oude regels nog steeds golden.

Kortom: De onderzoekers hebben een slim systeem gebouwd dat erg goed werkt. Ze ontdekten dat hoewel fancy AI helpt, een solide logisch model met goede weer- en geschiedenisgegevens bijna net zo goed is. Het belangrijkste is dat ze leerden dat wanneer de wereld verandert (zoals tijdens een pandemie), je voorzichtig moet zijn dat je model zich niet vastbijt in het verleden door oude regels te gebruiken die niet langer van toepassing zijn.

Technische Samenvatting: Korte-termijn Elektriciteitsvraagvoorspelling voor New England met behulp van een Hybride Transformer–XGBoost Framework

1. Probleemstelling

Nauwkeurige voorspellingen van de elektriciteitsvraag op korte termijn zijn fundamenteel voor systeembeheerders van elektriciteitsnetten om real-time dispatch, unit commitment en de clearing van energiemarkten te beheren. Hoewel klassieke statistische methoden (bijv. ARIMA) en moderne machine learning-benaderingen (bijv. XGBoost, LSTM's, Transformers) breed zijn toegepast, blijft voorspelling uitdagend in regio's met een hoge weersgevoeligheid en structurele verstoringen in de vraag.

Deze studie behandelt de specifieke uitdagingen van de elektriciteitsmarkt in New England (ISO-NE), die wordt gekenmerkt door extreme seizoensgebonden weersvariaties en structurele gedragsveranderingen veroorzaakt door de COVID-19-pandemie (2020–2022). Een kritieke kloof die is geïdentificeerd, is de onzekerheid over de voorspellende waarde van epidemiologische indicatoren (gevallengegevens, sterftecijfers) naarmate de gedragsadaptatie vordert van de acute fase van de pandemie naar een post-acute stabilisatieperiode. Het onderzoek onderzoekt of een hybride architectuur, die deep learning combineert voor extractie van temporele kenmerken met gradient boosting voor tabulaire voorspelling, een superieure nauwkeurigheid biedt ten opzien van een robuuste, enkel tabulaire baseline, en hoe het nut van de kenmerken uit het pandemie-tijdperk in de loop van de tijd evolueert.

2. Methodologie

Data en Feature Engineering

De studie maakt gebruik van dagelijkse elektriciteitsvraaggegevens voor het New England-controletraject van 1 februari 2020 tot 23 maart 2023. De feature engineering-pipeline integreert:

Meteorologische Observaties: 16 dagelijkse variabelen (max/gem./min. temperatuur, dauwpunt, luchtvochtigheid, windsnelheid, luchtdruk, neerslag) afkomstig van zes steden die alle zes de staten van New England vertegenwoordigen (Boston, Bridgeport, Burlington, Concord, Portland, Providence), wat resulteert in 96 ruwe weerkenmerken.
Kalender- en Seizoensindicatoren: Binaire vlaggen voor feestdagen, weekenden, werkdagen en "brugdagen", naast continue variabelen voor dag van de week, dag van het jaar en seizoen.
Autoregressieve Lags: Vraag-lags van 1, 7, 14 en 30 dagen om persistentie en seasonaliteit te vangen.
Epidemiologische Indicatoren: Acht kenmerken afgeleid van COVID-19 gevallen en sterftecijfers, inclus\n bij het dagelijkse aantal gevallen, 7-daagse en 14-daagse voortschrijdende gemiddelden en dagelijkse procentuele groeicijfers.

Modelarchitectuur

Het voorgestelde framework maakt gebruik van een Hybride Transformer–XGBoost architectuur:

Transformer Encoder: Verwerkt sliding windows (lengte $L=30$ ) van tijdreekskanalen (8 COVID-kenmerken + 4 vraag-lags). Deze maakt gebruik van sinusvormige positionele codering, 4 attention heads en twee encoder-lagen om een 32-dimensionale temporele embedding-vector te produceren. Dit component is ontworpen om langetermijn-temporele afhankelijkheden en complexe interactiepatronen te vangen.
XGBoost Regressor: Neemt de concatenatie van de Transformer embedding-vector en de volledige tabulaire feature set (weer, kalender, lags) als input. Deze is geconfigureerd met ondiepe bomen ( $max\_depth=3$ ) en sterke regularisatie om overfitting te voorkomen.

Training en Optimalisatie

Data Split: Een strikte chronologische splitsing (70% training, 15% validatie, 15% test) waarborgt dat er geen temporele lekkage optreedt. De StandardScaler wordt uitsluitend gefit op de trainingsset.
Hyperparameter Tuning: Bayesiaanse optimalisatie met behulp van Optuna met een multivariate Tree-structured Parzen Estimator (TPE) sampler over 500 trials. Een MedianPruner elimineert veelbelovende trials vroegtijdig.
Evaluatiemetrieken: Root Mean Squared Error (RMSE), Mean Absolute Percentage Error (MAPE) en de Coëfficiënt van Determinatie ( $R^2$ ). De statistische significantie van prestatieverschillen wordt beoordeeld via de Diebold-Mariano (DM) test met de Harvey-Leybourne-Newbold correctie.
Interpreteerbaarheid: SHapley Additive exPlanations (SHAP) worden gebruikt om de bijdragen van kenmerken te kwantificeren en verschuivingen in de belangrijkheid van kenmerken door de tijd heen te analyseren.

3. Belangrijkste Resultaten

Voorspellende Prestaties

Beide modellen behaalden een hoge nauwkeurigheid op de uitgesloten testset (oktober 2022 – maart 2023):

Hybride Model: RMSE = 8.876 MWh, MAPE = 2,05%, $R^2$ = 0,906.
XGBoost-Only Baseline: RMSE = 9.304 MWh, MAPE = 2,21%, $R^2$ = 0,896.

Hoewel het hybride model marginaal betere metrieken behaalde, bevestigde de Diebold-Mariano test ($DM = -1,126, p = 0,262$) dat het verschil in RMSE van 427,7 MWh statistisch niet te onderscheiden is van ruis. De twee architecturen worden daarom als statistisch gelijkwaardig beschouwd in voorspellende nauwkeurigheid voor deze dataset.

Feature Belang en Ablatie

Dominantie van Lags: Autoregressieve vraag-lags (met name de 1-daagse lag) waren de meest kritieke kenmerken. Het verwijderen hiervan verhoogde de test-RMSE met ~15–18% in beide modellen.
Weer en Kalender: Deze kenmerken alleen verklaarden ongeveer 84–85% van de variantie in de vraag ( $R^2 \approx 0,84$ ).
Transformer Embeddings: Het verwijderen van de Transformer embeddings verslechterde de test-RMSE van het hybride model met 7,4%, wat bevestigt dat ze een werkelijke temporele structuur vangen, hoewel de marginale winst ten opzien van de tabulaire baseline bescheiden was.
COVID-19 Kenmerken (De Asymmetrie):
- Trainingsperiode: COVID-kenmerken verbeterden de trainingsnauwkeurigheid (het verwijderen ervan verhoogde de trainings-RMSE met 2,5% voor de XGBoost-only versie).
- Testperiode: Het effect was asymmetrisch. Het verwijderen van COVID-kenmerken verbeterde de test-RMSE van de XGBoost-only versie met 1,2%, maar verslechterde de test-RMSE van het hybride model met 3,2%.
- SHAP-analyse: Een cruciale bevinding was dat 5 van de 8 COVID-kenmerken door het hybride model als belangrijker werden beschouwd tijdens de post-acute testset dan tijdens de actieve pandemie-trainingsset. Dit geeft aan dat het model overmatig geleerde pandemische patronen toepaste op een periode waarin gedragsreacties genormaliseerd waren, wat leidde tot systematische fouten.

4. Betekenis en Claims

Het artikel stelt vast dat hoewel hybride deep learning-architecturen temporele dynamiek kunnen vangen, ze niet noodzakelijkerwijs statistisch significante winst in nauwkeurigheid opleveren ten opzien van goed afgestemde gradient boosting-modellen wanneer rijke tabulaire kenmerken beschikbaar zijn.

De centrale bijdrage van dit werk is de identificatie van temporele geldigheid-verval (temporal validity decay) als een mechanisme voor voorspellingsfouten. De studie toont aan dat epidemiologische kenmerken, hoewel zeer informatief tijdens de acute verstoringsfase (2020–2021), contraproductieve ruis werden in de post-acute fase (eind 2022–2023) omdat de gedragsmatige drijfveren (lockdowns, regels voor thuiswerken) die virale metrieken aan de elektriciteitsvraag koppelden, waren verdwenen.

De auteurs concluderen:

Operationele Parsimonie: Voor dagelijkse vraagvoorspelling in deze context is een tabular-only XGBoost-model een concurrerende operationele keuze, die vergelijkbare nauwkeurigheid biedt aan het hybride model met een lagere implementatiecomplexiteit.
Lifecycle Management van Kenmerken: Epidemiologische kenmerken moeten tijdsgebonden worden of worden uitgefaseerd zodra de gedragsadaptatie voltooid is. Het vertrouwen op hen na de acute fase van de pandemie leidt tot overfitting op verouderde patronen, een fenomeen dat detecteerbaar is via de temporele SHAP-analyse waarbij de belangrijkheid van kenmerken toeneemt terwijl de voorspellende bruikbaarheid afneemt.
Gedragsmatige versus Virologische Drijvers: De studie verduidelijkt dat de respons van de vraag op COVID werd gedreven door gedragsmatige verstoringen in plaats van louter door de transmissieratio's van het virus; zodien het gedrag genormaliseerd was, verbrak de correlatie tussen het aantal gevallen en de vraag, ongeacht de voortgaande virale circulatie.