Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting

Deze studie evalueert de effectiviteit van vijf hyperparameter-optimalisatiealgoritmen voor kortetermijnlastvoorspelling met XGBoost op de Panamese elektriciteitsdataset, waarbij Bayesian Optimization de laagste nauwkeurigheid vertoonde maar alle methoden significant sneller waren dan Random Search.

De kern

Stel je voor dat je de stroomleverancier bent voor heel Panama. Je moet elke dag beslissen hoeveel elektriciteit je gaat opwekken.

• Als je te weinig opwekt, gaan de lichten uit en raken mensen in paniek.
• Als je te veel opwekt, is het een enorme verspilling van geld en energie.

De kunst is dus om precies te voorspellen hoeveel stroom er nodig is. Dit noemen we Short-Term Load Forecasting (korte termijn stroomvoorspelling).

Dit is echter heel lastig. Het hangt af van het weer, of het een feestdag is, of mensen thuis werken, en of ze hun wasmachine aan hebben. Om dit te voorspellen gebruiken computers slimme algoritmen (zoals een digitale voorspeller). Maar deze voorspeller heeft een besturingspaneel met veel knoppen en schuifbalken (de hyperparameters).

Als je die knoppen verkeerd zet, werkt de voorspeller slecht. Als je ze perfect zet, werkt hij fantastisch. Het probleem? Je weet niet van tevoren welke stand de beste is. Je moet ze allemaal uitproberen.

Het Grote Experiment: De 5 Zoekers

De auteurs van dit onderzoek wilden weten: Welke manier van zoeken is het snelst en het slimst om die perfecte knoppenstand te vinden?

Ze namen 5 verschillende "zoekers" (algoritmen) en stuurden ze op zoek naar de beste instellingen voor hun voorspeller (die heet XGBoost). Ze gebruikten daarvoor echte data uit Panama van de afgelopen jaren.

Hier zijn de 5 zoekers, vertaald naar een dagelijkse analogie:

1. Random Search (De Toevallige Toerist):

   • Hoe het werkt: Deze persoon loopt blindelings door een groot bos en kiest willekeurig een boom om te controleren of daar de schat ligt.
   • Resultaat: Hij vindt soms de schat, maar het duurt eeuwen. Hij is traag en inefficiënt.

2. CMA-ES (De Slimme Ontdekkingsreiziger):

   • Hoe het werkt: Deze persoon maakt een kaart van het bos. Als hij ziet dat de grond in het noorden vochtig is, denkt hij: "Aha, de schat zit waarschijnlijk ook in het noorden." Hij past zijn strategie aan op basis van wat hij al heeft gevonden.
   • Resultaat: Zeer snel en slim, maar soms een beetje traag in het begin.

3. Bayesian Optimization (De Profiler):

   • Hoe het werkt: Deze persoon heeft een heel sterk vertrouwen in zijn voorspellingen. Hij zegt: "Op basis van eerdere zoektochten is de kans 90% dat de schat hier ligt." Hij focust zich heel sterk op de meest waarschijnlijke plekken.
   • Resultaat: In dit onderzoek bleek deze persoon niet zo goed te werken als hij alleen naar het stroomverbruik keek (zonder extra info). Hij was te vastgeroest in zijn eigen ideeën. Maar als je hem extra informatie gaf (zoals het weer), werd hij veel beter.

4. PSO (De Zwerm Vogels):

   • Hoe het werkt: Stel je een zwerm vogels voor. Als één vogel een lekker stukje brood vindt, roept hij het door. De hele zwerm vliegt dan naar die plek. Ze delen informatie en zoeken samen.
   • Resultaat: Zeer snel en efficiënt. Ze vinden de beste plek vaak heel snel door samen te werken.

5. NGOpt (De Chameleont):

   • Hoe het werkt: Dit is een super-software die zelf bedenkt welke van de bovenstaande methoden hij moet gebruiken. Is het bos groot? Dan gebruikt hij de 'Zwerm'. Is het klein? Dan gebruikt hij de 'Profiler'. Hij past zich aan de situatie aan.
   • Resultaat: Een zeer sterke en flexibele speler.

Wat vonden ze?

De onderzoekers keken naar twee dingen: Hoe goed was de voorspelling? en Hoe lang duurde het zoeken?

1. Snelheid is koning: De "Toevallige Toerist" (Random Search) was veruit de langzaamste. De slimme zoekers (zoals de Zwerm en de Ontdekkingsreiziger) vonden de beste instellingen veel sneller. Dat is cruciaal, want in de echte wereld moet je snel kunnen schakelen als het weer plotseling verandert.
2. De kracht van extra info:
   • Als de zoekers alleen keken naar het verleden van de stroom (univariate), deed de "Profiler" (Bayesian) het slecht. Hij was te zelfverzekerd.
   • Maar toen ze de zoekers ook weerdata gaven (temperatuur, regen, feestdagen), werd de "Profiler" plotseling heel goed. Het blijkt dat slimme zoekers heel goed kunnen leren van extra context.
3. De winnaars: De methoden die samenwerken (zoals de Zwerm/PSO) of die zich aanpassen (NGOpt) deden het over het algemeen het beste. Ze vonden snel de beste instellingen en leverden een nauwkeurige voorspelling.

De conclusie in één zin

Als je wilt voorspellen hoeveel stroom er nodig is, moet je niet blindelings rondlopen (Random Search). Gebruik liever slimme zoekers die van elkaar leren of die zich aanpassen aan de situatie, en geef hen vooral extra informatie (zoals het weer) om hun voorspellingen nog scherper te maken.

Dit onderzoek helpt energieleveranciers dus om hun computers slimmer en sneller te maken, zodat het licht in Panama altijd aan blijft, zonder dat er geld wordt verspild.

Technische samenvatting

Titel: Testen van de Effectiviteit van Hyperparameter-Optimalisatie-algoritmen in Korte-termijn Lastprognose

1. Probleemstelling

Accurate voorspelling van elektriciteitsvraag (Load Forecasting) is cruciaal voor de stabiliteit van het elektriciteitsnet, de optimale toewijzing van energiebronnen en efficiënt energieverbruik. Korte-termijn lastprognose (STLF - Short-Term Load Forecasting) richt zich op voorspellingen van enkele minuten tot enkele dagen vooruit.
De uitdaging ligt in de complexiteit van factoren die de vraag beïnvloeden, zoals huishoudelijke routines, feestdagen, seizoenen en weersomstandigheden. Hoewel machinelearning-algoritmen zoals XGBoost veelbelovend zijn, hangt hun prestatie sterk af van de optimale configuratie van hyperparameters. Traditionele zoekmethoden (zoals Grid Search) zijn vaak inefficiënt. Er is een gebrek aan literatuur die een uitgebreide, statistisch onderbouwde vergelijking biedt van moderne "intelligente" hyperparameter-optimalisatie (HPO) algoritmen over verschillende steekproefgroottes en dataconfiguraties (univariaat vs. multivariaat).

2. Methodologie

De studie gebruikt een gestructureerde aanpak om vijf HPO-algoritmen te evalueren binnen het kader van STLF:

• Doel: Het optimaliseren van het XGBoost-model (als surrogate forecasting-algoritme) voor het voorspellen van het elektriciteitsverbruik van Panama op het volgende uur.
• Dataset: Het "Panama National Electricity Demand"-dataset (n = 48.049 uurlijkse metingen van januari 2015 tot juni 2020).
  • Univariaat: Gebruikt alleen historische vraagdata.
  • Multivariaat: Voegt extra kenmerken toe zoals temperatuur, luchtvochtigheid, windsnelheid, neerslag, en categorische data (feestdagen, schooldagen).
• Geëvalueerde HPO-algoritmen:
  1. Random Search: De baseline (niet-geleid).
  2. CMA-ES (Covariance Matrix Adaptation Evolution Strategy): Een evolutionair algoritme.
  3. Bayesian Optimization: Een sequentieel model-based algoritme.
  4. PSO (Particle Swarm Optimization): Simuleert sociaal gedrag van zwermen.
  5. NGOpt (Nevergrad Optimizer): Een meta-algoritme dat strategieën dynamisch aanpast aan het probleem.
• Experimenteel Ontwerp:
  • De algoritmen werden getest op steekproefgroottes variërend van 1.000 tot 20.000 observaties.
  • Doel is het minimaliseren van de RMSE tijdens de zoektocht.
  • Evaluatiemetrieken: MAPE (Mean Absolute Percentage Error), R² (R-squared) en Runtime (totale tijd tot optimale hyperparameters zijn gevonden).
• Statistische Analyse: Een Kruskal-Wallis test (niet-parametrisch) werd gebruikt om de statistische significantie van prestatieverschillen tussen de algoritmen te bepalen, gevolgd door paarwijze vergelijkingen met Bonferroni-correctie.

3. Belangrijkste Bijdragen

1. Systematische Evaluatie: Een uitgebreide vergelijking van vijf state-of-the-art HPO-algoritmen, waaronder NGOpt (een adaptief meta-algoritme), specifiek in de context van STLF.
2. Schaalbaarheidsonderzoek: Visualisatie van prestaties over toenemende steekproefgroottes, wat inzicht geeft in hoe deze algoritmen schalen naarmate de datavolume groeit.
3. Statistische Robuustheid: Het introduceren van de Kruskal-Wallis test om prestatieverschillen tussen HPO-methoden statistisch te valideren, in plaats van alleen te vertrouwen op grafische trends.

4. Resultaten

De experimenten leverden de volgende inzichten op:

• Runtime (Snelheid):
  • Alle intelligente HPO-algoritmen (CMA-ES, Bayesian, PSO, NGOpt) waren significant sneller dan Random Search bij het vinden van optimale hyperparameters.
  • Random Search was de traagste methode.
  • CMA-ES was significant trager dan PSO, maar over het algemeen waren de evolutionaire en Bayesiaanse methoden veel efficiënter qua tijd.
• Nauwkeurigheid (Univariaat):
  • In univariate modellen (alleen historische data) presteerde Bayesian Optimization verrassend slecht qua nauwkeurigheid (laagste R² en hoge MAPE) vergeleken met de andere methoden.
  • NGOpt en PSO presteerden hier beter.
• Nauwkeurigheid (Multivariaat):
  • Bij het toevoegen van contextuele data (weer, kalender) verbeterden alle HPO-algoritmen de prestaties van XGBoost naarmate de steekproefgrootte toenam (dalende MAPE).
  • In multivariate settings werden de statistische verschillen in nauwkeurigheid tussen de algoritmen onbeduidend. Dit suggereert dat Bayesian Optimization de extra contextuele kenmerken effectief kan benutten om zijn prestaties te verbeteren, waardoor het gat met de andere methoden wordt gedicht.
• Statistische Significantie:
  • De Kruskal-Wallis test bevestigde significante verschillen in runtime.
  • Voor nauwkeurigheid waren de verschillen in univariate settings significant (met Bayesian als zwakste schakel), maar niet significant in multivariate settings.

5. Betekenis en Conclusie

De studie concludeert dat intelligente HPO-algoritmen overwegend superieur zijn aan Random Search, vooral wat betreft reductie van rekentijd. Dit is essentieel voor praktische implementaties in de energievoorziening waar snelle iteraties nodig zijn.

• Kerninzicht: Hoewel Bayesian Optimization in sommige scenario's (univariaat) minder nauwkeurig kan zijn, wordt deze beperking opgeheven wanneer rijke contextuele data beschikbaar is.
• Beperkingen: De studie was beperkt tot één forecasting-model (XGBoost) en één dataset vanwege de hoge rekentijd. Ook werden slechts een beperkt aantal hyperparameters geëvalueerd.
• Toekomstperspectief: Aanbevolen wordt om interpretabiliteitsmetrieken toe te voegen, vergelijkingen over verschillende geografische regio's uit te voeren en de schaalbaarheid van HPO te testen op verschillende tijdsintervallen (uur, dag, week).

Samenvattend biedt dit onderzoek een waardevol raamwerk voor het selecteren van de juiste HPO-strategie voor STLF-taken, waarbij de afweging tussen rekentijd, nauwkeurigheid en de beschikbaarheid van extra datakenmerken centraal staat.