Stealing Accuracy: Predicting Day-ahead Electricity Prices with Temporal Hierarchy Forecasting (THieF)

Dit artikel introduceert de Temporal Hierarchy Forecasting (THieF)-methode voor het voorspellen van dag-ahead elektriciteitsprijzen, waarbij het reconciliëren van voorspellingen voor uur- en blokeenheden de nauwkeurigheid in de Duitse en Spaanse markten tot 13% verbetert zonder significante extra rekentijd.

De kern

Kortom: Hoe je elektriciteitsprijzen beter voorspelt door naar het grotere plaatje te kijken

Stel je voor dat je de prijs van elektriciteit voor morgen moet voorspellen. Dat is als proberen het weer te voorspellen: je kijkt naar de temperatuur, de wind en de wolken. Maar elektriciteitsprijzen zijn nog veel chaotischer. Ze kunnen in één uur van €50 naar €500 springen, of zelfs negatief worden.

De auteurs van dit onderzoek (Lipiecki en collega's) hebben een slimme truc bedacht om deze voorspellingen te verbeteren. Ze noemen het THieF (Temporal Hierarchy Forecasting). Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het probleem: De "zoom-in" en "zoom-out" verwarring

Stel je een foto voor van een drukke markt.

• Zoom-in (Uur per uur): Je kijkt heel dichtbij. Je ziet precies wat er op 14:00 uur gebeurt. Maar door zo dicht te kijken, mis je de grote lijn. Misschien is het op dat moment druk, maar is de hele dag eigenlijk rustig.
• Zoom-out (Dag per dag): Je kijkt van ver weg. Je ziet dat de markt de hele dag gemiddeld rustig was. Maar je mist de piek op 14:00 uur.

In de elektriciteitswereld proberen we vaak alleen naar de "zoom-in" te kijken (de prijs per uur). Het probleem is dat deze voorspellingen vaak niet kloppen met de "zoom-out" (de gemiddelde prijs van de hele dag). Als je beslissingen neemt op basis van een verkeerde uur-prijs, kun je geld verliezen.

2. De oplossing: De "Drie-stappen-dans" (THieF)

De auteurs zeggen: "Waarom kiezen? Laten we beide tegelijk doen en ze met elkaar verzoenen." Ze gebruiken een methode die in drie stappen werkt:

1. De verschillende niveaus maken: Ze maken niet alleen een voorspelling voor elk uur, maar ook voor blokken van 2 uur, 4 uur, 8 uur, en zelfs de hele dag (24 uur).
   • Vergelijking: Het is alsof je niet alleen de temperatuur per uur meet, maar ook de gemiddelde temperatuur van de ochtend, de middag en de avond.
2. Onafhankelijk voorspellen: Ze laten verschillende "slimme computers" (modellen) voor elk niveau een eigen voorspelling doen.
   • De modellen: Ze gebruikten alles van simpele wiskundige formules (zoals een schoolrekenmeester) tot supermoderne kunstmatige intelligentie (zoals een AI die is getraind op miljoenen gegevens).
3. De "Verzoening" (Reconciliation): Dit is de magische stap. De computers kijken naar al hun voorspellingen en zeggen: "Hé, als de gemiddelde prijs van de dag laag is, kan de prijs om 14:00 uur niet zomaar extreem hoog zijn, tenzij er een goede reden is." Ze passen de uur-voorspellingen aan zodat ze logisch passen bij de dag-voorspelling, en andersom.
   • Vergelijking: Stel je een orkest voor. De violisten (uur-prijzen) spelen misschien iets te hard. De dirigent (de verzoening) luistert naar de hele groep (de dag-prijs) en zegt: "Violisten, iets zachter, want de rest van het orkest is rustig." Zo klinkt het hele orkest perfect in balans.

3. Wat leverde dit op?

De onderzoekers hebben dit getest in Duitsland en Spanje over een periode van 4 jaar (waaronder de lastige jaren met de coronapandemie en de oorlog in Oekraïne).

• Resultaat: Door deze "verzoening" werden de voorspellingen tot 13% nauwkeuriger.
• Voor wie? Het werkte voor alle soorten modellen, van de simpele tot de heel complexe.
• Waarom is dit belangrijk? In Europa worden er steeds meer "blok-producten" verhandeld. Dat betekent dat bedrijven niet alleen elektriciteit per uur kopen, maar in blokken van 4 of 8 uur. Als je de prijs van zo'n blok goed kunt voorspellen, kun je veel geld besparen of verdienen.

4. De kosten

Je zou denken dat dit heel duur is om te doen (meer computers, meer tijd). Maar de onderzoekers zeggen: "Nee, het is alsof je een extra stapje zet in je dagelijkse routine." De extra rekentijd is verwaarloosbaar klein vergeleken met het voordeel van een betere voorspelling.

Conclusie in één zin

Door niet alleen naar de details (uren) te kijken, maar ook naar het grote plaatje (dagen) en die twee slim met elkaar te laten praten, krijg je een veel betrouwbaarder beeld van de toekomstige elektriciteitsprijzen. Het is een slimme manier om de chaos van de markt iets meer te ordenen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Stealing accuracy: Predicting day-ahead electricity prices with temporal hierarchy forecasting (THieF)" in het Nederlands.

Titel: Het stelen van nauwkeurigheid: Voorspelling van dag-voor-dag elektriciteitsprijzen met Temporal Hierarchy Forecasting (THieF)

Auteurs: Arkadiusz Lipiecki, Kaja Bilińska, Nikolaos Kourentzes, Rafał Weron.

---

1. Probleemstelling

Operatieve beslissingen in de energiemarkt vereisen vaak voorspellingen op verschillende niveaus van detail en granulariteit (bijv. uurlijkse prijzen versus blokproducten van 2 tot 24 uur). Traditionele modellen voorspellen deze niveaus vaak onafhankelijk van elkaar, wat kan leiden tot inconsistente voorspellingen die niet met elkaar in overeenstemming zijn. Dit gebrek aan coherentie kan leiden tot suboptimale handelsbeslissingen.

Hoewel forecast reconciliation (het afstemmen van voorspellingen) en Temporal Hierarchy Forecasting (THieF) al langer worden onderzocht in andere domeinen, is deze methode nog niet toegepast op de voorspelling van elektriciteitsprijzen (EPF). Bovendien ontbreekt er onderzoek naar de toepassing van THieF met geavanceerde, moderne modelarchitecturen zoals foundation models.

2. Methodologie

De auteurs introduceren en testen het Temporal Hierarchy Forecasting (THieF) concept voor de dag-voor-dag voorspelling van elektriciteitsprijzen in twee grote Europese markten: Duitsland (EPEX-DE) en Spanje (OMIE).

A. Data en Testperiode

• Periode: Een uitdagende testperiode van 4 jaar (2021-2024), die de COVID-19-pandemie, de Russische invasie van Oekraïne en extreme schommelingen in aardgasprijzen omvat.
• Data: Uurlijkse dag-voor-dag prijzen, lastprognoses, windgeneratieprognoses, en futuresprijzen voor kolen en aardgas.
• Trainingsset: 2018-2020 (rolvensterbenadering).

B. Het THieF-raamwerk

Het proces verloopt in drie stappen:

1. Temporele aggregatie: Het creëren van niet-overlappende tijdsreeksen op verschillende niveaus (bijv. 1 uur, 2 uur, ..., 24 uur/baseload).
2. Basisvoorspellingen: Het genereren van onafhankelijke basisvoorspellingen voor elk aggregatieniveau.
3. Reconciliatie: Het combineren van deze voorspellingen tot een coherent geheel waarbij informatie uit verschillende niveaus wordt benut. Dit gebeurt via een gewogen sommatie waarbij de voorspellingen worden "gereconcilieerd" om de foutcovariantie te minimaliseren.

De auteurs gebruiken een sommatiematrix (S) die de relatie tussen uurlijkse data en geaggregeerde blokken definieert. Voor de reconciliatie wordt een regularisatie-methode voor de covariantiematrix gebruikt (constant correlation shrinkage volgens Ledoit & Wolf, 2004) om overfitting te voorkomen, gezien het aantal parameters groter is dan het aantal steekproeven.

C. Gebruikte Modellen (Basisvoorspellers)

Om de veelzijdigheid te testen, werden vier verschillende modelklassen gebruikt voor de basisvoorspellingen:

1. ARX (AutoRegression with eXogenous inputs): Een lineair regressiemodel (expert-model) gebaseerd op klassieke statistiek.
2. NARX (Nonlinear ARX): Een ondiep feedforward neurale netwerk (5 verborgen neuronen) met hyperbolic tangent activatie.
3. XGB (eXtreme Gradient Boosting): Een ensemble van gradient-boosted decision trees, geoptimaliseerd met Bayesian sequential optimization.
4. Mitra: Een state-of-the-art, voorgetrainde tabulaire foundation model van Amazon (AutoGluon) gebaseerd op een 12-laags transformer-architectuur (72 miljoen parameters). Dit model werkt in "zero-shot" modus zonder finetuning.

Alle modellen voorspellen de prijs als een functie van 20 kenmerken, waaronder vertraagde prijzen, last, wind, en fossiele brandstofprijzen.

3. Belangrijkste Resultaten

De studie toont aan dat THieF de voorspellingnauwkeurigheid significant verbetert voor alle modelarchitecturen en op alle aggregatieniveaus.

• Nauwkeurigheidswinst:
  • Voor uurlijkse prijzen (1H): Tot 5,5% verbetering in RMSE (vooral bij XGB).
  • Voor baseload prijzen (24H): Tot 13,4% verbetering in RMSE.
  • De winst neemt toe naarmate de blok-grootte toeneemt, wat relevant is gezien de toename van blokhandelsproducten in Europa.
• Statistische Significantie: De verbeteringen zijn statistisch significant (geëvalueerd met de multivariate Diebold-Mariano test) voor bijna alle gevallen, met name in de Duitse markt. In de Spaanse markt zijn de resultaten iets minder robuust, maar over het algemeen nog steeds positief.
• Modelonafhankelijkheid: De methode werkt consistent goed, ongeacht of het model simpel is (lineaire regressie) of extreem complex (Transformer). Dit is een sterk bewijs voor de universaliteit van THieF.
• Berekeningskosten: De reconciliatie zelf heeft een verwaarloosbare rekentijd. De totale rekentijd stijgt met ongeveer een factor 2,5 (door het trainen van modellen op meerdere aggregatieniveaus), wat in de context van dag-voor-dag voorspelling als een kleine overhead wordt beschouwd.

4. Bijdragen en Betekenis

• Eerste toepassing in EPF: Dit is het eerste onderzoek dat THieF toepast op elektriciteitsprijzen, een domein waar dit concept eerder niet was gebruikt.
• Integratie van Foundation Models: De auteurs zijn de eersten die een voorgetrainde foundation model (Mitra) gebruiken voor zowel EPF als voor temporele hiërarchieën. Ze tonen aan dat zelfs geavanceerde AI-modellen baat hebben bij reconciliatie.
• Praktische relevantie: Gezien de toenemende complexiteit van de Europese energiemarkt (overgang naar 15-minuten handel en meer blokproducten), biedt THieF een universeel instrument om coherentie en nauwkeurigheid te garanderen.
• Theoretische inzicht: De resultaten bevestigen dat zelfs als basismodellen misspecificaties bevatten (wat altijd het geval is), het combineren van verschillende tijdschalen via THieF deze fouten kan corrigeren en de voorspelling robuuster maakt.

Conclusie

De auteurs raden aan om THieF standaard toe te passen in de dagelijkse voorspelling van elektriciteitsprijzen. De methode levert een aanzienlijke "gratis" nauwkeurigheidswinst op zonder significante extra kosten, en werkt effectief over een breed spectrum van modellen en marktomstandigheden. Dit maakt het een essentiële techniek voor marktdeelnemers die te maken hebben met de toenemende complexiteit van blokproducten en volatiliteit.