A Deep Learning Framework for Heat Demand Forecasting using Time-Frequency Representations of Decomposed Features

Deze studie presenteert een nieuw deep learning-kader voor dagelijkse warmtevraagvoorspelling dat gebruikmaakt van tijds-frequentierepresentaties via de Continuous Wavelet Transform, wat leidt tot een aanzienlijke verbetering van de voorspellingsnauwkeurigheid en robuustheid in vergelijking met bestaande methoden.

De kern

🌡️ De "Weer-voorspeller" voor Warmte: Hoe een slimme computer de verwarming van een stad regelt

Stel je voor dat je een enorme stad hebt die wordt verwarmd door één groot net van buizen (een stadsverwarmingssysteem). De uitdaging is als volgt: je moet precies weten hoeveel warmte er nodig is, uur per uur, voor de komende dag.

• Als je te weinig warmte produceert, bevriezen de mensen.
• Als je te veel warmte produceert, gooi je kostbare energie (en geld) weg en vervuil je de lucht onnodig.

Vroeger deden mensen dit op basis van ervaring of simpele regels: "Als het koud is, draai de ketel hoger." Maar het weer is onvoorspelbaar en mensen hebben hun eigen ritme (werk, school, feestdagen). Het is alsof je probeert het gedrag van duizenden mensen tegelijk te raden.

De auteurs van dit paper hebben een nieuwe, slimme manier bedacht om dit probleem op te lossen. Ze noemen het een "Deep Learning Framework", maar laten we het zien als een super-slimme voorspeller.

---

1. Het Probleem: Het is niet alleen "koud of warm"

Stel je voor dat je probeert een liedje te herkennen door alleen naar de hoogte van de golven te kijken (de tijd). Dat is lastig. Een liedje heeft ook een ritme en een toonhoogte.
In de warmtevoorziening gebeurt hetzelfde. De vraag naar warmte is niet alleen een rechte lijn die omhoog of omlaag gaat. Het heeft:

• Trends: Langzaam warmer worden in de winter.
• Ritmes: Elke ochtend een piek (mensen douchen), elke avond een piek, en 's nachts dalen.
• Storingen: Soms is er een plotselinge piek omdat er een feest is, of een dip omdat de zon schijnt.

De oude methoden keken alleen naar de "tijdslijn" (hoeveel warmte was er gisteren?). Ze misten de diepere patronen.

2. De Oplossing: De "Spectrograaf" van Warmte

De onderzoekers hebben een trucje bedacht. In plaats van alleen te kijken naar wanneer de warmte gebruikt werd, kijken ze naar hoe de warmte zich gedraagt in de tijd én in de frequentie.

Ze gebruiken een wiskundig hulpmiddel genaamd CWT (Continue Wavelet Transformatie).

• De Analogie: Stel je voor dat je een muziekstuk luistert. Een normale opname toont alleen de volume-uitbarstingen in de tijd. Maar een spectrograaf (zoals je die in muzieksoftware ziet) toont ook de tonen en het ritme tegelijkertijd.
• Ze nemen de data van de warmteverbruikers en het weer en zetten dit om in een kleurrijke kaart (een "scalogram"). Op deze kaart zie je niet alleen de lijn, maar ook de "golven" en patronen erin, net als een vingerafdruk van de warmtebehoefte.

3. De "Camera" die de patronen herkent

Vervolgens geven ze deze kleurrijke kaarten aan een Convolutional Neural Network (CNN).

• De Analogie: Dit is hetzelfde type computerprogramma dat wordt gebruikt om foto's te herkennen (bijvoorbeeld: "Is dit een kat of een hond?").
• In dit geval leert de computer niet om katten te zien, maar om patronen in de warmte te zien. Omdat ze de data als een "foto" (kaart) hebben omgezet, kan de computer heel goed zien: "Ah, als de temperatuur zo daalt én het is dinsdag, dan komt er over 3 uur een piek."

4. Wat hebben ze ontdekt? (De Grote Drie)

Door met deze nieuwe methode te spelen, hebben ze drie belangrijke dingen ontdekt:

1. Splitsen is krachtig: Ze hebben de data opgesplitst in drie delen: de lange termijn trend (winter vs. zomer), het ritme (dag/nacht) en de rest (het onverwachte). Door deze los te koppelen, wordt het voor de computer veel makkelijker om te leren. Het is alsof je een rommelige kamer opruimt voordat je gaat studeren; je ziet de boodschap veel duidelijker.
2. Het weer is koning: De temperatuur is veruit de belangrijkste factor. Maar niet zomaar de temperatuur, maar hoe die zich gedraagt in de tijd.
3. Geen saaie kalenders: Verrassend genoeg helpt het niet om de computer expliciet te vertellen "het is vandaag dinsdag". De computer leert dat ritme zelf uit de data (de "foto"). Als je het er toch bijzet, wordt het juist verwarrend.

5. De Resultaten: Een flinke winst

Ze hebben hun nieuwe methode getest tegen de beste bestaande methoden (zoals oude statistische formules en moderne AI-modellen).

• Het resultaat: Hun nieuwe methode maakt 36% tot 43% minder fouten dan de beste concurrenten.
• Betrouwbaarheid: Waar andere modellen soms in paniek raken bij plotselinge veranderingen (zoals een feestdag of een storm), blijft hun model kalm en voorspelt het de pieken en dalen heel nauwkeurig.
• Toepassing: Dit betekent dat energieleveranciers minder warmte hoeven te "voorraad houden" als reserve. Ze kunnen de ketels preciezer aansturen, wat geld bespaart en de CO2-uitstoot verlaagt.

Samenvattend

De onderzoekers hebben een manier gevonden om de "ziel" van de warmtevraag te zien. Door de data om te zetten in een soort visuele kaart (in plaats van een simpele lijn), kan een slimme computer de complexe dans tussen weer, mensen en warmte veel beter voorspellen dan ooit tevoren.

Het is alsof ze van een blindeman die op een muur tikt, een muzikant hebben gemaakt die het hele orkest kan horen en voorspellen wat er als volgende gespeeld wordt.

Technische samenvatting

Probleemstelling

Districtverwarmingssystemen (DHS) zijn essentieel voor een duurzame warmtevoorziening, maar hun efficiënte beheer vereist een nauwkeurige balans tussen aanbod en vraag. De huidige uitdagingen bij het voorspellen van warmtevraag zijn:

• Complexiteit: Warmtevraag vertoont niet-lineaire patronen, afhankelijk van externe factoren (weer, kalender) en interne dynamiek.
• Beperkingen van bestaande modellen: Traditionele statistische methoden (zoals SARIMAX) en eerdere deep learning-architecturen (zoals LSTM of standaard Transformers) worstelen vaak met het modelleren van lange-termijn afhankelijkheden, hoge frequentie volatiliteit en seizoensgebonden overgangen.
• Data-fragmentatie: Veel bestaande studies gebruiken korte datasets of homogene gebruikersgroepen, wat de robuustheid en generaliseerbaarheid van de modellen in de echte wereld beperkt.
• Kenmerkende uitdaging: Het voorspellen van pieken en overgangsmomenten (bijv. weekenden, feestdagen) blijft moeilijk voor bestaande systemen, wat leidt tot inefficiënties en hogere CO2-uitstoot.

Methodologie

De auteurs stellen een nieuw deep learning-framework voor dat de voorspellingsproblematiek herformuleert door tijdreeksen om te zetten in tijd-frequentie representaties.

1. Dataverwerking en Preprocessing:

• Data: Gebruik van vier jaar uurlijkse data uit drie District Metered Areas (DMA's) in Brønderslev (Denemarken), aangevuld met openbare datasets uit Flensburg (Duitsland) en Aalborg (Denemarken).
• Outlier-handling: Toepassing van Savitzky-Golay smoothing op gestudentiseerde residuen om fysisch onmogelijke waarden en seizoensgebonden outliers te corrigeren.
• Feature Decompositie: De tijdreeksen (verbruik en weersvariabelen) worden ontleed in drie componenten: Trend, Seizoenscomponent en Residuen.
  • Verbruiksdata wordt ontleed in alle drie de componenten.
  • Weersdata wordt ontleed in trend en residuen (seizoenscomponent wordt weggelaten omdat deze al in de historische vraag zit).

2. Feature Representatie (Continuous Wavelet Transform - CWT):

• In plaats van ruwe tijdreeksen in te voeren, worden de geselecteerde features (verbruikslags, temperatuur, etc.) getransformeerd naar 2D scalogrammen via de Continuous Wavelet Transform (CWT).
• Dit creëert een "beeldachtige" input (24x24 pixels per feature) die zowel tijds- als frequentie-informatie lokaliseert. Dit stelt het model in staat om periodieke patronen en lokale fluctuaties te zien die in de tijd-domein verborgen blijven.

3. Model Architectuur (Wavelet-CNN):

• Input: Een 3D-tensor samengesteld uit de gescalde scalogrammen van meerdere features.
• Convolutie: Een stack van drie 2D-convolutielagen (met respectievelijk 32, 64 en 128 filters) met ReLU-activering.
  • Belangrijk design-besluit: Er worden geen pooling-lagen gebruikt. Dit behoudt de hoge resolutie en fase-informatie, wat cruciaal is voor het nauwkeurig voorspellen van het tijdstip van pieken (bijv. 's ochtends).
• Dense Layers: De geflatteerde output wordt verwerkt door een Multi-Layer Perceptron (MLP) met twee verborgen lagen van 1024 neuronen (Leaky ReLU) en een Dropout-laag (0.1) om overfitting te voorkomen.
• Output: Een vector van 24 uur voor de dagelijkse voorspelling.

4. Experimenteel Ontwerp:

• Feature Engineering: Systematische evaluatie van endogene (verbruik) en exogene (weer, kalender) features.
• Benchmarking: Vergelijking met statistische modellen (SARIMAX), machine learning (XGBoost), RNN's (LSTM), moderne Transformers (Informer, Autoformer, PatchTST, TimesNet) en foundation models (TTM, Chronos-2).
• Validatie: Gebruik van een rolling-block strategie over meerdere jaren om temporaliteit en stabiliteit te testen.

Belangrijkste Bijdragen

1. Novel Framework: Introductie van een deep learning-architectuur die CWT en CNN's combineert om warmtevraag te voorspellen via tijd-frequentie representaties, in plaats van puur tijd-domein data.
2. Systematische Feature Analyse: Een grondig inzicht in de impact van ontbonden componenten (trend/seizoen/residu) en de selectie van de beste weersvariabelen. De studie toont aan dat ontbinding de prestaties aanzienlijk verbetert en redundantie in ruwe data vermindert.
3. Uitgebreide Benchmarking: Een van de meest uitgebreide vergelijkingen tot nu toe, uitgevoerd op multi-jaar data van diverse locaties, inclusief de evaluatie van nieuwe foundation models.
4. Robuustheid: Het model is getest op heterogene datasets en toont superioriteit bij het voorspellen van volatiliteit en pieken.

Resultaten

• Prestatieverbetering: Het voorgestelde model reduceert de Mean Absolute Error (MAE) met 36% tot 43% ten opzichte van de sterkste baselines (zoals TimeMixer en DLinear).
  • Voorbeeld: In DMA A daalde de MAE van ~173 kWh (TimeMixer) naar 99,76 kWh.
• Nauwkeurigheid: Het model bereikt een voorspellingsnauwkeurigheid van tot wel 95% op jaarlijkse testdatasets.
• Piekvolging: In kwalitatieve analyses (bijvoorbeeld tijdens volatiele weken) slaagt het model erin om de scherpe pieken en dalen nauwkeurig te volgen, terwijl andere modellen (zoals Transformers) vaak te gladde voorspellingen geven of fasevertragingen vertonen.
• Feestdagen: Hoewel de algemene verbetering door feestdagen-features marginaal lijkt in totale metrics, verbetert het model specifiek de voorspelling tijdens zeldzame gebeurtenissen (zoals Kerst) aanzienlijk, zonder de prestaties op normale dagen te verslechteren.
• Stabiliteit: Langitudinale tests over zeven jaar tonen aan dat het model zijn prestaties behoudt en zelfs verbetert naarmate er meer historische data beschikbaar komt.

Betekenis en Toekomstperspectief

Deze studie biedt een operationeel robuuste oplossing voor districtverwarmingssystemen. Door de voorspellingsonzekerheid te minimaliseren, kunnen beheerders:

• De aanvoertemperatuur van het net verlagen (minder warmteverlies), wat direct bijdraagt aan decarbonisatie.
• De integratie van fluctuerende hernieuwbare energiebronnen optimaliseren.
• Betere planningsbeslissingen nemen voor ketels en warmtepompen.

De bevindingen tonen ook aan dat voor specifieke, hoogfrequente voorspellingsopgaven niet per se enorme foundation modellen nodig zijn; een goed ontworpen, lichtgewicht architectuur met geavanceerde feature-engineering (tijd-frequentie transformatie) kan superieure resultaten leveren. Toekomstig werk richt zich op het verbeteren van de voorspelling van zeldzame, niet-terugkerende gebeurtenissen en het integreren van nog meer contextuele data (zoals schoolkalenders of evenementen).