A Temporal Deep Feature Transfer Hybrid of LSTM and Gradient Boosting Machine for Multi Granularity Smart Grid Electricity Demand Forecasting

Technische Samenvatting: Een Temporele Diepe Feature Transfer Hybride van LSTM en Gradient Boosting Machine voor Multi-Granulariteit Slimme Net Elektriciteitsvraagvoorspelling

Probleemstelling
Nauwkeurige voorspelling van de elektriciteitsvraag over verschillende temporele granulariteiten (dagelijks en maandelijks) is cruciaal voor het efficiënt beheer van slimme netten (smart grids), wat invloed heeft op generatie-dispatch, transmissiebeheer en demand response. Bestaande methoden worden echter geconfronteerd met aanzienlijke uitdagingen bij het voorspellen van heterogene consumentengroepen (bijv. landbouw, commercieel, industrieel, residentieel, straatverlichting).

• Klassieke Beperkingen: Traditionele statistische modellen zoals ARIMA, Exponential Triple Smoothing (ETS) en Weighted Moving Average (WMA) vertrouwen op aannames van lineariteit en stationariteit. Deze aannames worden in smart grid-data vaak geschonden door niet-lineair consumentengedrag, industriële cycli en categorie-specifieke heterogeniteit. De studie merkt op dat deze methoden hoge foutmarges opleveren, met MAPE-waarden die in bepaalde scenario's oplopen van 340% tot boven de 550%.
• Beperkingen van Deep Learning: Hoewel Long Short-Term Memory (LSTM) netwerken uitblinken in temporele modellering, maken standaard hybride benaderingen vaak gebruik van ruwe features of scalaire outputs van de laatste laag van de LSTM om direct naar downstream regressoren (zoals Gradient Boosting Machines) te voeren. Deze aanpak slaagt er niet in om de rijke temporele informatie die is gecodeerd in de intermediaire lagen van de LSTM volledig te benutten, wat leidt tot suboptimale regressieprecisie.

Methodologie: De TDF-LSTGBM Architectuur
Het artikel stelt TDF-LSTGBM voor, een nieuw tweestaps supervised learning-pipeline ontworpen om de leerprocessen van temporele representatie te ontkoppelen van de uiteindelijke regressie. De kerninnovatie is een Temporal Deep Feature Transfer (TDF) mechanisme.

1. Fase 1: Stacked LSTM Temporal Encoder (Feature Extractie)

   • Architectuur: Een stacked LSTM-encoder bestaande uit twee lagen, elk met 32 verborgen eenheden en een dropout-ratio van 0,3.
   • Training: Het model wordt vooraf getraind met de Adam-optimizer (leersnelheid 0,001) op genormaliseerde vraagdata met een Mean Squared Error (MSE) verliesfunctie gedurende 300 epochs.
   • TDF Extractie: In plaats van de uiteindelijke scalaire output te gebruiken, extraheert de architectuur de activatievector van de penultimate dense layer (een 32-dimensionale vector, $\phi_i$). Deze vector vat de geleerde temporele patronen, seizoensafhankelijkheden en vraagdynamiek samen.
   • Sequentie Constructie: Data wordt verwerkt met behulp van sliding windows ($W=12$ voor maandelijks, $W=7$ voor dagelijks) om gesuperviseerde input-output paren te creëren.

2. Fase 2: Gradient Boosting Machine (GBM) Regressor

   • Feature Augmentatie: De 32-dimensionale temporele feature vector ($\phi_i$) wordt geconcateneerd met exogene categorische en temporele variabelen: Consumentencategorie (gecodeerd als gehele getallen 0–4), Jaar en Maandindex. Dit creëert een geaugmenteerde 35-dimensionale inputvector ($z_i$).
   • Regressie: Een Gradient Boosting Machine (GBM) met 100 ondiepe beslissingsbomen (max diepte 3) en een leersnelheid van 0,1 voert de uiteindelijke regressie uit. De GBM corrigeert residuen en maakt gebruik van de gestructureerde feature-ruimte om niet-lineariteiten aan te pakken die de LSTM alleen mogelijk zou missen.

3. Data Generatie en Validatie

   • De studie maakt gebruik van twee datasets gegenereerd via MATLAB-simulatie om realistische smart grid-vraag voor vijf consumentencategorieën te representeren.
   • Dagelijkse Dataset: 2.040 records per dag.
   • Maandelijkse Dataset: 1.066 records per maand.
   • De data wordt chronologisch gesplitst (80/20) om temporele causaliteit te waarborgen.

Belangrijkste Bijdragen

• Penultimate-Layer Transfer: De primaire nieuwheid is de extractie van de LSTM's penultimate-layer activatie als een gestructureerde feature vector voor transfer naar een GBM. Dit verschilt van eerdere hybriden die ruwe inputs of scalaire outputs gebruiken.
• Multi-Granulariteit Pipeline: Het framework handelt zowel dagelijkse als maandelijkse voorspellingen succesvol af binnen één architecturaal paradigma zonder dat hiervoor afzonderlijke model-tuning vereist is.
• Categorie-geconditioneerde Voorspelling: Het model incorporeert expliciet consumentencategorie-labels en temporele indices, waarmee de heterogeniteit van vraagpatronen over verschillende sectoren (bijv. landbouw versus industrie) wordt geadresseerd.
• Lange-termijn Projectie: De architectuur ondersteunt stabiele, categorie-geconditioneerde 5-jarige projecties (2026–2031), die direct toepasbaar zijn op infrastructuurplanning.

Resultaten
Het TDF-LSTGBM model werd geëvalueerd tegen vijf baselines: ARIMA, WMA, ETS, Vanilla LSTM en een standaard LSTM+XGBoost hybride.

• Prestatie-metrieken:
  • MAPE: Het voorgestelde model bereikte een 3,64% MAPE voor dagelijkse voorspelling en 3,66% voor maandelijkse voorspelling.
  • Vergelijking: Dit vertegenwoordigt een 14,2× verbetering ten opzien van de beste klassieke baseline (ARIMA, ~51,96% MAPE). Het presteerde ook beter dan de Vanilla LSTM (7,68% MAPE) met een factor 2,1× en de standaard LSTM+XGBoost (6,12% MAPE) met een factor 1,7×.
  • RMSE/MAE: Het model bereikte een RMSE van 0,0873 en een MAE van 0,0283 over beide granulariteiten, wat de cross-resolutie stabiliteit aantoont.
• Visuele Analyse: De forecast plots geven aan dat het model de werkelijke vraag nauwgezet volgt, inclus[ief] piekgebeurtenissen, zonder de progressieve foutaccumulatie die bij andere modellen wordt gezien. De GBM-fase corrigeert effectief de piek-onderschattingen die gebruikelijk zijn bij pure LSTM-modellen.
• Ablatie: De studie bevestigt dat elk component (de penultimate layer transfer, de specifieke GBM-hyperparameters en de feature augmentatie) uniek bijdraagt aan de uiteindelijke nauwkeurigheid.

Betekenis en Claims
Het artikel claimt dat TDF-LSTGBM kritieke hiaten in huidige smart grid-voorspellingen aanpakt door systematisch multi-granulariteit tijdreeksen en consumentencategorie-disaggregatie te behandelen. Door diepe temporele features in plaats van scalaire outputs te transfereren, bereikt het model een superieure precisie in heterogene omgevingen waar klassieke lineaire modellen falen.

De auteurs positioneren het model als een robuust instrument voor infrastructuurplanning en demand response scheduling, bewezen door het vermogen om stabiele 5-jarige projecties zonder drift te genereren. De studie erkent beperkingen, waaronder het gebruik van gesimuleerde data, de afwezigheid van meteorologische variabelen in de huidige feature set, en het feit dat de scope beperkt is tot de context van één enkel land. Toekomstig werk stelt voor om weer variabelen te integreren, self-attention mechanismen op te nemen en federated learning-architecturen te verkennen voor privacy-bewuste voorspelling.