A Temporal Deep Feature Transfer Hybrid of LSTM and Gradient Boosting Machine for Multi Granularity Smart Grid Electricity Demand Forecasting

Sintesi Tecnica: Un Ibrido di Trasferimento di Caratteristiche Profonde Temporali tra LSTM e Gradient Boosting Machine per la Previsione della Domanda Elettrica in Smart Grid a Granularità Multipla

Problema
La previsione accurata della domanda elettrica attraverso varie granularità temporali (giornaliera e mensile) è fondamentale per la gestione efficiente delle smart grid, influenzando la gestione della generazione, la gestione della trasmissione e la risposta alla domanda. Tuttavia, i metodi esistenti affrontano sfide significative quando si prevede gruppi di consumatori eterogenei (ad esempio, agricoli, commerciali, industriali, residenziali, illuminazione stradale).

• Limitazioni Classiche: I modelli statistici tradizionali come ARIMA, l'Exponential Triple Smoothing (ETS) e la Weighted Moving Average (WMA) si basano su assunzioni di linearità e stazionarietà. Queste assunzioni sono frequentemente violate nei dati delle smart grid a causa dei comportamenti non lineari dei consumatori, dei cicli industriali e dell'eterogeneità a livello di categoria. Lo studio rileva che questi metodi producono tassi di errore elevati, con valori MAPE che superano il 340% o addirittura oltre il 550% in determinati scenari.
• Limitazioni del Deep Learning: Le reti Long Short-Term Memory (LSTM) eccellono nella modellazione temporale, tuttavia gli approcci ibridi standard spesso alimentano i regressori a valle (come i Gradient Boosting Machines) direttamente con le caratteristiche grezze o con gli output scalari dell'ultimo strato della LSTM. Questo approccio non riesce a sfruttare appieno le ricche informazioni temporali codificate negli strati intermedi della LSTM, portando a una precisione di regressione sub-ottimale.

Metodologia: L'Architettura TDF-LSTGBM
Il documento propone TDF-LSTGBM, una nuova pipeline di apprendimento supervisionato in due fasi progettata per disaccoppiare l'apprendimento della rappresentazione temporale dalla regressione finale. L'innovazione principale è un meccanismo di Trasferimento di Caratteristiche Profonde Temporali (TDF).

1. Fase 1: Codificatore Temporale Stacked LSTM (Estrazione delle Caratteristiche)

   • Architettura: Un codificatore LSTM impilato (stacked) composto da due strati, ciascuno con 32 unità nascoste e un tasso di dropout di 0,3.
   • Addestramento: Il modello è pre-addestrato utilizzando l'ottimizzatore Adam (learning rate 0,001) su dati di domanda normalizzati con una funzione di perdita Mean Squared Error (MSE) per 300 epoche.
   • Estrazione TDF: Invece di utilizzare l'output scalare finale, l'architettura estrae il vettore di attivazione dallo strato denso penultimo (un vettore a 32 dimensioni, $\phi_i$). Questo vettore incapsula i pattern temporali appresi, le dipendenze stagionali e le dinamiche della domanda.
   • Costruzione delle Sequenze: I dati vengono elaborati utilizzando finestre scorrevoli ($W=12$ per il mensile, $W=7$ per il giornaliero) per creare coppie input-output supervisionate.

2. Fase 2: Regressore Gradient Boosting Machine (GBM)

   • Aumento delle Caratteristiche: Il vettore delle caratteristiche temporali a 32 dimensioni ($\phi_i$) viene concatenato con variabili esogene categoriche e temporali: Categoria di Consumatore (codificata come interi 0–4), Anno e Indice del Mese. Ciò crea un vettore di input aumentato a 35 dimensioni ($z_i$).
   • Regressione: Un Gradient Boosting Machine (GBM) con 100 alberi decisionali poco profondi (profondità massima 3) e un tasso di apprendimento di 0,1 esegue la regressione finale. Il GBM corregge i residui e sfrutta lo spazio delle caratteristiche strutturate per gestire le non-linearità che la sola LSTM potrebbe perdere.

3. Generazione dei Dati e Validazione

   • Lo studio utilizza due dataset generati tramite simulazione MATLAB per rappresentare la domanda realistica delle smart grid per cinque categorie di consumatori.
   • Dataset Giornaliero: 2.040 record al giorno.
   • Dataset Mensile: 1.066 record al mese.
   • I dati sono suddivisi cronologicamente (80/20) per preservare la causalità temporale.

Contributi Chiave

• Trasferimento dello Strato Penultimo: La principale novità è l'estrazione del vettore di attivazione dello strato penultimo della LSTM come vettore di caratteristiche strutturate per il trasferimento a un GBM. Questo differisce dai precedenti ibridi che utilizzano input grezzi o output scalari finali.
• Pipeline a Granularità Multipla: Il framework gestisce con successo sia la previsione giornaliera che quella mensile all'interno di un singolo paradigma architettonico senza richiedere una sintonizzazione distinta per ogni granularità.
• Previsione Condizionata alla Categoria: Il modello incorpora esplicitamente le etichette delle categorie di consumo e gli indici temporali, affrontando l'eterogeneità dei pattern di domanda tra diversi settori (ad esempio, agricolo vs industriale).
• Proiezione a Lungo Termine: L'architettura supporta proiezioni stabili a 5 anni (2026–2031) condizionate dalla categoria, direttamente applicabili alla pianificazione delle infrastrutture.

Risultati
Il modello TDF-LSTGBM è stato valutato rispetto a cinque baseline: ARIMA, WMA, ETS, Vanilla LSTM e un ibrido standard LSTM+XGBoost.

• Metriche di Performance:
  • MAPE: Il modello proposto ha ottenuto un MAPE del 3,64% per la previsione giornaliera e del 3,66% per quella mensile.
  • Confronto: Ciò rappresenta un miglioramento di 14,2× rispetto alla migliore baseline classica (ARIMA, ~51,96% MAPE). Ha inoltre superato la Vanilla LSTM (7,68% MAPE) di un fattore di 2,1× e lo standard LSTM+XGBoost (6,12% MAPE) di 1,7×.
  • RMSE/MAE: Il modello ha ottenuto un RMSE di 0,0873 e un MAE di 0,0283 in entrambe le granularità, dimostrando stabilità tra le risoluzioni.
• Analisi Visiva: I grafici delle previsioni indicano che il modello segue da vicino la domanda reale, inclusi gli eventi di picco, senza l'accumulo progressivo di errori visto in altri modelli. La fase GBM corregge efficacemente le sottostime dei picchi comuni nei modelli pure LSTM.
• Ablazione: Lo studio conferma che ogni componente (il trasferimento dello strato penultimo, gli iperparametri specifici del GBM e l'aumento delle caratteristiche) contribuisce in modo unico all'accuratezza finale.

Significato e Rivendicazioni
Il documento sostiene che TDF-LSTGBM colma lacune critiche nell'attuale previsione delle smart grid gestendo sistematicamente la serie temporale a granularità multipla e la disaggregazione per categoria di consumatore. Trasferendo le caratteristiche temporali profonde invece degli output scalari, il modello raggiunge una precisione superiore in ambienti eterogenei dove i modelli lineari classici falliscono.

Gli autori posizionano il modello come uno strumento robusto per la pianificazione delle infrastrutture e la programmazione della risposta alla domanda, come dimostrato dalla sua capacità di generare proiezioni a 5 anni stabili senza deriva. Lo studio riconosce i limiti, tra cui l'uso di dati simulati, l'assenza di variabili meteorologiche nel set di caratteristiche attuale e il fatto che l'ambito sia limitato al contesto di un singolo paese. Il lavoro futuro proposto prevede l'integrazione di variabili meteorologiche, l'inclusione di meccanismi di auto-attenzione (self-attention) ed esplorazione di architetture di apprendimento federato per la previsione che preservi la privacy.