Sintesi Tecnica: Previsione della Domanda Elettrica a Breve Termine per la Nuova Inghilterra Utilizzando un Framework Ibrido Transformer–XGBoost

1. Definizione del Problema

La previsione accurata della domanda elettrica a breve termine è fondamentale per gli operatori dei sistemi elettrici per gestire il dispacciamento in tempo reale, l'impegno delle unità (unit commitment) e il clearing del mercato energetico. Sebbene i metodi statistici classici (ad es. ARIMA) e gli approoli moderni di machine learning (ad es. XGBoost, LSTM, Transformer) siano stati ampiamente applicati, la previsione rimane una sfida in regioni con alta sensibilità meteorologica e interruzioni strutturali della domanda.

Questo studio affronta le sfide specifiche del mercato elettrico della Nuova Inghilterra (ISO-NE), caratterizzato da estreme variazioni stagionali meteorologiche e dai cambiamenti strutturali del comportamento causati dalla pandemia di COVID-19 (2020–2022). Una lacuna critica identificata è l'incertezza riguardo al valore predittivo degli indicatori epidemiologici (conteggi dei casi, tassi di mortalità) man mano che l'adattamento comportamentale progredisce dalla fase acuta della pandemia a un periodo di stabilizzazione post-acuta. Il documento indaga se un'architettura ibrida che combina il deep learning per l'estrazione di feature temporali con il gradient boosting per la predizione tabulare offra un'accuratezza superiore rispetto a un robusto baseline basato solo su dati tabulari, e come l'utilità delle feature dell'era pandemica evolva nel tempo.

2. Metodologia

Dati e Ingegneria delle Feature

Lo studio utilizza dati giornalieri sulla domanda elettrica per l'area di controllo della Nuova Inghilterra dal 1° febbraio 2020 al 23 marzo 2023. La pipeline di ingegneria delle feature integra:

• Osservazioni Meteorologiche: 16 variabili giornaliere (temperatura max/media/min, punto di rugiada, umidità, velocità del vento, pressione, precipitazioni) da sei città che rappresentano tutti i sei stati della Nuova Inghilterra (Boston, Bridgeport, Burlington, Concord, Portland, Providence), producendo 96 feature meteorologiche grezze.
• Indicatori Calendari e Stagionali: Flag binari per festività, weekend, giorni lavorativi e "giorni ponte", insieme a variabili continue per giorno della settimana, giorno dell'anno e stagione.
• Lag Autoregressivi: Lag della domanda a 1, 7, 14 e 30 giorni per catturare persistenza e stagionalità.
• Indicatori Epidemiologici: Otto feature derivate dai conteggi di casi e decessi per COVID-19, inclusi conteggi giornalieri grezzi, medie mobili a 7 e 14 giorni e tassi di crescita percentuale giornalieri.

Architettura del Modello

Il framework proposto impiega un'architettura Ibrida Transformer–XGBoost:

1. Encoder Transformer: Elabora finestre scorrevoli (lunghezza $L=30$) di canali di serie temporali (8 feature COVID + 4 lag della domanda). Utilizza l'encoding posizionale sinusoidale, 4 teste di attenzione e due strati di encoder per produrre un vettore di embedding temporale a 32 dimensioni. Questo componente è progettato per catturare dipendenze temporali a lungo raggio e pattern di interazione complessi.
2. Regressor XGBoost: Prende in input la concatenazione del vettore di embedding del Transformer e l'intero set di feature tabulari (meteo, calendario, lag). È configurato con alberi poco profondi ($max\_depth=3$) e una forte regolarizzazione per prevenire l'overfitting.

Addestramento e Ottimizzazione

• Suddivisione dei Dati: Una divisione cronologica rigorosa (70% training, 15% validazione, 15% test) garantisce l'assenza di leakage temporale. Lo StandardScaler è adattato esclusivamente sul set di training.
• Ottimizzazione degli Iperparametri: Ottimizzazione Bayesiana utilizzando Optuna con un campionatore TPE (Tree-structured Parzen Estimator) multivariato su 500 tentativi. Un MedianPruner scarta precocemente i tentativi non promettenti.
• Metriche di Valutazione: Root Mean Squared Error (RMSE), Mean Absolute Percentage Error (MAPE) e Coefficiente di Determinazione ($R^2$). La significatività statistica delle differenze di performance è valutata tramite il test di Diebold-Mariano (DM) con correzione di Harvey-Leybourne-Newbold.
• Interpretabilità: Le spiegazioni SHapley Additive exPlanations (SHAP) sono utilizzate per quantificare i contributi delle feature e analizzare gli spostamenti temporali nell'importanza delle feature.

3. Risultati Chiave

Performance Predittiva

Entrambi i modelli hanno raggiunto un'elevata accuratezza sul set di test tenuto in riserva (ottobre 2022 – marzo 2023):

• Modello Ibrido: RMSE = 8.876 MWh, MAPE = 2,05%, $R^2$ = 0,906.
• Baseline XGBoost-Only: RMSE = 9.304 MWh, MAPE = 2,21%, $R^2$ = 0,896.

Sebbene il modello ibrido abbia mostrato metriche leggermente migliori, il test di Diebold-Mariano ($DM = -1,126, p = 0,262$) ha confermato che la differenza di 427,7 MWh nell'RMSE è statisticamente indistinguibile dal rumore. Pertanto, le due architetture sono considerate statisticamente equivalenti in termini di accuratezza predittiva per questo dataset.

Importanza delle Feature e Ablation

• Dominanza dei Lag: I lag autoregressivi della domanda (particolarmente il lag a 1 giorno) sono stati le feature più critiche. Rimuoverli ha aumentato l'RMSE del test di circa il 15–18% in entrambi i modelli.
• Meteo e Calendario: Queste feature da sole hanno spiegato circa l'84–85% della varianza della domanda ($R^2 \approx 0,84$).
• Embedding del Transformer: La rimozione degli embedding del Transformer ha degradato l'RMSE del test del modello ibrido del 7,4%, confermando che catturano una reale struttura temporale, sebbene il guadagno marginale rispetto al baseline tabulare sia modesto.
• Feature COVID-19 (L'Asimmetria):
  • Periodo di Training: Le feature COVID hanno migliorato l'accuratezza del training (la loro rimozione ha aumentato l'RMSE di training del 2,5% per XGBoost-only).
  • Periodo di Test: L'effetto è stato asimmetrico. La rimozione delle feature COVID ha migliorato l'RMSE del test di XGBoost-only dell'1,2%, ma ha degradato l'RMSE del test del modello ibrido del 3,2%.
  • Analisi SHAP: Un risultato cruciale ha rivelato che 5 delle 8 feature COVID sono state classificate con un'importanza maggiore (erano ritenute più importanti) dal modello ibrido nel set di test post-acuto rispetto al set di training durante la fase pandemica attiva. Ciò indica che il modello ha sovra-applicato i pattern pandemici appresi a un periodo in cui le risposte comportamentali si erano normalizzate, portando a errori sistematici.

4. Significato e Rivendicazioni

Il documento stabilisce che, sebbene le architetture ibride di deep learning possano catturare la dinamica temporale, non producono necessariamente guadagni di accuratezza statisticamente significativi rispetto ai modelli di gradient boosting ben ottimizzati quando sono disponibili ricche feature tabulari.

Il contributo centrale di questo lavoro è l'identificazione del decadimento della validità temporale come meccanismo per l'errore di previsione. Lo studio dimosta che le feature epidemiologiche, pur essendo altamente informative durante la fase di interruzione acuta (2020–2021), sono diventate rumore controproducente nella fase post-acuta (tardo 2022–2023) perché i driver comportamentali (lockdown, mandati di lavoro da remoto) che collegavano le metriche virali alla domanda elettrica si erano dissipati.

Gli autori concludono che:

1. Parsimonia Operativa: Per la previsione della domanda giornaliera in questo contesto, un modello XGBoost-only puramente tabulare è una scelta operativa competitiva, offrendo un'accuratezza simile al modello ibrido con una minore complessità di implementazione.
2. Gestione del Ciclo di Vita delle Feature: Le feature epidemiologiche dovrebbero essere soggette a limitazioni temporali o ritirate una volta completato l'adattamento comportamentale. Fare affidamento su di esse dopo la fase acuta della pandemia porta all'overfitting su pattern obsoleti, un fenomeno rilevabile tramite l'analisi temporale SHAP dove l'importanza delle feature aumenta nonostante la diminuzione dell'utilità predittiva.
3. Driver Comportamentali vs. Virologici: Lo studio chiarisce che la risposta della domanda al COVID è stata guidata dalle interruzioni comportamentali piuttosto che dai soli tassi di trasmissione virale; una volta normalizzato il comportamento, la correlazione tra conteggi dei casi e domanda si è interrotta, indipendentemente dalla continua circolazione virale.