Stealing Accuracy: Predicting Day-ahead Electricity Prices with Temporal Hierarchy Forecasting (THieF)

Questo studio dimostra che l'uso della previsione temporale gerarchica (THieF) per riconciliare le previsioni dei prezzi elettrici a breve termine e a blocchi migliora significativamente l'accuratezza in tutti i livelli di granularità, rendendola una pratica raccomandata per i mercati energetici tedeschi e spagnoli.

L'essenziale

🌟 Il "Trucco" per Prevedere il Prezzo dell'Elettricità: La Previsione a "Livelli Multipli"

Immagina di dover prevedere il prezzo dell'elettricità per il giorno dopo. È come cercare di indovinare il meteo, ma invece della pioggia, devi indovinare quanto costerà l'energia ogni singola ora.

Fino a poco tempo fa, gli esperti facevano una previsione per ogni ora (24 previsioni diverse al giorno). Il problema? A volte queste previsioni erano un po' "storte" o incoerenti tra loro. Era come se un meteorologo dicesse: "Alle 8:00 piove, alle 9:00 c'è il sole, alle 10:00 nevica", senza che tutto questo abbia un senso logico complessivo.

Gli autori di questo studio (Lipiecki e colleghi) hanno introdotto un metodo geniale chiamato THieF (Temporal Hierarchy Forecasting). Ecco come funziona, usando delle analogie semplici.

🧩 L'Analogia del Puzzle e della Foto Sgranata

Immagina di avere un puzzle di un paesaggio.

1. Il vecchio metodo: Provavi a indovinare ogni singolo tassello (ogni ora) separatamente. A volte un tassello sembrava fuori posto rispetto agli altri.
2. Il metodo THieF: Invece di guardare solo i tasselli singoli, guardi anche:
   • Le foto dei tasselli raggruppati a coppie (2 ore).
   • Le foto dei tasselli raggruppati in gruppi di 4, 8 o 12 ore.
   • E infine, guardi l'intera foto del giorno intero (la media delle 24 ore).

Perché è utile?
Se guardi la foto intera (il giorno intero), vedi chiaramente che è una "giornata di sole". Se guardi i tasselli singoli, potresti aver sbagliato a dire che alle 14:00 c'è un temporale.
Il metodo THieF prende tutte queste visioni diverse (l'ora singola, il blocco di 4 ore, il giorno intero) e le mescola insieme per correggere gli errori. È come se avessi tre amici che guardano lo stesso oggetto da angolazioni diverse: uno da vicino, uno da lontano e uno dall'alto. Se si consultano tra loro, la descrizione finale dell'oggetto sarà molto più precisa di quella di uno solo.

📉 Cosa hanno scoperto?

Gli scienziati hanno testato questo metodo sui mercati dell'energia di Germania e Spagna per 4 anni (un periodo molto difficile, con la pandemia e la guerra in Ucraina che hanno fatto impazzire i prezzi).

Hanno usato quattro tipi di "cervelli" diversi per fare le previsioni:

1. Un metodo classico e semplice (come una calcolatrice avanzata).
2. Una piccola rete neurale (un cervello artificiale semplice).
3. Un metodo potente basato su alberi decisionali (come un detective che fa molte domande).
4. Un "super-cervello" moderno chiamato Mitra (basato sull'intelligenza artificiale più recente, simile a quella che usa Amazon).

Il risultato?
Indipendentemente dal "cervello" usato, il metodo THieF ha sempre migliorato la precisione.

• Per le singole ore, l'errore è sceso fino al 5,5%.
• Per le medie giornaliere (i "blocchi" di 24 ore), l'errore è crollato fino al 13,4%.

È come se, invece di indovinare il prezzo dell'elettricità con un'incertezza di 100 euro, ora la indovinassimo con un'incertezza di soli 85 euro. Per chi compra e vende energia, questo è un risparmio enorme.

🚀 Perché è importante oggi?

Fino a poco tempo fa, in Europa si scambiava l'elettricità solo "a ore". Ma le regole stanno cambiando: presto si potrà scambiare anche a 15 minuti. Questo significa che il mercato diventerà un caos di 96 pezzi al giorno invece di 24!

In questo caos, avere previsioni che siano coerenti tra loro (che non dicano "alle 14:00 costa 100 euro" e "alle 14:15 costa 1000 euro" senza motivo) diventa vitale. Il metodo THieF è la soluzione perfetta perché:

1. È economico: Non richiede supercomputer costosissimi.
2. È flessibile: Funziona bene sia con metodi semplici che con l'intelligenza artificiale più avanzata.
3. È robusto: Funziona anche quando i mercati sono in crisi o molto volatili.

💡 In sintesi

Immagina di dover guidare un'auto in una nebbia fitta (il mercato dell'energia).

• Il vecchio metodo guardava solo il parabrezza (le singole ore).
• Il metodo THieF ti dà anche gli specchietti retrovisori, la vista dai finestrini laterali e una mappa satellitare che ti mostra la strada intera.

Grazie a questa "visione a 360 gradi", gli operatori possono prendere decisioni migliori, risparmiare soldi e rendere il mercato dell'energia più stabile. È un piccolo trucco matematico che fa una grande differenza nel mondo reale.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Stealing accuracy: Predicting day-ahead electricity prices with temporal hierarchy forecasting (THieF)" in lingua italiana.

1. Il Problema

La previsione dei prezzi dell'energia elettrica a giorno-ahead (DAP) richiede modelli che operino a diversi livelli di granularità temporale (es. prezzi orari, blocchi di 2-24 ore, prezzi baseload). Spesso, i modelli sviluppati per questi diversi livelli utilizzano set di informazioni differenti e producono previsioni non allineate (incoerenti), il che può portare a decisioni operative subottimali.
Sebbene la riconciliazione delle previsioni sia un campo di ricerca in crescita, la sua applicazione alla previsione dei prezzi dell'energia elettrica (EPF) è stata finora trascurata. La maggior parte degli studi si concentra sulla previsione univariata o su carichi e generazione, senza sfruttare la struttura temporale gerarchica intrinseca dei dati energetici.

2. Metodologia

Gli autori propongono l'applicazione della Previsione Gerarchica Temporale (THieF) ai prezzi dell'energia elettrica. Il metodo si articola in tre fasi principali:

1. Aggregazione Temporale: I dati orari ($m=24$) vengono aggregati in blocchi non sovrapposti basati sui divisori di 24 (1H, 2H, 3H, 4H, 6H, 8H, 12H, 24H). Vengono creati 60 blocchi totali (24 ore singole + blocchi aggregati).
2. Generazione delle Previsioni di Base: Vengono generate previsioni indipendenti per ogni livello della gerarchia utilizzando quattro classi di modelli con complessità crescente:
   • ARX (AutoRegressione con input esogeni): Regressione lineare classica.
   • NARX (Non-linear ARX): Reti neurali feedforward superficiali (5 neuroni nascosti) con architetture serie-parallelo.
   • XGB (Gradient-Boosted Decision Trees): Ensemble di alberi decisionali ottimizzati con XGBoost.
   • Mitra: Un modello fondazionale (foundation model) pre-addestrato basato su un'architettura Transformer a 12 livelli (72 milioni di parametri), utilizzato in modalità zero-shot (senza ri-addestramento sui parametri specifici).
3. Riconciliazione: Le previsioni di base vengono combinate per garantire la coerenza temporale. Viene utilizzata una matrice di somma ($S$) per mappare le previsioni dai livelli aggregati a quelli orari. La combinazione avviene tramite una stima dei pesi che minimizza l'errore quadratico medio, utilizzando una matrice di covarianza degli errori regolarizzata (modello di correlazione costante di Ledoit e Wolf) per gestire la scarsità di dati rispetto alla dimensione della matrice di covarianza (60x60).

Dati e Contesto:
Lo studio utilizza dati di due mercati europei principali: EPEX-DE (Germania) e OMIE (Spagna). Il periodo di test copre 4 anni (2021-2024), includendo eventi critici come la pandemia, l'invasione russa dell'Ucraina e la crisi energetica, caratterizzati da alta volatilità e picchi di prezzo (inclusi prezzi negativi in Germania).

3. Contributi Chiave

• Prima applicazione di THieF ai prezzi dell'energia: Il paper colma un vuoto nella letteratura applicando la riconciliazione temporale specificamente alla previsione dei prezzi (EPF).
• Uso di Modelli Fondazionali: È il primo studio a utilizzare modelli fondazionali pre-addestrati (come Mitra/Transformer) non solo per la previsione diretta, ma anche all'interno di una gerarchia temporale.
• Robustezza Architetturale: Dimostra che i benefici della riconciliazione sono indipendenti dall'architettura del modello sottostante, funzionando efficacemente sia su modelli lineari semplici che su transformer complessi.
• Analisi di Mercato: Fornisce un confronto dettagliato tra due mercati con dinamiche diverse (Germania ad alta volatilità vs Spagna più stabile nel periodo post-crisi).

4. Risultati

I risultati, riportati su un periodo di test di 4 anni, mostrano miglioramenti significativi e statisticamente rilevanti in termini di Errore Assoluto Medio (MAE) ed Errore Quadratico Medio Radice (RMSE):

• Miglioramenti Generali: La riconciliazione migliora l'accuratezza a tutti i livelli della gerarchia.
  • Per i prezzi orari (1H), i guadagni in MAE raggiungono fino al 5,5%.
  • Per i prezzi baseload (24H), i guadagni sono ancora più elevati, fino al 13,4%.
• Performance per Modello:
  • Il modello XGB ha mostrato i miglioramenti più consistenti in termini di RMSE (fino al 7,6% in Germania e 5,0% in Spagna).
  • Anche il modello Mitra (Transformer) ha beneficiato della riconciliazione, confermando che anche i modelli fondazionali soffrono di una certa "mala specificazione" che THieF aiuta a correggere.
• Impatto del Blocco: I guadagni di accuratezza tendono ad aumentare all'aumentare della dimensione del blocco (da 1H a 24H). Questo è particolarmente rilevante dato il recente passaggio dei mercati europei alla negoziazione in blocchi di 15 minuti, che rende la gestione dei blocchi più complessa e importante.
• Significatività Statistica: Il test di Diebold-Mariano multivariato ha confermato che le previsioni riconciliate sono significativamente più accurate di quelle non riconciliate (livello di significatività 1% per la maggior parte dei casi in Germania).
• Costo Computazionale: L'overhead computazionale è trascurabile. La riconciliazione stessa è quasi istantanea; il costo aggiuntivo deriva solo dall'addestramento di modelli su livelli aggregati, portando a un aumento totale del costo computazionale di circa 2,5 volte rispetto alla sola previsione oraria, un costo considerato accettabile nel contesto della previsione a giorno-ahead.

5. Significato e Implicazioni

• Pratica Operativa: Il paper raccomanda l'adozione della THieF nella pratica quotidiana di previsione dei prezzi dell'energia. Data la crescente importanza della negoziazione di blocchi di energia in Europa, avere previsioni coerenti a tutti i livelli temporali è cruciale per decisioni di trading ottimali.
• Gestione dell'Incertezza: La metodologia dimostra che anche modelli avanzati (come i Transformer) possono beneficiare della combinazione di informazioni provenienti da diverse scale temporali, sfruttando la ridondanza e la complementarità dei dati aggregati.
• Futuri Sviluppi: Gli autori suggeriscono estensioni future, come l'uso di modelli di base diversi per diversi livelli della gerarchia, l'applicazione alla previsione probabilistica e l'adattamento a blocchi di aggregazione non uguali (non basati solo sui fattori di 24).

In sintesi, lo studio dimostra che la riconciliazione temporale è uno strumento potente, economico e universalmente applicabile per "rubare accuratezza" (stealing accuracy) alle previsioni dei prezzi dell'energia, rendendole più robuste e affidabili per i partecipanti al mercato.