Regime-Aware Conditional Neural Processes with Multi-Criteria Decision Support for Operational Electricity Price Forecasting

Questo lavoro propone un modello ibrido che combina la rilevazione bayesiana dei regimi con i processi neurali condizionali per prevedere i prezzi dell'energia elettrica in Germania, dimostrando attraverso un'analisi multi-criterio TOPSIS che la soluzione proposta offre un equilibrio operativo superiore rispetto ai modelli tradizionali per il periodo 2021-2023.

L'essenziale

Immagina il mercato dell'energia elettrica come un enorme oceano. A volte è calmo e prevedibile, altre volte diventa una tempesta violenta con onde gigantesche (i picchi di prezzo). Navigare in questo oceano con una batteria (come quelle delle auto elettriche o dei sistemi di accumulo) è un gioco di strategia: devi comprare energia quando l'acqua è bassa (prezzi bassi) e venderla quando è alta (prezzi alti).

Il problema? L'oceano non è mai lo stesso. Cambia "regime": a volte è un lago tranquillo, a volte un fiume in piena, a volte un mare in burrasca.

1. Il Problema: Non tutti i giorni sono uguali

Fino a poco tempo fa, i modelli per prevedere il prezzo dell'energia cercavano di trovare una "media" che funzionasse per tutti i giorni. È come se un capitano cercasse di navigare usando lo stesso tipo di mappa sia per un giorno di sole che per un uragano. Risultato? Si sbaglia spesso, specialmente quando il mercato cambia improvvisamente a causa del vento (energia eolica) o del sole (energia solare), che sono variabili e non controllabili.

2. La Soluzione: Il "Detective" e gli "Esperti"

Gli autori di questo studio hanno creato un sistema intelligente in due fasi, che chiameremo "Il Detective" e "La Squadra di Esperti".

Fase 1: Il Detective (DS-HDP-HMM)

Prima di fare previsioni, il sistema usa un "detective" matematico (un modello chiamato Disentangled Sticky Hierarchical Dirichlet Process Hidden Markov Model).

• Cosa fa: Analizza la storia dei prezzi e dice: "Oggi il mercato si comporta come un Lago Calmo (prezzi stabili), domani sembra una Tempesta (prezzi volatili), dopodomani è un Fiume in piena (prezzi negativi o altissimi)".
• L'analogia: Immagina di avere un meteo che non ti dice solo "piove", ma ti dice: "Oggi è il regime 'Uragano', domani è il regime 'Brusciolina'". Il detective identifica automaticamente questi stati senza che nessuno gli dica quanti ce ne sono o quando cambiano.

Fase 2: La Squadra di Esperti (Conditional Neural Processes)

Una volta che il detective ha identificato il "regime" (es. Tempesta), il sistema non usa un unico oracolo per prevedere il futuro. Invece, chiama l'esperto specifico per quel tipo di tempo.

• Se il detective dice "Oggi è Tempesta", chiama l'esperto "Tempesta".
• Se dice "Oggi è Lago Calmo", chiama l'esperto "Lago Calmo".
• Perché è geniale: Un esperto che conosce bene le tempeste non cercherà di prevedere il mare calmo, e viceversa. Ogni esperto impara a prevedere solo il comportamento specifico di quel "regime". Inoltre, questi esperti non ti danno solo un numero (es. "costerà 100 euro"), ma ti dicono anche quanto sono sicuri di quel numero (es. "costerà 100 euro, ma potrei sbagliare di 10"). Questa "sicurezza" è fondamentale per non rischiare troppo.

3. La Sfida: Prevedere bene non basta

Qui arriva il colpo di scena. Gli autori hanno scoperto una cosa sorprendente: non sempre il modello che sbaglia meno i numeri è quello che fa guadagnare di più.

Immagina due giocatori di poker:

• Giocatore A (LEAR): Fa previsioni molto precise sui numeri, ma a volte perde perché non sa gestire il rischio quando le cose vanno storte.
• Giocatore B (DNN): Fa previsioni un po' più "sfumate", ma sa esattamente quando fermarsi.
• Il Nostro Eroe (R-NP): Non è sempre il più preciso nei numeri, ma sa esattamente quando il mercato sta per cambiare e sa gestire l'incertezza.

A volte, un modello con un errore di previsione leggermente più alto può farti guadagnare di più perché ti dice: "Attenzione, c'è un'alta probabilità che il prezzo crolli, non vendere ancora!".

4. La Giuria Finale: TOPSIS (Il Giudice Supremo)

Poiché non c'è un vincitore assoluto (chiunque sia il migliore dipende da cosa vuoi: massimizzare il profitto, minimizzare il rischio, o risparmiare costi), gli autori hanno usato un metodo chiamato TOPSIS.

• L'analogia: Immagina una giuria di 12 giudici. Alcuni guardano quanto è preciso il numero, altri quanto hai guadagnato, altri quanto hai rischiato. Invece di sommare i voti a caso, TOPSIS cerca il candidato che è più vicino all'ideale perfetto e più lontano dal disastro totale.
• Il Verdetto:
  • Nel 2021, un modello classico (LEAR) ha vinto.
  • Ma nel 2022 e 2023 (anni molto turbolenti), il nostro sistema "Detective + Squadra di Esperti" (R-NP) è stato il vincitore assoluto. È stato il più equilibrato e affidabile.

In sintesi

Questo studio ci insegna che nel mondo dell'energia, non basta guardare i numeri. Bisogna capire il contesto (il regime) e sapere quanto fidarsi della previsione.

Il loro sistema è come avere un capitano che:

1. Riconosce se è in arrivo una tempesta.
2. Chiamare l'esperto che sa navigare nelle tempeste.
3. Ti dice non solo dove andare, ma anche quanto è pericoloso il viaggio.

Grazie a questo approccio, chi gestisce le batterie o l'energia può prendere decisioni migliori, guadagnare di più e dormire sonni più tranquilli, anche quando il mercato dell'energia diventa folle.

Sommario tecnico

Titolo: Processi Neurali Condizionali Consapevoli del Regime con Supporto alle Decisioni Multi-Criterio per la Previsione Operativa dei Prezzi Elettrici

1. Il Problema

Il mercato dell'energia elettrica, in particolare in Germania, ha subito una trasformazione strutturale significativa a causa dell'integrazione massiccia di fonti rinnovabili (eolico e solare). Questa transizione ha introdotto:

• Non-stazionarietà e Regimi di Mercato: I prezzi dell'energia non seguono più distribuzioni stazionarie ma subiscono cambiamenti bruschi (regimi) dovuti alla variabilità delle fonti rinnovabili, alle politiche normative e alle condizioni meteorologiche.
• Limiti dei Modelli Tradizionali: I modelli classici (statistici come ARIMA/GARCH) e i modelli di deep learning globali (come DNN o LSTM) spesso falliscono nel catturare queste dinamiche complesse. I modelli globali tendono a "mediare i modi" (mode averaging), producendo previsioni lisce che non riescono a identificare i punti di svolta critici (picchi o crolli di prezzo) essenziali per le decisioni operative.
• Divario tra Accuratezza e Utilità Operativa: È stato dimostrato che una bassa errore di previsione grezzo (es. RMSE) non garantisce sempre decisioni operative ottimali (es. massimizzazione del profitto o minimizzazione dei costi) per sistemi di accumulo energetico (BESS). Un modello può avere errori elevati ma cogliere i momenti giusti per comprare/vendere, mentre un modello molto preciso potrebbe fallire nell'identificare i punti critici.
• Mancanza di Valutazione Olistica: Le valutazioni tradizionali si basano su metriche univariate (solo accuratezza), ignorando il trade-off tra profitto, rischio e costi in scenari operativi reali.

2. Metodologia

L'approccio proposto, denominato R-NP (Regime-Aware Neural Processes), integra tre componenti principali in un framework gerarchico:

• A. Rilevamento dei Regimi (DS-HDP-HMM):

  • Viene utilizzato un Disentangled Sticky Hierarchical Dirichlet Process Hidden Markov Model (DS-HDP-HMM).
  • A differenza degli HMM classici, questo modello bayesiano non-parametrico apprende automaticamente il numero di regimi di mercato senza doverlo pre-specificare.
  • Il componente "Disentangled" e "Sticky" permette di controllare separatamente la persistenza dello stato (quanto dura un regime) e la diversità delle transizioni, gestendo efficacemente la persistenza dei regimi di prezzo tipici dei mercati energetici.
  • I regimi vengono inferiti sulla serie temporale dei prezzi medi giornalieri e successivamente associati ai dati di input (carico, produzione rinnovabile, prezzi storici) tramite un classificatore MLP.

• B. Previsione Specifica per Regime (Conditional Neural Processes - CNP):

  • Una volta identificati i regimi, viene addestrato un Conditional Neural Process (CNP) indipendente per ciascun regime.
  • I CNP sono modelli di meta-apprendimento probabilistici che apprendono una distribuzione sulle funzioni. Permettono di mappare i contesti storici (input) alle traiettorie di prezzo future (output 24-dimensionale) specificamente per quel regime.
  • Questo approccio evita il problema della media dei modi, fornendo previsioni probabilistiche con quantificazione intrinseca dell'incertezza (varianza predittiva).

• C. Aggregazione Probabilistica:

  • Le previsioni dei singoli CNP vengono combinate in una distribuzione predittiva finale ponderata. I pesi sono determinati dalla probabilità a posteriori che il sistema si trovi in un determinato regime al momento della previsione, calcolata tramite il classificatore MLP.
  • Il risultato è una previsione mista di Gaussiane che incorpora sia l'incertezza interna al regime sia l'incertezza sull'identificazione del regime stesso.

• D. Ottimizzazione Operativa e Valutazione MCDM:

  • Le previsioni vengono integrate in quattro scenari di ottimizzazione per batterie (BESS): arbitraggio di prezzo, gestione del rischio, servizi di rete e minimizzazione dei costi.
  • Per valutare le prestazioni, non si usa solo l'errore di previsione, ma si applica la tecnica TOPSIS (Technique for Order Preference by Similarity to Ideal Solution). Questo metodo MCDM (Multi-Criteria Decision Making) aggrega metriche contrastanti (accuratezza, profitto realizzato, costo, regret) in un punteggio composito unico, identificando il modello più "bilanciato" e preferibile.

3. Contributi Chiave

1. Framework Ibrido Regime-Aware: Sviluppo di un sistema che combina la scoperta non-parametrica dei regimi (DS-HDP-HMM) con modelli di apprendimento profondo probabilistici (CNP) specifici per regime, superando i limiti dei modelli globali.
2. Separazione delle Dinamiche: L'uso del DS-HDP-HMM permette di disaccoppiare la persistenza dei regimi dalla diversità delle transizioni, offrendo una modellazione più flessibile e interpretabile rispetto agli HMM tradizionali o agli HDP-HMM "sticky" standard.
3. Valutazione Operativa Realistica: Dimostrazione empirica che l'accuratezza predittiva grezza non è correlata linearmente all'efficacia operativa. L'introduzione di un framework di ottimizzazione basato su batterie e di una valutazione MCDM (TOPSIS) fornisce una metrica di successo più rilevante per gli operatori di mercato.
4. Quantificazione dell'Incertezza: Fornitura di previsioni probabilistiche complete (distribuzioni) essenziali per la gestione del rischio, a differenza dei modelli deterministici (DNN, LEAR) confrontati.

4. Risultati

Lo studio è stato validato su dati reali del mercato elettrico tedesco per gli anni 2021, 2022 e 2023, confrontando R-NP con un Deep Neural Network (DNN) e un modello Lasso Estimated Autoregressive (LEAR).

• Accuratezza Predittiva:

  • Nel 2023 (anno ad alta volatilità), R-NP ha ottenuto i migliori risultati in termini di MAE e RMSE, superando significativamente LEAR e battendo leggermente DNN.
  • Nel 2021 (anno a bassa volatilità), DNN ha mostrato prestazioni leggermente superiori in alcune metriche di errore percentuale, suggerendo che la regolarizzazione di R-NP potrebbe essere eccessiva in contesti stabili.
  • Il 2022 ha rappresentato un anno di transizione difficile, dove R-NP ha mostrato un calo di prestazioni, evidenziando le sfide nella stima dei confini di regime durante dinamiche ambigue.

• Quantificazione dell'Incertezza:

  • R-NP ha dimostrato una calibrazione superiore (PICP e MPIW) rispetto ai benchmark, fornendo intervalli di confidenza significativi e precisi, specialmente in condizioni volatili (2023). DNN e LEAR, essendo deterministici, non offrono questa capacità nativa.

• Prestazioni Operative e TOPSIS:

  • LEAR ha spesso ottenuto i profitti assoluti più alti o i costi più bassi in scenari specifici (es. 2021), probabilmente grazie alla sua capacità di cogliere picchi critici nonostante errori medi più alti.
  • DNN ha mostrato ottime prestazioni in contesti di minimizzazione dei costi specifici (2022).
  • R-NP, tuttavia, è emerso come la soluzione più bilanciata e preferibile secondo l'analisi TOPSIS per tutti e tre gli anni (specialmente 2022 e 2023). Ha ottenuto il punteggio composito più alto, dimostrando di essere il modello più robusto nel navigare strategie operative complesse e variabili, offrendo il miglior compromesso tra accuratezza, gestione del rischio e utilità operativa.

5. Significato

Questo lavoro sottolinea la necessità di un cambio di paradigma nella valutazione dei modelli di previsione dei prezzi energetici:

• Dall'Accuratezza all'Utilità: Non basta minimizzare l'errore quadratico medio; il valore reale di un modello risiede nella sua capacità di guidare decisioni operative ottimali in condizioni di incertezza.
• Importanza della Struttura di Mercato: Ignorare la natura non stazionaria e i regimi di mercato porta a modelli che falliscono durante le transizioni critiche. L'approccio "Regime-Aware" è fondamentale per la stabilità finanziaria e l'efficienza delle risorse.
• Decisioni Informate: L'uso di tecniche MCDM come TOPSIS permette agli operatori di mercato e ai policymaker di selezionare modelli che non sono solo "precisi" ma anche "robusti" e adatti a obiettivi economici specifici in un mercato energetico in rapida evoluzione.

In sintesi, il framework R-NP proposto offre una soluzione scalabile e di alta qualità per l'incertezza nei prezzi dell'elettricità, combinando la flessibilità statistica bayesiana con la potenza dell'apprendimento profondo, validata attraverso una rigorosa analisi operativa multi-criterio.