Learning Reachability of Energy Storage Arbitrage

Riepilogo Tecnico: Apprendimento della Raggiungibilità dell'Arbitraggio di Accumulo Energetico

Enunciato del Problema
I sistemi elettrici sono sempre più soggetti a variabilità guidata dal meteo, rendendo necessari risorse di accumulo flessibili e limitate in energia per tamponare le fluttuazioni. Tuttavia, il valore economico dell'accumulo energetico dipende dal tempo e si basa su decisioni intertemporali in presenza di prezzi incerti. Senza tenere conto del valore di affidabilità futura dell'energia immagazzinata, le risorse di accumulo a batteria possono agire in modo miope, scaricandosi troppo presto o non riuscendo a preservare le riserve durante le "ore critiche" (periodi di elevato stress del sistema). Tale comportamento porta a prestazioni economiche subottimali e a una ridotta affidabilità del sistema.

Due sfide principali sorgono quando si tenta di internalizzare l'affidabilità nei segnali di mercato per le singole risorse di accumulo:

1. Raggiungibilità: Determinare se esiste una sequenza di azioni di controllo che permetta alla batteria di raggiungere e mantenere un intervallo desiderato di Stato di Carica (SoC) entro un tempo critico $\tau$, soddisfacendo i limiti operativi per una frazione minima di realizzazioni dell'incertezza.
2. Quantificazione della Probabilità: Calcolare la probabilità che il SoC finale ricada entro un intervallo target durante le ore critiche. Le soluzioni analitiche a questi problemi vincolati probabilisticamente sono spesso computazionalmente costose o intrattabili sotto dinamiche di prezzo realistiche e a code pesanti.

I meccanismi esistenti, come i requisiti di Stato di Carica Minimo (MSOC), introducono spesso perdite di efficienza o complessità implementativa. Inoltre, gli approcci standard di apprendimento automatico per il controllo delle scorte non internalizzano direttamente la decisione di "tempo di arresto" — il momento specifico in cui passare dall'arbitraggio alla preservazione delle riserve.

Metodologia
Il documento propone un framework che integra una ricompensa per il tempo di arresto con una penalità per l'intervallo target dello Stato di Carica (SoC) per allineare gli incentivi di arbitraggio con l'affidabilità del sistema. L'obiettivo principale è premiare le risorse di accumulo che passano in una modalità di preservazione delle riserve e la mantengono sufficientemente presto da garantire una traiettoria fattibile verso un SoC target prima delle ore critiche.

Gli autori formulano il problema come un'ottimizzazione online con un SoC finale vincolato probabilisticamente e valutano tre approcci distinti:

1. Approssimazione Mediata su Campioni (SAA): Una formulazione di riferimento che sostituisce la rappresentazione dell'incertezza con medie empiriche utilizzando scenari storici. Impiega una riformulazione mista-intera per imporre il vincolo probabilistico, permettendo l'identificazione di tempi di arresto ottimali ma soffrendo di un'alta complessità computazionale all'aumentare del numero di scenari.
2. Deep Q-Learning (DQN): Un approccio di apprendimento per rinforzo senza modello che inquadra il problema dell'arbitraggio come un Processo Decisionale di Markov (MDP). Lo spazio degli stati include SoC discretizzato, un indicatore di arresto e fasce di prezzo. La funzione di ricompensa include i profitti di arbitraggio, una ricompensa per il tempo di arresto (attivata all'ingresso nella modalità di riserva) e una penalità finale per la violazione della fascia target del SoC. Sebbene scalabile a osservazioni ad alta dimensionalità, questo metodo può esibire un'alta varianza e sensibilità alla taratura delle penalità.
3. Framework di Apprendimento End-to-End (E2E): Il contributo principale proposto. Questo approccio addestra congiuntamente un predittore di prezzi (rappresentato come un insieme di incertezza) e un'attività di ottimizzazione differenziabile a valle.
   • Quantificazione dell'Incertezza: Il predittore restituisce un prezzo centrale e un insieme di incertezza calibrato utilizzando la previsione conforme per ottenere una copertura su campioni finiti per le future realizzazioni dei prezzi.
   • Ottimizzazione Robusta: Il livello di dispacciamento risolve un problema di arbitraggio robusto nello scenario peggiore all'interno dell'insieme di incertezza calibrato.
   • Addestramento Guidato dal Compito: Invece di minimizzare errori di previsione generici, il predittore è ottimizzato per massimizzare l'obiettivo a valle (profitto di arbitraggio + ricompensa per il tempo di arresto). I gradienti vengono retropropagati attraverso il livello di ottimizzazione fino al predittore, allineando le previsioni agli obiettivi operativi di affidabilità.

Principali Contributi

• Integrazione della Ricompensa per il Tempo di Arresto: Il documento estende il problema dell'arbitraggio delle batterie introducendo una ricompensa per il tempo di arresto e una penalità per il SoC finale. Ciò internalizza la preferenza dell'operatore di preservare l'energia prima delle ore critiche, indirizzando le risorse verso traiettorie di SoC fattibili e migliorando la raggiungibilità.
• Framework E2E per l'Affidabilità: Gli autori incorporano la ricompensa per il tempo di arresto all'interno di un framework di apprendimento E2E. Questo approccio calibra il predittore di prezzi-energia a un'attività di ottimizzazione a valle specifica, fornendo garanzie di robustezza. Mira ad aumentare il profitto in caso di realizzazioni di prezzi peggiori mantenendo una probabilità definita dall'utente di raggiungere il target di SoC finale.
• Confronto Empirico: Lo studio fornisce un'analisi comparativa dell'approccio E2E rispetto ai baseline SAA e DQN utilizzando dati reali di prezzi day-ahead di PJM. I risultati evidenziano il compromesso tra fornitura di affidabilità e profitto dell'asset, dimostrando che segnali di controllo indicizzati nel tempo (ricompense per il tempo di arresto) possono indirizzare le batterie verso comportamenti coerenti con l'affidabilità.

Risultati
Utilizzando sei anni di dati PJM con un orizzonte di 24 ore e un'ora critica a $t=24$, i modelli sono stati valutati su diversi livelli di ricompensa per l'arresto ($c$):

• SAA: Ha raggiunto profitti più elevati a causa dell'assenza di termini di penalità nel baseline, ma ha mostrato spostamenti graduali nei tempi di arresto all'aumentare delle ricompense.
• DQN: Ha prodotto le maggiori magnitudini di profitto in certi intervalli di ricompensa (ad esempio, $c=15$) ma ha esibito un'alta varianza (fino al 128% di deviazione standard) e violazioni occasionali di fattibilità. I tempi di arresto appresi erano sensibili alla scalatura delle penalità.
• E2E: Ha fornito una minore variabilità nei profitti (deviazione standard ridotta all'1-3%) e decisioni di tempo di arresto più coerenti. Sebbene il profitto atteso fosse inferiore rispetto al DQN in alcuni scenari a bassa ricompensa a causa della sua progettazione robusta, ha mantenuto una copertura marginale elevata (superiore al 94%) attraverso le realizzazioni dei prezzi. All'aumentare della ricompensa per l'arresto, il profitto del modello E2E si è avvicinato a quello degli altri modelli mantenendo la stabilità.

Significato e Affermazioni
Il documento afferma che il design proposto migliora la raggiungibilità degli intervalli target di SoC e la stabilità dei profitti in condizioni volatili. Introducendo una ricompensa per il tempo di arresto, il framework agisce come una barriera temporale che si attiva prima del "punto di non ritorno", passando la politica dalla modalità di arbitraggio a quella di preservazione. Ciò allinea gli incentivi privati di arbitraggio con l'obiettivo pubblico sistemico di resilienza senza richiedere regole amministrative esterne alla liquidazione del mercato.

Gli autori affermano che l'approccio E2E offre un'alternativa compatibile con il mercato ai rigidi requisiti di SoC minimo. Concilia le prospettive del sistema e dell'asset endogenizzando il valore e la probabilità della raggiungibilità del SoC finale. Lo studio conclude che il modello E2E produce la minore variabilità nelle decisioni e tempi di arresto stabili, mentre il DQN, sebbene potenzialmente più profittevole, soffre di una varianza più elevata e rischi di fattibilità. Si suggerisce un lavoro futuro per estendere questo framework al controllo predittivo e quantificare ulteriormente il rischio dell'operatore di sistema attraverso le dinamiche delle serie temporali.