End-to-End Learning of Correlated Operating Reserve Requirements in Security-Constrained Economic Dispatch

1. Il Problema

Il mercato elettrico moderno deve gestire l'incertezza derivante dall'alta penetrazione di fonti rinnovabili (eolico e solare). Gli errori di previsione di queste fonti presentano forti correlazioni spaziali e temporali.
Nella Dispatch Economico Vincolato alla Sicurezza (SCED), i requisiti di riserva operativa sono determinati da un "insieme di incertezza" che definisce quali scenari di errore devono essere coperti.

• Limitazione attuale: La struttura di correlazione di questi insiemi di incertezza è solitamente specificata exogenamente (ad esempio, basandosi sulla matrice di covarianza campionaria) e non viene ottimizzata per il compito specifico del dispatch.
• Conseguenza: Se le correlazioni vengono ignorate o modellate in modo non ottimale, la capacità di riserva viene allocata in modo inefficiente, portando a costi eccessivi e segnali di prezzo distorti, pur mantenendo la stessa affidabilità.
• Obiettivo: Progettare un metodo per apprendere end-to-end la geometria dell'insieme di incertezza (in particolare la forma ellissoidale) che minimizzi il costo del dispatch mantenendo un livello di copertura (affidabilità) predefinito.

2. Metodologia

Il paper propone un framework di ottimizzazione robusta apprendibile che trasforma un problema bilevel (due livelli) in un problema a singolo livello differenziabile.

A. Formulazione del Problema

Il problema originale è formulato come:
$$\min_{\theta, \rho} V(\theta, \rho) \quad \text{soggetto a} \quad P(U \in \mathcal{U}_{\theta, \rho}) \ge \tau$$
Dove:

• $\theta$: Parametro di forma (es. fattore di Cholesky della matrice di covarianza) che cattura le correlazioni.
• $\rho$: Parametro di dimensione (raggio) che controlla la conservatività.
• $V(\theta, \rho)$: Funzione valore del dispatch robusto (costo minimo).
• $\tau$: Livello target di copertura (es. 95%).

B. Profiling e Riduzione a Singolo Livello

Il contributo teorico chiave è il profiling del vincolo di copertura. Invece di ottimizzare $\theta$ e $\rho$ simultaneamente con un vincolo, si esprime il raggio ottimale $\rho_P(\theta)$ come la quantile-$\tau$ della distribuzione dello "score" di incertezza per una data forma $\theta$.
Questo riduce il problema a:
$$\min_{\theta} J_P(\theta) := V(\theta, \rho_P(\theta))$$
Ora l'obiettivo dipende solo dalla forma $\theta$.

C. Calcolo del Gradiente senza Backpropagation attraverso il Solver

Un problema centrale è calcolare il gradiente della funzione valore $V$ rispetto a $\theta$ senza dover differenziare attraverso il solver di ottimizzazione (SCED), che è spesso non differenziabile o computazionalmente costoso.

• Soluzione: Utilizzo delle informazioni KKT/duali (moltiplicatori di Lagrange) ottenute dalla soluzione del SCED.
• Il gradiente è composto da due termini:
  1. Effetto diretto (Envelope): Sensibilità del costo rispetto alla forma, pesata dai moltiplicatori duali (prezzi ombra delle riserve).
  2. Correzione del raggio (Quantile Sensitivity): Poiché cambiare la forma $\theta$ cambia anche il raggio necessario $\rho_P(\theta)$ per mantenere la copertura, si aggiunge un termine correttivo basato sulla sensibilità della quantile.
• Il risultato è un gradiente profilato che può essere calcolato efficientemente.

D. Pipeline di Apprendimento e Calibrazione

Per gestire distribuzioni sconosciute e garantire la copertura su campioni finiti, il paper propone una divisione dei dati in quattro parti:

1. Train: Per l'ottimizzazione della forma $\theta$.
2. Tune: Per stimare il raggio $\hat{\rho}_\epsilon$ e la sua sensibilità (usando una funzione di kernel liscia per rendere differenziabile la quantile).
3. Calibrate: Per fissare il raggio finale $\hat{\rho}_\tau$ utilizzando la Calibrazione Conformale Split. Questo garantisce una copertura marginale $\ge \tau$ su nuovi dati, indipendentemente dalla distribuzione sottostante (sotto l'assunzione di scambiabilità).
4. Test: Valutazione finale.

E. Estensione Contestuale

Il framework supporta anche encoder contestuali (es. reti neurali) che mappano le condizioni operative (carico, previsioni meteo) in parametri di forma $\theta(\xi)$, permettendo riserve adattive.

3. Contributi Chiave

1. Modellazione End-to-End: Prima formulazione che tratta la progettazione dell'insieme di riserva correlata come un problema di ottimizzazione robusta apprendibile, unendo geometria dell'incertezza, SCED e calibrazione di copertura.
2. Riformulazione Differenziabile: Dimostrazione che il problema bilevel può essere ridotto a un obiettivo a singolo livello, calcolando i gradienti tramite informazioni duali (KKT) invece che tramite differenziazione automatica del solver.
3. Garanzie Statistiche: Integrazione della calibrazione conformale per fornire garanzie di copertura finite e valide su campioni, combinata con un stimatore di gradiente consistente per l'obiettivo profilato.
4. Validazione Empirica: Applicazione su un sistema reale (IEEE 118-bus) con vincoli di trasferimento inter-zona.

4. Risultati Sperimentali

Il metodo è stato testato sul sistema IEEE 118-bus con 10 zone e 5 regioni geografiche, utilizzando dati sintetici calibrati su pattern reali (VAR(1)).

• Confronto: Il metodo "Learned (Static)" è stato confrontato con:
  • Sample Covariance: Baseline statistica standard.
  • Independent: Baseline che ignora le correlazioni.
• Performance:
  • Riduzione dei Costi: Il metodo appreso ha ridotto il costo di dispatch del 4.8% rispetto alla baseline "Sample Covariance" ($95,683/hr vs $100,496/hr).
  • Efficienza delle Riserve: Ha ridotto la quantità di riserva acquistata da 1,572 MW a 977 MW.
  • Copertura: Ha mantenuto una copertura empirica sul test set del 97.0%, superiore al target del 95%.
• Vincoli di Trasferimento: Anche in presenza di vincoli di trasferimento inter-zona (che rendono il problema più complesso e accoppiato), il metodo appreso ha mostrato una maggiore resilienza, aumentando i costi molto meno rispetto alle baseline quando i vincoli venivano attivati.

5. Significato e Implicazioni

• Efficienza Economica: Dimostra che l'ottimizzazione della geometria dell'incertezza, guidata direttamente dal costo operativo, può generare risparmi significativi senza compromettere l'affidabilità.
• Segnali di Prezzo: Migliora i segnali di prezzo nel mercato elettrico allineando i prezzi delle riserve (shadow prices) alle direzioni di incertezza economicamente più rilevanti.
• Flessibilità Computazionale: Il metodo evita la differenziazione attraverso solver complessi, rendendo l'approccio scalabile e compatibile con gli strumenti di ottimizzazione esistenti.
• Robustezza: L'uso della calibrazione conformale garantisce che le prestazioni teoriche si traducano in garanzie pratiche di copertura anche con dati limitati o distribuzioni sconosciute.

In sintesi, il paper propone un cambio di paradigma: invece di fissare l'incertezza e poi ottimizzare il dispatch, si impara la forma dell'incertezza stessa per ottimizzare direttamente il risultato economico del sistema elettrico.