Computing an Optimal Control Policy for an Energy Storage

Sintesi Tecnica: Computazione di una Politica di Controllo Ottimale per un Sistema di Accumulo Energetico

Definizione del Problema
Il documento affronta la sfida della gestione della variabilità della potenza nelle fonti di energia rinnovabile, specificamente nei convertitori di energia ondosa (WEC) come il dispositivo SEAREV. A differenza della generazione convenzionale, l'output dell'energia ondosa è altamente stocastico e fluttua rapidamente (ad esempio, con un periodo di circa 1,5 s), ponendo rischi di stabilità per la rete elettrica. Gli autori inquadrano il problema come un compito di Controllo Ottimale: determinare una politica di controllo per un sistema di accumulo energetico (ESS) che smorzi la potenza iniettata nella rete ($P_{grid}$) rispettando al contempo i vincoli fisici della capacità di accumulo ($E_{sto}$).

L'obiettivo è minimizzare una funzione di costo $J$ che rappresenta la variabilità media (penalità) della potenza iniettata su un orizzonte infinito. Il sistema è modellato come un problema di ottimizzazione dinamica stocastica in cui le decisioni ad ogni passo temporale sono accoppiate dallo stato dell'energia accumulata. Un prerequisito fondamentale per l'applicazione della Programmazione Dinamica (DP) è che la dinamica del sistema debba essere Markoviana; tuttavia, le serie temporali della potenza ondosa grezza non sono intrinsecamente Markoviane, rendendo necessaria una trasformazione dei dati di input.

Metodologia
Gli autori propongono una metodologia in tre fasi che combina l'analisi delle serie temporali, la modellazione stocastica e l'ottimizzazione numerica tramite una libreria Python personalizzata.

1. Modellazione Stocastica della Produzione Ondosa:

   • La modellazione diretta della potenza ($P_{prod}$) è difficile a causa della sua distribuzione non gaussiana. Inveve, gli autori modellano la velocità di rotazione ($\Omega$) del pendolo interno del WEC, che segue una distribuzione più gaussiana.
   • Utilizzano un modello Autoregressivo (AR) di ordine 2 (AR(2)) per catturare la dinamica di $\Omega$.
   • Fitting del Modello: La stima standard della Massima Verosimiglianza Condizionale (CMLE) è stata giudicata inadeguata per riprodurre la funzione di autocorrelazione (ACF) dei dati ai brevi ritardi temporali. Di conseguenza, gli autori hanno implementato un metodo di "fitting multi-lag ACF", minimizzando la differenza al quadrato tra le ACF teoriche ed empiriche su un orizzonte di 15 secondi.
   • Il modello AR(2) risultante viene riformulato in una rappresentazione spazio-stato utilizzando la velocità ($\Omega$) e l'accelerazione ($A$) come variabili di stato, insieme all'energia accumulata ($E_{sto}$). Ciò produce un vettore di stato Markoviano a 3 dimensioni $x = (E_{sto}, \Omega, A)$.

2. La Libreria StoDynProg:

   • Per risolvere il problema di ottimizzazione risultante, gli autori hanno sviluppato StoDynProg, una libreria Python generica per la Programmazione Dinamica Stocastica (SDP).
   • Architettura: La libreria utilizza SysDescription per definire le dinamiche di sistema e le funzioni di costo, e DPSolver per gestire la discretizzazione dello spazio degli stati ed eseguire gli algoritmi.
   • Algoritmo: La libreria implementa la Iterazione di Politica (Policy Iteration), che si è dimostrata significativamente più efficiente della Iterazione di Valore (Value Iteration) per questo problema. L'Iterazione di Politica alterna la valutazione della politica (risoluzione di equazioni lineari per una politica fissa) e il miglioramento della politica (ricerca del controllo ottimale per la funzione di valore corrente).
   • Interpolazione: Un componente critico è l'uso di un MultilinearInterpolator personalizzato (adattato dal progetto Dolo) per gestire l'interpolazione n-dimensionale su griglie rettangolari, un requisito per valutare le funzioni di valore tra punti di griglia discreti.

3. Esecuzione dell'Ottimizzazione:

   • Lo spazio degli stati è discretizzato in una griglia di circa 110.000 punti ($30 \times 60 \times 60$ per energia, velocità e accelerazione, rispettivamente).
   • L'algoritmo viene inizializzato con una semplice legge di controllo euristica lineare e itera fino alla convergenza (raggiunta in circa 5 iterazioni di politica).

Risultati Chiave

• Convergenza ed Efficienza: L'algoritmo di Iterazione di Politica è convergito in circa 3 minuti su un computer desktop standard. Al contrario, un approccio di Iterazione di Valore avrebbe richiesto circa 5 ore (100 volte più lento) a causa del costo dell'ottimizzazione ad ogni passo.
• Politica di Controllo: La politica ottimale risultante $\mu(E_{sto}, \Omega, A)$ è una funzione di feedback dello stato. Essa conferma che un'energia accumulata più elevata porta a un'iniezione di rete più alta, ma incorpora in modo unico la velocità e l'accelerazione per modulare la potenza, anticipando efficacementamente i cambiamenti di energia meccanica.
• Miglioramento delle Prestazioni: Applicando la politica al SEAREV su campioni di simulazione di 1000 secondi:
  • La politica ottimizzata ha ridotto la deviazione standard della potenza iniettata di circa il 20% rispetto alla politica euristica lineare (specificamente il 27%, il 16% e il 22% attraverso tre campioni).
  • La politica ottimizzata ha utilizzato la capacità di accumulo in modo più efficace, particolarmente ai livelli di energia più elevati, smorzando meglio i "picchi e i minimi" rispetto all'approccio lineare.
• Limitazioni: Gli autori osservano che, in scenari di alta produzione con accelerazioni brusche (che superano le 4 deviazioni standard), il modello lineare AR non riesce a catturare le dinamiche non lineari del WEC. Di conseguenza, la politica ottimizzata produce un output "a picchi" in questi regimi specifici, performando leggermente peggio dell'euristica lineare in tali casi isolati.

Significatività e Rivendicazioni
Il documento rivendica di aver dimostrato l'applicazione pratica della Programmazione Dinamica Stocastica a un problema realistico di gestione energetica utilizzando uno strumento Python generico e open-source.

• Strumentazione: Il contributo primario è StoDynProg, una libreria progettata per gestire dimensioni arbitrarie di spazi di stato e di controllo, affrontando la "Maledizione della Dimensionalità" imponendo modelli Markoviani di basso ordine (limitando le dimensioni dello stato a 3 o 4).
• Rigore Metodologico: Il lavoro evidenzia l'importanza di un appropriato fitting del modello (multi-lags ACF rispetto a CMLE) per garantire che il modello stocastico rifletta accuratamente la struttura di correlazione del sistema, elemento critico per la soluzione della DP.
• Applicabilità: Gli autori affermano che, sebbene l'esempio specifico sia lo smorzamento dell'energia ondosa, la libreria e la metodologia sono sufficientemente generiche da poter essere applicate ad altri problemi di Controllo Ottimale nell'ingegneria elettrica, meccanica e nelle scienze della vita, purché il sistema possa essere modellato come un processo Markoviano con una dimensione di stato gestibile.

Il documento conclude con modestia, osservando che, sebbene la riduzione del 20% della variabilità sia significativa, il valore economico di questo miglioramento dipende dai codici di rete e dai criteri di penalità specifici (ad esempio, il "flicker"), che sono oggetto di ricerche future.