Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning

Titolo: Dimensionamento della Batteria con Strategie di Offerta di Energia Rinnovabile tramite Apprendimento per Rinforzo

Autori: Taiyo Mantani, Hikaru Hoshino, Tomonari Kanazawa, Eiko Furutani (Università di Hyogo, Giappone).

---

1. Il Problema

L'integrazione massiccia di fonti energetiche rinnovabili variabili (VRE), come solare ed eolico, nei mercati elettrici richiede strategie di offerta sofisticate per minimizzare le distorsioni di mercato e massimizzare i profitti. I produttori di energia rinnovabile devono partecipare ai mercati in tempo reale, affrontando l'incertezza nella generazione e nei prezzi.
I sistemi di accumulo energetico (BESS) offrono flessibilità operativa per:

• Evitare penalità per lo squilibrio tra offerta e dispacciamento.
• Ridurre il curtailment (spreco) di energia.
• Sfruttare l'arbitraggio energetico (caricare quando i prezzi sono bassi, scaricare quando sono alti).

Tuttavia, esistono due sfide principali:

1. Ottimizzazione congiunta: La maggior parte degli studi tratta separatamente il dimensionamento della batteria (BESS) e la strategia di offerta. I metodi esistenti spesso utilizzano approcci "a due stadi": prima si addestra un modello di offerta, poi si ottimizza la dimensione della batteria. Questo approccio è computazionalmente oneroso (richiede l'esplorazione esaustiva di molti scenari) e richiede che il modello di offerta sia accurato su tutto lo spazio di ricerca.
2. Complessità computazionale: I metodi di ottimizzazione matematica tradizionali (come la programmazione stocastica) richiedono la simulazione di numerosi scenari, creando un enorme carico computazionale, mentre i metodi robusti possono risultare troppo conservativi.

2. Metodologia Proposta

Gli autori propongono un algoritmo innovativo per la co-ottimizzazione simultanea della dimensione della batteria ($E_{max}$) e della strategia di offerta basata su Reinforcement Learning (RL).

Modello di Mercato e Obiettivo

• Il modello simula un mercato in tempo reale dove il produttore offre una potenza $b_t$.
• La potenza dispacciata è data da $x^D_t = x_t - p^c_t + p^d_t$ (generazione meno carica più scarica).
• Il profitto include i ricavi di mercato, le penalità per squilibrio (se $b_t \neq x^D_t$) e i costi di degradazione della batteria.
• L'obiettivo è massimizzare il profitto netto totale $F$, sottraendo i costi di installazione annualizzati della batteria.

Framework di Apprendimento per Rinforzo (RL)

• Algoritmo Base: Viene utilizzato un Deep Recurrent Q-Network (DRQN). L'uso di una rete ricorrente (LSTM) è fondamentale per gestire la parzialità delle osservazioni (POMDP), poiché la generazione futura e i prezzi di mercato non sono noti con certezza.
• Stato e Azione:
  • Osservazione ($o_t$): Generazione passata, prezzi passati e stato di carica (SOC) attuale.
  • Azione ($a_t$): Valore dell'offerta $b_t$ e un fattore di scala $\rho_t$ per regolare la carica/scarica in base ai prezzi.
• Co-ottimizzazione (Estensione Innovativa):
  • Invece di fissare la dimensione della batteria, il parametro di design $\omega$ (dove $\omega = \{E_{max}\}$) viene trattato come un'azione aggiuntiva fissa per ogni episodio di addestramento.
  • Viene introdotta una distribuzione di probabilità $p_\mu(\omega)$ (una distribuzione Gaussiana con media $\mu$ e varianza $\sigma^2$ fissa) da cui viene campionata la dimensione della batteria all'inizio di ogni episodio.
  • Il parametro $\mu$ (la "credenza" sulla dimensione ottimale) viene aggiornato periodicamente utilizzando un gradiente basato sul teorema del policy gradient, massimizzando il ritorno atteso $G$ (profitto netto meno costi di installazione).
• Efficienza: L'architettura utilizza un framework RL distribuito (ispirato ad Ape-X) per gestire dati a lungo termine e calcoli paralleli.

3. Contributi Chiave

1. Co-ottimizzazione Unica: È il primo lavoro che applica un algoritmo di co-ottimizzazione (ispirato alla "cognizione incarnata" nella robotica) ai sistemi energetici, aggiornando la dimensione della batteria durante l'addestramento della politica di offerta, invece di farlo in due fasi separate.
2. Efficienza Computazionale: L'algoritmo evita la ricerca esaustiva su tutti i possibili dimensionamenti della batteria, riducendo drasticamente il tempo di calcolo rispetto ai metodi a due stadi.
3. Robustezza nell'Addestramento: L'approccio dimostra di essere più stabile durante l'addestramento su dati a lungo termine, riducendo il tasso di fallimento della convergenza della politica RL.
4. Gestione dell'Incertezza: L'integrazione di DRQN con LSTM permette di gestire efficacemente le incertezze temporali nella generazione rinnovabile e nei prezzi di mercato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati reali del mercato giapponese (JEPX) e dati di irradiazione solare (METPV-20).

A. Dati a Breve Termine (1 settimana)

• Confronto: Il metodo proposto è stato confrontato con un approccio a due stadi che variava la capacità della batteria dal 10% al 130% della generazione massima.
• Convergenza: L'algoritmo proposto ha convergito verso dimensioni ottimali coerenti con i risultati della ricerca esaustiva (es. ~120% per costi bassi, ~50% per costi medi).
• Tempo: Sebbene richieda più episodi (4000) rispetto all'addestramento con batteria fissa (600-800), è significativamente più veloce della ricerca esaustiva su tutti i parametri.

B. Dati a Lungo Termine (1 anno intero)

• Sfida: L'addestramento su un anno intero è risultato più difficile a causa delle variazioni stagionali.
• Risultato: Utilizzando 12 worker paralleli, il metodo di co-ottimizzazione ha mostrato una maggiore robustezza.
  • Con capacità fissa: 7 su 8 esperimenti hanno fallito (profitto negativo).
  • Con co-ottimizzazione: Solo 3 su 8 esperimenti hanno fallito.
• Conclusione: Ottimizzare simultaneamente la configurazione del sistema (dimensione batteria) e la politica di controllo aiuta a evitare la convergenza in minimi locali o configurazioni subottimali che portano al fallimento dell'addestramento.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo nell'ottimizzazione dei sistemi energetici intelligenti.

• Impatto Economico: Permette ai produttori di energia rinnovabile di determinare la dimensione ottimale dell'accumulo in modo più rapido e accurato, massimizzando i profitti netti considerando i costi di investimento.
• Flessibilità Operativa: Dimostra che l'adattamento dinamico della configurazione fisica del sistema durante l'apprendimento della politica di controllo può migliorare la stabilità e le prestazioni complessive.
• Scalabilità: L'approccio basato su RL distribuito e DRQN è scalabile per gestire grandi volumi di dati storici e scenari di mercato complessi, rendendolo adatto per applicazioni reali nel settore delle energie rinnovabili.

In sintesi, il paper propone una soluzione computazionalmente efficiente che supera i limiti dei metodi tradizionali a due stadi, integrando la progettazione fisica (dimensionamento batteria) e la strategia operativa (offerta) in un unico processo di apprendimento intelligente.