Sintesi Tecnica: Apprendimento per Rinforzo Profondo Assistito da Previsioni per la Gestione dell'Energia in Microreti di Comunità Abilitate all'Idrogeno

1. Definizione del Problema

Le microreti di comunità che integrano l'accumulo di idrogeno offrono una via per migliorare l'utilizzo delle energie rinnovabili e la resilienza locale. Tuttavia, la loro gestione è complicata dall'incertezza della domanda residenziale, dalla variabilità della produzione rinnovabile, dai prezzi dinamici dell'elettricità e dalle dinamiche accoppiate del sistema di accumulo a batterie a breve termine e del sistema di accumulo a idrogeno a lunga durata.

Gli esistenti sistemi di gestione dell'energia (EMS) spesso si affidano al controllo basato su regole o all'ottimizzazione deterministica, che faticano ad adattarsi ai rapidi cambiamenti nella produzione rinnovabile e nella domanda. Sebbene l'Apprendimento per Rinforzo Profondo (DRL), specificamente il Proximal Policy Optimization (PPO), sia stato applicato a tali sistemi, le iterazioni precedenti (ad es. [12]) operavano in modo reattivo basandosi su osservazioni istantanee senza incorporare esplicitamente informazioni future sul carico. Questo articolo affronta la lacuna nello sviluppo di un framework di controllo predittivo che integri previsioni del carico multi-orizzonte nello spazio degli stati del DRL per migliorare il dispaccio economico e l'efficienza dell'apprendimento, specificamente nel contesto di una microrete di comunità abilitata all'idrogeno.

2. Metodologia

2.1. Architettura del Sistema

Lo studio valuta una microrete residenziale di 1000 case a Rockhampton, Australia, caratterizzata da:

• Generazione: Array fotovoltaici (PV) e turbine eoliche.
• Accumulo: Un sistema di accumulo di energia a batterie (BESS) per il bilanciamento a breve termine e un sottosistema a idrogeno (elettrolizzatore, serbatoio di stoccaggio, cella a combustibile) per l'autonomia a lungo termine.
• Interazione con la Rete: Capacità di importazione/esportazione verso la rete elettrica nazionale.
• Modello Matematico: Il sistema è modellato in tempo discreto con equazioni di bilancio della potenza che accoppiano generazione, accumulo, conversione dell'idrogeno e scambio con la rete.

2.2. Framework di Previsione

Viene impiegato un modello di previsione basato su Transformer per prevedere il carico della comunità su molteplici orizzonti ($H \in \{1, 6, 12, 24, 48, 72\}$ ore).

• Caratteristiche di Input: Carico storico, irraggiamento, temperatura ambiente, velocità del vento, prezzi dell'elettricità e indicatori temporali.
• Architettura: Il modello utilizza embedding di input, codifica posizionale e meccanismi di auto-attenzione multi-testa per catturare dipendenze temporali a lungo raggio.
• Prestazioni: Il modello viene addestrato indipendentemente e congelato prima di essere integrato nell'EMS. Le metriche di valutazione includono RMSE, MAE, MAPE, $R^2$ e correlazione.

2.3. Sistema di Gestione dell'Energia (EMS) Predittivo

Il contributo principale è l'estensione di un controllore basato su PPO a un framework assistito da previsioni.

• Augmentazione dello Spazio degli Stati: Lo stato standard del PPO (SOC della batteria, livello di idrogeno, prezzi correnti, ecc.) è aumentato con il vettore di previsione del carico multi-orizzonte ($\hat{P}_{L, t+1:t+H}$).
• Spazio delle Azioni: Azioni continue per la carica/scarica della batteria, il dispaccio del generatore diesel (durante i blackout) e la produzione/consumo di idrogeno.
• Funzione di Ricompensa: Progettata per minimizzare i costi operativi (import/export di rete, degradazione, domanda non soddisfatta) penalizzando l'operatività vicino agli estremi di accumulo.
• Addestramento: L'agente PPO impara a massimizzare la ricompensa cumulativa scontata. Lo studio confronta quattro scenari:
  1. Senza batteria (baseline fisica).
  2. PPO senza previsioni (reattivo).
  3. PPO con previsioni imperfette (proposto).
  4. PPO con previsioni perfette (limite superiore teorico).

3. Contributi Chiave

1. Valutazione Multi-Orizzonte delle Previsioni: Una valutazione completa della previsione del carico della comunità agli orizzonti di 1, 6, 12, 24, 48 e 72 ore utilizzando un'architettura Transformer.
2. Controllore PPO Arricchito dalle Previsioni: Sviluppo di un EMS predittivo in cui le aspettative future del carico sono incorporate direttamente nello stato del DRL, permettendo alla policy di anticipare i picchi di domanda e le variazioni di prezzo.
3. Isolamento Quantitativo del Valore della Previsione: Un confronto rigoroso che isola il valore operativo delle informazioni previsionali, confrontando il PPO assistito da previsioni con il PPO non predittivo e i benchmark a previsione perfetta.
4. Valutazione Olistica: Resoconto degli impatti economici, operativi, ambientali e di resilienza, riconoscendo esplicitamente i limiti relativi all'accuratezza delle previsioni e alle specifiche traiettorie dei componenti.

4. Risultati

4.1. Accuratezza della Previsione

Le prestazioni delle previsioni sono state miste e dipendenti dall'orizzonte:

• Orizzonte di 1 ora: Ha ottenuto le migliori prestazioni con un RMSE di 239,32 kW e $R^2 = 0,201$.
• Orizzonti intermedi (6h, 12h): Hanno performato scarsamente, con valori di $R^2$ negativi ($-0,757$e$-1,914$), indicando prestazioni peggiori di un predittore basato sulla media.
• Orizzonte di 24 ore: RMSE di 249,79 kW, MAPE del 62,52% e $R^2$ di 0,126.
• Orizzonti più lunghi (48h, 72h): L'RMSE si è stabilizzato intorno a 246–247 kW con valori di $R^2$ leggermente superiori a 0,1.

4.2. Apprendimento e Prestazioni Economiche

Nonostante la limitata accuratezza predittiva, il PPO assistito dalle previsioni ha dimostrato benefici significativi:

• Convergenza: Il controllore assistito dalle previsioni è convergente circa il 14,3% prima (Episodio 30 rispetto a 35) rispetto al controllore non predittivo.
• Miglioramento della Ricompensa: La ricompensa finale è aumentata dell'8,3% rispetto alla baseline non predittiva.
• Risparmio Annuale:
  • Senza previsioni: A$2.439,86.
  • Con previsioni: A$2.765,83.
  • Guadagno Incrementale: A$325,97 (un aumento del 13,4%).
  • Il modello implementato ha catturato circa il 90,5% dei risparmi ottenibili con previsioni perfette.
• Utilizzo delle Rinnovabili: Aumentato dal 35,3% (senza previsioni) al 36,4% (con previsioni).
• Importazioni dalla Rete: Ridotte di 170,15 kWh rispetto al caso non predittivo.

4.3. Risultati Operativi e di Resilienza

• Picco di Carico e Curtailment: La previsione non ha ridotto significativamente il picco di carico netto (riduzione di soli 0,65 kW) né il curtailment; anzi, il curtailment è stato leggermente superiore con le previsioni. Il valore primario è stato nel tempismo economico piuttosto che nel peak shaving.
• Resilienza: Durante gli scenari di interruzione della rete, la configurazione batteria/controllore ha fornito un valore di protezione del 20,1% rispetto all'assenza di batteria. Tuttavia, non è stato osservato alcun miglioramento misurabile della resilienza tra il controllore assistito dalle previsioni e quello non predittivo; la previsione non ha potenziato la gestione dei blackout negli scenari di stress testati.
• Impatto Ambientale: Le previsioni hanno ridotto le emissioni legate all'importazione dalla rete di ulteriori 85,08 kg di CO2 rispetto al caso non predittivo. Le grandi riduzioni di emissioni riportate sono state guidate dal conteggio dei crediti di esportazione piuttosto che da tagli fisici diretti alle emissioni.

5. Significato e Rivendicazioni

L'articolo conclude che previsioni imperfette possono comunque migliorare l'apprendimento del DRL e il dispaccio economico, anche quando l'accuratezza della previsione (misurata tramite $R^2$) è bassa o negativa per determinati orizzonti. Il controllore è riuscito a estrarre una struttura temporale utile dalle previsioni per ottimizzare la programmazione dell'accumulo e le transazioni con la rete.

Tuttavia, gli autori mantengono una posizione modesta riguardo alle implicazioni più ampie:

• Ambito Limitato: I risultati non supportano rivendicazioni di una superiore accuratezza delle previsioni, di una riduzione significativa del picco di carico o di una resilienza potenziata dalle previsioni.
• Valore Specifico: Il valore della previsione è principalmente economico (risparmio sui costi) e legato all'efficienza dell'apprendimento (convergenza più rapida), piuttosto che alla stabilità fisica della rete o alla riduzione dei picchi.
• Requisiti Futuri: L'articolo sottolinea che, prima di poter formulare rivendicazioni di un dispiegamento più ampio, è necessario ulteriore lavoro sulla calibrazione delle previsioni, su studi di interruzione a più lunga durata e sulla rendicontazione delle traiettorie dei componenti a livello di componente (specificamente l'operatività dell'elettrolizzatore e della cella a combustibile) per verificare come le previsioni influenzino la gestione dell'accumulo a lungo termine.

Lo studio funge da prova di concetto del fatto che l'integrazione di previsioni multi-orizzonte negli spazi di stato del DRL produce benefici economici tangibili, anche quando i modelli di previsione sottostanti non sono altamente accurati.