Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks

Titolo: Apprendimento per Rinforzo Grafico Consapevole della Topologia per la Dispacciamento Ottimale dei Sistemi di Accumulo di Energia nelle Reti di Distribuzione

1. Il Problema

La gestione operativa delle reti di distribuzione (DN) sta diventando sempre più complessa a causa dell'alta penetrazione delle risorse energetiche distribuite (DER), della volatilità dei prezzi dell'energia e della necessità di mantenere la sicurezza della tensione.

• Sfide principali: L'ottimizzazione del dispacciamento dei Sistemi di Accumulo di Energia (ESS) deve bilanciare obiettivi economici (minimizzare i costi di acquisto) e vincoli tecnici (regolazione della tensione, limiti di corrente) in condizioni dinamiche.
• Limiti degli approcci esistenti: I metodi di ottimizzazione basati su modelli (come la programmazione non lineare - NLP) forniscono soluzioni di alta qualità ma sono computazionalmente onerosi per il tempo reale, specialmente su reti grandi o quando la topologia cambia frequentemente (reconfigurazione).
• Limiti degli approcci RL tradizionali: Gli algoritmi di Reinforcement Learning (RL) basati su reti neurali standard (NN) spesso ignorano la struttura grafica della rete elettrica. Poiché l'impatto delle azioni di un ESS sulla tensione dipende dalla connettività elettrica e dalle impedenze delle linee, i controllori "topology-agnostic" (che non conoscono la topologia) faticano a generalizzare bene su reti eterogenee o durante cambi di configurazione.

2. Metodologia

Gli autori propongono un'architettura di Reinforcement Learning (RL) consapevole della topologia, integrata con Graph Neural Networks (GNN), basata sull'algoritmo TD3 (Twin Delayed Deep Deterministic Policy Gradient).

• Formulazione MDP: Il problema è modellato come un Processo Decisionale di Markov (MDP).
  • Stato: Include il tempo, il prezzo dell'energia, la domanda di potenza, lo stato di carica (SOC) degli ESS e le tensioni ai nodi con ESS.
  • Azione: La potenza di carica/scarica di ogni ESS.
  • Ricompensa: Una funzione composta che premia il risparmio economico e penalizza le violazioni della tensione.
• Codificatore di Caratteristiche Grafiche (GNN Encoder):
  • La rete di distribuzione è rappresentata come un grafo dove i nodi sono le bus e gli archi sono le linee.
  • Vengono implementate tre varianti di GNN per codificare lo stato:
    1. GCN (Graph Convolutional Network): Aggrega informazioni dai vicini con normalizzazione simmetrica.
    2. TAGConv (Topology Adaptive Graph Convolution): Utilizza filtri polinomiali di ordine K per catturare dipendenze a più hop (multi-hop) in un singolo strato, utile per la propagazione degli effetti di controllo.
    3. GAT (Graph Attention Network): Assegna pesi diversi ai vicini tramite un meccanismo di attenzione, adattandosi dinamicamente all'importanza dei collegamenti.
• Architettura Asimmetrica Actor-Critic:
  • Attore (Actor): Utilizza le embedding grafiche estratte specificamente dai nodi con ESS per generare le azioni. Questo rende la politica focalizzata sulle unità di storage.
  • Critic: Utilizza il global mean pooling per aggregare le informazioni di tutti i nodi, ottenendo una rappresentazione a livello di sistema per stimare il valore della ricompensa sotto i vincoli di rete.
• Ambiente di Test: Simulazioni su due sistemi IEEE standard: il sistema a 34 bus e quello a 69 bus, con scenari di riconfigurazione topologica (cambiamenti nei collegamenti delle linee).

3. Contributi Chiave

1. Sviluppo di un Framework GNN-RL: Integrazione di encoder grafici (GCN, TAGConv, GAT) in un agente TD3 asimmetrico per il dispacciamento degli ESS, permettendo di catturare sia le azioni locali che gli effetti sistemici sulla tensione.
2. Valutazione Sistematica delle Varianti GNN: Confronto dettagliato tra diverse architetture grafiche su reti di dimensioni diverse, analizzando convergenza, comportamento operativo e rispetto dei vincoli.
3. Analisi di Robustezza e Generalizzazione:
   • Test di trasferimento intra-network: Valutazione delle prestazioni su topologie riconfigurate (cambiamenti nei collegamenti) all'interno dello stesso sistema.
   • Test di trasferimento cross-network: Valutazione del trasferimento "zero-shot" tra sistemi di dimensioni diverse (da 34 a 69 bus e viceversa), evidenziando i limiti attuali della generalizzazione su strutture fondamentalmente diverse.

4. Risultati

• Efficienza Computazionale: Gli agenti RL riducono il tempo di esecuzione online di 86-614 volte rispetto alla risoluzione NLP online, rendendo il dispacciamento quasi istantaneo.
• Prestazioni Economiche:
  • Sul sistema a 34 bus, la baseline NN (senza GNN) performa bene, ma i metodi GNN sono competitivi.
  • Sul sistema a 69 bus (più complesso), i metodi TD3-GCN e TD3-TAGConv superano la baseline NN, raggiungendo rispettivamente il 109% e il 101% della performance di risparmio economico della NN.
• Regolazione della Tensione (Violazioni):
  • I controllori basati su GNN riducono consistentemente il numero e l'entità delle violazioni della tensione rispetto alla NN, specialmente sul sistema a 69 bus e in scenari di riconfigurazione.
  • TAGConv e GAT mostrano un migliore equilibrio tra obiettivi economici e vincoli di tensione grazie alla loro capacità di catturare accoppiamenti a medio raggio.
• Generalizzazione e Trasferimento:
  • Riconfigurazione interna: Le politiche addestrate su una topologia funzionano bene su topologie riconfigurate dello stesso sistema, con GNN che mantengono prestazioni più stabili rispetto alle NN.
  • Trasferimento Cross-System: Il trasferimento zero-shot tra sistemi di dimensioni diverse (es. da 34 a 69 bus) porta a un crollo significativo delle prestazioni (accuratezza economica scende al 30-50%) e a un aumento delle violazioni di tensione. Questo indica che le politiche non generalizzano bene su strutture topologiche fondamentalmente diverse senza ri-addestramento o fine-tuning.

5. Significato e Implicazioni

Questo lavoro dimostra che l'integrazione della conoscenza della topologia della rete (tramite GNN) è cruciale per il dispacciamento degli ESS in reti di distribuzione complesse e dinamiche.

• Vantaggio Scalabile: Mentre le reti neurali standard faticano a scalare o adattarsi ai cambiamenti strutturali, i modelli basati su GNN sfruttano la struttura sparsa della rete, offrendo vantaggi crescenti all'aumentare della complessità della rete (come nel caso dei 69 bus).
• Robustezza Operativa: La capacità di ridurre le violazioni di tensione in scenari di riconfigurazione rende questi algoritmi promettenti per la gestione in tempo reale delle reti attive.
• Limiti e Direzioni Future: Sebbene i GNN siano superiori per la generalizzazione intra-network, il trasferimento cross-network rimane una sfida aperta. Il paper suggerisce che per un dispacciamento universale saranno necessari approcci di adattamento (come il fine-tuning sul sistema target o l'addestramento con topologie randomizzate) piuttosto che il trasferimento diretto zero-shot.

In sintesi, il paper stabilisce un nuovo standard per l'uso dell'RL nelle reti di distribuzione, dimostrando che la consapevolezza della topologia non è solo un miglioramento teorico, ma una necessità pratica per garantire sicurezza e stabilità in reti elettriche moderne e riconfigurabili.