Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks

Probleemstelling

De optimale dispatch van energieopslagsystemen (ESS) in distributienetwerken is een complex optimalisatieprobleem dat twee tegengestelde doelen moet verenigen: het maximaliseren van de operationele economie (kostenbesparing) en het handhaven van de netspanningsveiligheid. Dit probleem wordt verergerd door:

1. Variabiliteit en onzekerheid: De toenemende integratie van gedistribueerde energiebronnen (DER's) en fluctuerende elektriciteitsprijzen.
2. Topologie-afhankelijkheid: De impact van ESS-acties op de spanning wordt bepaald door de elektrische connectiviteit en lijnimpedanties. In diepere en heterogene netwerken is dit lastig te modelleren.
3. Topologiewijzigingen: Netwerken ondergaan frequente herschikkingen (reconfiguratie) door schakeloperaties of herstelwerkzaamheden, wat de koppeling tussen bussen verandert.
4. Berekeningslast: Traditionele modelgebaseerde methoden (zoals niet-lineaire programmering, NLP) zijn nauwkeurig maar te traag voor real-time besluitvorming, vooral bij grote netwerken.

Data-gedreven Reinforcement Learning (RL) biedt een oplossing voor snelle online beslissingen, maar standaard RL-modellen (gebaseerd op vaste vectoren) missen vaak het vermogen om de fysieke structuur van het netwerk en de ruimtelijke afhankelijkheden effectief te generaliseren bij topologiewijzigingen.

Methodologie

De auteurs ontwikkelen een topologie-bewuste Reinforcement Learning-architectuur gebaseerd op het Twin Delayed Deep Deterministic Policy Gradient (TD3) algoritme, geïntegreerd met Graph Neural Networks (GNNs).

1. Markov Beslissingsproces (MDP):

• Toestand ($s_t$): Omvat tijd, elektriciteitsprijs, vraag per node, staat van lading (SOC) van ESS-nodes en spanningen (alleen bij ESS-nodes).
• Actie ($a_t$): Het laad- of ontlaadvermogen van elke ESS.
• Beloning ($r_t$): Een gewogen som van economische voordelen (opbrengst door te ontladen in plaats van inkopen) en straffen voor spanningsafwijkingen buiten de toegestane grenzen.

2. GNN-Encoder Architectuur:
In plaats van een platte vector te gebruiken, wordt de netwerktoestand gemodelleerd als een graaf $G=(E, X)$, waarbij $E$ de burenmatrix is en $X$ de node-features.

• Encoder: Drie varianten van GNNs worden geëvalueerd om node-embeddings te genereren die de topologie en elektrische koppeling vastleggen:
  • GCN (Graph Convolutional Network): Gebruikt genormaliseerde burenaggregatie.
  • TAGConv (Topology Adaptive Graph Convolution): Gebruikt polynoomfilters voor multi-hop aggregatie in één laag, waardoor zowel lokale als globale structuren worden vastgelegd zonder diepe netwerken.
  • GAT (Graph Attention Network): Gebruikt een attentie-mechanisme om de invloed van buren dynamisch te wegen.
• Asymmetrische Actor-Critic:
  • Actor: Gebruikt embeddings specifiek voor de ESS-nodes (via global pooling op de batterij-nodes) om acties te genereren. Dit houdt de architectuur lichtgewicht.
  • Critic: Aggregeert systeemwijde informatie via globale gemiddelde pooling van alle node-embeddings om de beloning onder netwerkbeperkingen te schatten.

3. Training en Evaluatie:
De modellen worden getraind op twee testsystemen: een 34-bus en een 69-bus distributienetwerk. Ze worden vergeleken met:

• Een standaard NN-baseline (Multi-Layer Perceptron zonder graafstructuur).
• Een NLP-benchmark (oplossing met IPOPT, die een theoretisch optimum biedt met perfecte kennis van de toekomst).
• Tests omvatten training op een vaste topologie, transfer binnen hetzelfde netwerk met herschikte topologieën, en cross-system transfer (van 34 naar 69 en vice versa).

Belangrijkste Bijdragen

1. Topologie-bewuste Encoder: Ontwikkeling van een GNN-encoder die netwerktopologie en elektrische koppeling expliciet integreert in de RL-toestand.
2. Asymmetrische RL-structuur: Een innovatieve actor-critic opzet waarbij de actor gefocust is op lokale ESS-acties en de critic systeemwijde effecten (zoals spanningsbeperkingen) evalueert.
3. Systematische Vergelijking: Een uitgebreide evaluatie van drie GNN-varianten (GCN, TAGConv, GAT) tegen NN-baselines, met focus op robuustheid bij topologiewijzigingen en generalisatie tussen netwerken van verschillende grootte.

Resultaten

• Snelheid: RL-modellen zijn 86 tot 614 keer sneller dan het oplossen van het NLP-probleem online. De uitvoeringstijd is onafhankelijk van de netwerkgrootte, terwijl NLP-tijd exponentieel toeneemt.
• Economische Prestaties:
  • Op het 34-bus systeem presteerde de standaard NN-baseline het beste (76% van de NLP-besparing), wat suggereert dat voor kleinere netwerken topologie-expliciete modellen niet altijd nodig zijn.
  • Op het 69-bus systeem (complexer, dieper radiaal) presteerden TD3-GCN en TD3-TAGConv significant beter dan de NN-baseline (respectievelijk ~109% en ~101% van de NN-prestatie).
• Spanningsregulatie: GNN-gebaseerde controllers reduceerden consistent het aantal en de grootte van spanningsviolaties in vergelijking met NN-baselines. Dit voordeel nam toe bij complexere netwerken (69-bus) en onder topologiewijzigingen.
• Generalisatie en Transfer:
  • Intra-netwerk: Modellen getraind op de oorspronkelijke topologie behielden hun prestaties redelijk goed bij herschikkingen binnen hetzelfde netwerk (kleine daling in nauwkeurigheid). GNN-modellen waren robuuster dan NN-modellen bij veranderingen in de elektrische koppeling.
  • Inter-netwerk (Zero-shot): Transfer tussen fundamenteel verschillende systemen (bijv. 34 naar 69 bus) leidde tot een drastische prestatiedaling (nauwkeurigheid daalde naar ~30-50%) en een toename van spanningsviolaties. Dit toont aan dat zero-shot transfer tussen zeer verschillende netwerkgroottes momenteel niet betrouwbaar is zonder aanpassing.
  • Stabiliteit: GAT-modellen toonden hoge variabiliteit (sommige seeds convergenteren niet), terwijl TAGConv en GCN stabieler waren.

Betekenis en Conclusie

De studie demonstreert dat topologie-bewust leren essentieel is voor de dispatch van energieopslag in grotere, complexere distributienetwerken.

• Praktische relevantie: GNN-RL biedt een haalbare oplossing voor real-time, constraint-aware dispatch die veel sneller is dan traditionele optimalisatie en beter presteert dan standaard RL bij het handhaven van spanningskwaliteit.
• Beperkingen: Hoewel GNNs beter generaliseren binnen een netwerk bij topologiewijzigingen, is "zero-shot" transfer naar een compleet ander netwerkgrootte nog steeds problematisch. De auteurs concluderen dat voor echte breedtoepassing verdere onderzoek nodig is naar technieken zoals fine-tuning op het doelsysteem of training met topologie-randomisatie om robuustheid over verschillende netwerkgroottes te garanderen.

Kortom, dit werk plaatst GNN-RL als een krachtige, schaalbare aanpak voor de toekomstige automatisering van slimme netwerken, mits de uitdagingen rondom cross-system generalisatie worden aangepakt.