A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets

1. Probleemstelling

In geliberaliseerde elektriciteitsmarkten zijn investeringsbeslissingen voor transmissienetwerken en operationele beslissingen van generatoren (biedstrategieën) sterk met elkaar verweven. Traditionele methoden voor transmissie-uitbreidingsplanning (Transmission Expansion Planning - TEP) gebruiken vaak multi-level optimalisatiemodellen die uitgaan van rationele marktevenwichten. Deze modellen hebben echter beperkingen:

• Ze kunnen strategisch biedgedrag (waarbij generatoren hun winst maximaliseren door prijzen kunstmatig te verlagen of verhogen) en de resulterende prijsvolatiliteit onvoldoende modelleren.
• Er is een scheiding tussen operationele optimalisatie (waarbij het netwerk als vast wordt beschouwd) en uitbreidingsplanning (waarbij biedgedrag vaak wordt vereenvoudigd).
• In de praktijk beïnvloeden netwerkaanpassingen de locational prices en dispatch-patronen, terwijl biedstrategieën en congestiepatronen op hun beurt de economische waarde van uitbreidingen bepalen.

Het paper adresseert deze kloof door een framework te ontwikkelen dat zowel strategisch biedgedrag als transmissie-investeringen gelijktijdig optimaliseert.

2. Methodologie

De auteurs stellen een Reinforcement Learning (RL)-gebaseerd co-optimisatie framework voor dat gebruikmaakt van Multi-Agent Deep Deterministic Policy Gradient (MADDPG). Het systeem bestaat uit twee gekoppelde lagen:

A. Marktsimulatie (Multi-Agent RL)

• Agenten: Generatiebedrijven (GENCOs) worden gemodelleerd als autonome agenten die strategische biedprijzen ($\lambda^{bid}$) indienen om hun winst te maximaliseren.
• Observatie: Agenten observeren lokale toestanden zoals totale vraag, hun vorige biedprijs en de huidige netwerktopologie.
• Actie: Agenten leren een biedstrategie die de marginale productiekosten verhoogt met een factor die afhankelijk is van de marktsituatie.
• Marktruiming: Een marktoperator voert op elk tijdstip een DC-Optimal Power Flow (DC-OPF) uit om het aanbod en de vraag in evenwicht te brengen onder rekening houdend met lijncapaciteiten.
• Beloning: De beloning voor een agent is gebaseerd op de winst (verschil tussen geklaarde prijs en marginale kosten vermenigvuldigd met de geproduceerde energie).

B. Co-optimisatie van Transmissiecapaciteit

Het innovatieve aspect is de toevoeging van een ontwerppolicy-laag die de transmissie-investeringen optimaliseert:

• Ontwerpvariabelen: De netwerkkapaciteit wordt behandeld als een stochastische variabele $\omega$ die aan het begin van elke "episode" wordt bemonsterd.
  • Continue expansie: Aanpassing van de capaciteit ($\Delta L$) via een Gaussische verdeling.
  • Discrete siting: Beslissing om een lijn te upgraden (0 of 1) via een Bernoulli-verdeling.
• Lerningsproces:
  1. Een ontwerp-policy (geparametriseerd door $\mu$) genereert een netwerkconfiguratie.
  2. De multi-agent RL-agenten spelen een marktsimulatie in dit netwerk.
  3. De totale kosten (operationele kosten + investeringskosten) worden berekend.
  4. De ontwerp-policy wordt bijgewerkt via een policy-gradient methode om de totale kosten te minimaliseren, rekening houdend met hoe het netwerk de biedstrategieën beïnvloedt.

3. Belangrijkste Bijdragen

• Unificatie van ontwerp en operatie: Dit is het eerste paper dat een RL-framework toepast voor co-optimisatie van transmissie-uitbreiding en strategisch biedgedrag in elektriciteitsmarkten.
• Integratie van strategisch gedrag: In tegenstelling tot traditionele modellen die aannemen dat markten rationeel zijn, leert het framework hoe strategische bieders reageren op netwerkaanpassingen en vice versa.
• Flexibiliteit: Het framework ondersteunt zowel continue capaciteitsaanpassingen als discrete beslissingen over welke lijnen moeten worden uitgebreid.
• Validatie: Het concept wordt gevalideerd op het IEEE 30-bus systeem, waarbij het de interactie tussen marktdynamiek en investeringsbeslissingen effectief vastlegt.

4. Resultaten (Case Studies)

De auteurs hebben het framework getest op het IEEE 30-bus systeem en vergeleken met een conventionele tweestapsbenadering (PyPSA voor planning, gevolgd door RL-simulatie).

• Vergelijking met Tweestaps-benchmark:

  • De traditionele aanpak (PyPSA) negeert strategisch biedgedrag tijdens de planning. Als er wordt uitgegaan van "agressieve" biedingen, plant PyPSA onnodig veel capaciteit (81,4 MW op lijn 4-12).
  • Het voorgestelde RL-framework leert dat strategische agenten hun biedgedrag aanpassen aan het netwerk. Het resulteert in een efficiëntere uitbreiding van 76,1 MW op dezelfde lijn, wat leidt tot lagere totale kosten.
  • De RL-aanpak voorkomt "over-investering" omdat het de strategische reactie van de markt internaliseert.

• Discrete Sitingsbeslissingen:

  • In een scenario met meerdere kandidaat-lijnen en vaste upgrade-maten (50 MW), leerde het framework om twee specifieke lijnen (1-2 en 4-12) uit te breiden.
  • Hoewel de investeringskosten iets hoger waren door de extra lijn (1-2), daalden de operationele kosten aanzienlijk. De uitbreiding van lijn 1-2 verminderde de congestie die Gen 1 gebruikte om marktmacht uit te oefenen, waardoor de biedprijzen daalden.
  • Dit toont aan dat het framework effectieve uitbreidingslocaties kan identificeren door de impact op marktmacht te internaliseren.

5. Betekenis en Conclusie

Dit onderzoek biedt een fundamentele doorbraak in de planning van elektriciteitsnetten. Door Reinforcement Learning te gebruiken om zowel het netwerkontwerp als het marktgedrag gelijktijdig te leren, kunnen planningsinstrumenten realistischere en kostenefficiëntere scenario's genereren.

• Praktische relevantie: Het framework helpt netbeheerders om investeringen te doen die niet alleen technisch noodzakelijk zijn, maar ook economisch optimaal in een competitieve markt met strategische spelers.
• Toekomstperspectief: De auteurs concluderen dat dit framework een veelbelovende basis vormt voor schaalbare toepassingen in grotere systemen, multi-markt omgevingen en geïntegreerde planning van generatie en transmissie.

Kortom, het paper demonstreert dat het negeren van strategisch biedgedrag bij transmissieplanning kan leiden tot inefficiënte investeringen, en dat RL een krachtig middel is om deze complexiteit te doorgronden en te optimaliseren.