Technische Samenvatting: Hiërarchisch Beperkt Reinforcement Learning met Dynamische Grenzen voor Spatio-Temporele Vehicle-to-Grid Planning

1. Probleemformulering

Het artikel behandelt de uitdaging van het integreren van grootschalige elektrische voertuigvloten (EV) in het Optimal Power Flow (OPF) kader voor Vehicle-to-Grid (V2G) planning. Deze integratie is cruciaal voor de stabiliteit van het elektriciteitsnet en de mitigatie van hernieuwbare energie, maar stuit op twee primaire hindernissen:

1. Computationele Complexiteit: Traditionele Mixed-Integer Nonlinear Programming (MINLP) formuleringen voor OPF-EV kampen met hoge computationele kosten door discrete EV-aansluitingsstatussen en niet-lineaire vermogensvergelijkingen. Solvers zoals SCIP schalen slecht, en Model Predictive Control (MPC) brengt aanzienlijke overhead met zich mee door zijn iteratieve aard, wat realtime coördinatie van grote vloten onpraktisch maakt.
2. Constraint-naleving in Leren: Bestaande Deep Reinforcement Learning (DRL) methoden worstelen met het balanceren van schaalbaarheid en strikte naleving van beperkingen (constraints). De meeste "Safe RL" benaderingen vertrouwen op zachte straffen (soft penalties) of post-hoc projecties, die er niet in slagen strikte naleving van fysieke vermogensbalans-gelijkheidsvoorwaarden (AC-OPF) of de temporeel gekoppelde laadevorderingen van individuele EV's te garanderen. Bovendien gaan standaard RL-frameworks vaak uit van vaste state/action dimensies, waardoor ze niet kunnen omgaan met de dynamische aankomst en vertrek van EV's.

Het doel is om de gecombineerde kosten van netgeneratie en EV-laden te minimaliseren, terwijl aan de AC-vermogensstroomvergelijkingen, generator-/spanningslimieten wordt voldaan en ervoor wordt gezorgd dat elke EV zijn doel-SOC (State of Charge) bereikt vóór vertrek.

2. Methodologie: HPC-RL Framework

De auteurs stellen HPC-RL (Hierarchical Policy for Constrained Reinforcement Learning) voor, een tweelaagse architectuur die ontworpen is om ruimtelijke netbeperkingen te ontkoppelen van temporele EV-beperkingen.

2.1 Bovenste Laag: Physics-Integrated GRG-SAC

De bovenste laag beheert netniveau-variabelen (actief/reactief vermogen van generatoren, spanningsmagnitudes en fasehoeken) en geaggregeerde laadevarden.

• GRG Integratie: In plaats van vermogensstroomvergelijkingen als zachte beperkingen te behandelen, embedt het framework deze analytisch in het beleidsproces (policy generation) met behulp van de Generalized Reduced Gradient (GRG) methode gecombineerd met Soft Actor-Critic (SAC).
• Variabele Decompositie: Beslissingsvariabelen worden gesplitst in basisacties ($a_B$, bijv. generatorvermogen, spanningsmagnitudes bij niet-belastingbussen) die door de RL-policy worden gegenereerd, en niet-basis variabelen ($a_N$, bijv. belastingbus-spanningen, fasehoeken).
• Impliciete Mapping: De niet-basis variabelen worden deterministisch afgeleid door de vermogensbalans-gelijkheidsvoorwaarden ($h(a_B, a_N) = 0$) op te lossen via de Newton-methode. Dit creëert een impliciete mapping $a_N = \phi(a_B)$.
• Gradiëntpropagatie: Met behulp van de Implicit Function Theorem worden gradiënten teruggepropageerd door deze mapping om het beleid bij te werken, waardoor updates binnen de raaklijn (tangent space) van de gelijkheidsvoorwaarden blijven.
• Ongelijkheidshantering: Een projectiemechanisme brengt acties naar de toegestane verzameling (feasible set) indien ongelijkheidsbeperkingen (bijv. spanningslimieten) worden geschonden.

2.2 Onderste Laag: Dynamic Boundary Strategie

De onderste laag beheert de individuele EV-dispatch binnen laadstations om temporeel gekoppelde beperkingen aan te pakken (het waarborgen dat EV's hun doel-SOC bereiken voor vertrek).

• Dynamische Grenzen: Het framework introduceert een nieuwe strategie om realtime haalbare laadvermogensgrenzen ($P^{min}_{i,ch}$ en $P^{max}_{i,ch}$) voor elke EV te berekenen.
  • De bovengrens wordt beperkt door fysieke laadsnelheden en de resterende batterijcapaciteit.
  • De ondergrens wordt berekend op basis van de resterende tijd tot vertrek en het tekort tussen de huidige en de doel-SOC, wat garandeert dat laden voltooid kan worden als het minimale vermogen wordt toegepast.
• Prioritaire Allocatie: De allocator op het lagere niveau zorgt er eerst voor dat alle EV's hun minimale vereiste vermogen ontvangen (afgedwongen door de dynamische grenzen). De resterende stationcapaciteit wordt vervolgens verdeeld over EV's met de hoogste laadurgentie (gebaseerd op SOC-tekorten en naderend vertrek).
• State Representatie: Een gespecialiseerde demand embedding layer codeert toekomstige laadevorderingen in de state space om het leerrendement te verbeteren.

3. Belangrijkste Bijdragen

1. Verenigde Handhaving van Spatio-Temporele Constraints: Het paper integreert de GRG-methode in RL om strikte fysieke veiligheid op netniveau (vermogensstroom gelijkheid) af te dwingen, terwijl een dynamische grenzenstrategie wordt gebruikt om temporele laadevorderingen te garanderen. Dit gaat verder dan zachte straffen en beweegt naar harde naleving van constraints.
2. Hiërarchische Schaalbaarheid: Door de netniveau vermogensdispatch te ontkoppelen van de individuele EV-allocatie, overwint het framework de "vloek van dimensionaliteit" die gepaard gaat met grootschalige, variabel georiënteerde EV-vloten.
3. Real-Time Haalbaarheid: De methode bereikt bijna optimale planning met een bijna nul-percentage aan constraint-schendingen, wat de online computationele tijd drastisch vermindert vergeleken met traditionele solvers.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op IEEE 14, 30, en een aangepast 141-bus systeem, waarbij HPC-RL werd vergeleken met MPC en diverse Safe RL baselines (CPO, CUP, DDPGLA, SACLA).

• Constraint Naleving: HPC-RL bereikte 100% vraagbevrediging en vrijwel nul constraint-schendingen over alle schalen heen. In contrast hiermee leden baseline Safe RL-methoden vaak aan ernstige schendingen (bijv. CPO vertoonde 0,77–164,25 schendingsmagnitudes) of faalden ze om EV-laadevorderingen te voldoen (66–92% bevrediging).
• Computationele Efficiëntie: HPC-RL verminderde de online inferentietijd met factoren van 52×, 67×, en 319× vergeleken met MPC op de 14, 30, en 141-bus systemen, respectievelijk. Terwijl MPC honderden tot duizenden seconden in beslag nam, opereerde HPC-RL in minder dan 5 seconden, zelfs voor het 141-bus systeem.
• Optimaliteit: HPC-RL incorporeerde een gematigde objectieve-kostenkloof (ca. 7–13%) vergeleken met de optimale MPC-oplossing, maar bood een haalbare oplossing waar MPC computationeel onhaalbaar was voor real-time gebruik.
• Schaalbaarheid: Het systeem behield efficiëntie naarmate het aantal actieve EV's toenam van 1 naar 50, waarbij de inferentietijden laag bleven (onder de 2 seconden voor 50 EV's) vergeleken met de exponentiële groei van MPC.
• Ablatie Studies:
  • Demand Embedding: Het opnemen van toekomstige vraaginformatie in de state representatie verbeterde de convergentiesnelheid aanzienlijk en verminderde de constraint-schendingen.
  • Priority Allocation: De dynamische prioriteitsgestuurde allocatie presteerde beter dan statische gemiddelde distributie in termen van reward accumulatie, terwijl de veiligheid van de constraints behouden bleef.

5. Betekenis en Claims

Het paper claimt dat HPC-RL een computationeel hanteerbaar en fysiek betrouwbaar paradigma biedt voor grootschalige V2G coördinatie. De betekenis ligt in het oplossen van de fundamentele trade-off tussen real-time schaalbaarheid en de strikte naleving van gekoppelde spatio-temporele constraints. Door fysieke constraints analytisch in het leerproces te embedden en temporele verplichtingen te ontkoppelen via dynamische grenzen, maakt de methode de inzet van RL-gebaseerde V2G planning mogelijk in scenario's waar traditionele optimalisatie te traag is en standaard RL onveilig is. De auteurs positioneren dit als een stap richting het aanpakken van stochastische hernieuwbare generatie en complexe distributie-topologieën in toekomstig werk.