Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

Technische Samenvatting: Kader voor Lastfrequentiecontrole voor Hernieuwbare Integratie in Krachtsystemen met behulp van Proximal Policy Optimization

Probleemstelling
De snelle integratie van hernieuwbare energiebronnen (wind en fotovoltaïsche energie) in moderne krachtsystemen heeft de systeemdynamiek fundamenteel veranderd, voornamelijk door de totale systeeminertie te verminderen. In tegenstelling tot conventionele synchrone generatoren bieden converter-geïnterfaceerde hernieuwbare bronnen een verwaarloosbare mechanische inertie, wat leidt tot hogere frequentieafwijkingssnelheden (RoCoF), diepere frequentienadirs en een verhoogde gevoeligheid voor verstoringen. Traditionele Lastfrequentiecontrole-strategieën (LFC), zoals Proportional-Integral (PI) regelaars met vaste versterkingsfactoren of heuristische afstemming (bijv. Ziegler-Nichols), schieten vaak tekort in het handhaven van stabiliteit onder deze dynamische, laag-inertie condities en stochastische hernieuwbare outputs. Hoewel recente studies Reinforcement Learning (RL) hebben verkend voor LFC, vertrouwen veel bestaande benaderingen op RL enkel als een mechanisme voor het afstemmen van versterkingsfactoren voor vooraf gedefinieerde controllers (bijv. PID of Fuzzy-PI) of maken zij gebruik van complexe deep RL-algoritmen (bijv. DDPG, TD3) die lijden onder hoge computationele complexiteit, hyperparametergevoeligheid en convergentie-instabiliteit. Er bestaat een gat voor een computationeel efficiënt, volledig adaptief en structureel vereenvoudigd regelkader dat in staat is om realistische multi-scenario verstoringen te verwerken zonder hulp-afstemlagen.

Methodologie
Het artikel stelt een secundair LFC-kader voor waarbij het besturingssignaal rechtstreeks wordt gegenereerd door een Proximal Policy Optimization (PPO) agent, waarbij frequentieregulatie wordt geformuleerd als een continu controlebeslissingsprobleem in plaats van een gain-scheduling taak.

• Systeemmodellering: Het fysieke systeem wordt gemodelleerd met behulp van een vereenvoudigd surrogaatdynamisch model gebaseerd op de zwaaivergelijking (swing equation). Dit model incorporeert de effectieve reductie van inertie door de penetratie van hernieuwbare energie, actuatorvertraging, ramp-rate beperkingen en frequentie-smoothing. De toestandsvector bevat de instantane frequentieafwijking ($\Delta f$), de geïntegreerde frequentieafwijking ($I_f$) en de gerealiseerde generatieopdracht ($P_{act}$).
• PPO-formulering: De controller maakt gebruik van een stochastische policy $\pi_\theta(a_t|s_t)$ waarbij acties worden gesampled uit een Gaussische distributie. Het algoritme gebruikt een 'clipped surrogate objective function' om policy-updates te beperken, wat zorgt voor stabiel leren en grote, destabiliserende stappen voorkomt.
• Beloningsstructuur: Een verenigde, multi-objectieve beloningsfunctie is ontworpen om frequentieafwijking, cumulatieve geïntegreerde fout, controle-inspanning, actuatiesmoothness en operationele kosten (gemodelleerd via een kwadratische brandstofkostenfunctie) te bestraffen. Cruciaal is dat de beloning ook straffen bevat voor het schenden van veiligheidslimieten voor frequentie en actuatorverzadiging, wat de agent stuurt naar veilige en economische operatie.
• Verstoringsscenario's: Het kader wordt geëvalueerd onder vier verschillende, realistische verstoringcondities:
  1. Geval 1: Gestaffelde lastverstoringen gecombineerd met achtergrondoscillaties van hernieuwbare energie.
  2. Geval 2: Langdurige cyclische verstoringen met intermitterende pulsen en stochastische ruis.
  3. Geval 3: Transiënte oscillerende stress die stormachtige en door bewolking veroorzaakte variabiliteit van hernieuwbare energie simuleert.
  4. Geval 4: Een realistische multi-event contingentie waarbij hernieuwbare uitval, piekbelasting en gestaffde herstelprocessen samenkomen.

Belangrijkste Bijdragen

1. Directe Policy-gebaseerde Controle: In tegen tegenstelling tot studies die RL gebruiken voor gain-tuning, formuleert dit werk LFC als een direct continu-controleprobleem waarbij de PPO-agent een policy leert die systeemtoestanden naar controleacties mapt zonder vooraf gedefinieerde controllerstructuren.
2. Uitgebreide Multi-Scenario Validatie: Het kader wordt rigoureus getest tegen vier complexe verstoringenscenario's die de werkelijke netspanningen nabootsen, inclus{\text{including}} hernieuwbare intermittentie, langcyclische variaties en samengestelde contingenties, waarmee verder wordt gegaan dan eenvoudige stap-lasttesten.
3. Prestatie-superioriteit: De voorgestelde PPO-controller wordt vergeleken met klassieke geoptimaliseerde controllers (GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) en geavanceerde deep RL-varianten (DDPG, TD3, SAC).
4. Economische Integratie: De multi-objectieve beloningsfunctie integreert expliciet generatiekosten, wat aantoont dat de geleerde policy frequentiestabiliteit bereikt terwijl deze tegelijkertijd de operationele kosten minimaliseert.

Resultaten
De simulatieresultaten, uitgevoerd over uitgebreide tijdshorizonten (tot 86.400 seconden), tonen significante prestatieverbeteringen van de PPO-gebaseerde controller ten opzichte van alle benchmarks:

• Geval 1 (Staplast): De PPO-controller reduceerde de Integral Square Error (ISE) tot 0,45196, een drastische verbetering vergeleken met ongeveer 1060 voor benchmark-controllers. Het bereikte een overshoot van 0,0171 Hz en een gemiddelde absolute frequentieafwijking van 0,0010 Hz.
• Geval 2 (Cyclische Verstoring): Onder langdurige cyclische variaties reduceerde de PPO-controller de ISE tot 0,031126 met een gemiddelde amplitudeverandering van 0,00043351 Hz, terwijl andere methoden afwijkingen rond de 0,3125 Hz vertoonden.
• Geval 3 (Oscillerende Stress): De controller hield de frequentie binnen een nauwe band, met een ISE van ongeveer 0,03 en een gemiddelde absolute fout onder de 0,0005 Hz.
• Geval 4 (Realistische Contingentie): In het meest complexe scenario met uitval en piekbelastingen bereikte de PPO-controller een ISE van 0,10953 en een beperkte overshoot van 0,023203 Hz, met een insteltijd van 59 seconden vergeleken met meer dan 7.000 seconden voor sommige benchmarks.
• Economische Efficiëntie: Over alle gevallen heen resulteerde de multi-objectieve beloningsformulering in een reductie van 60–75% in totale generatiekosten vergeleken met baseline-methoden.
• Stabiliteit: Het trainingsproces vertoonde consistente beloningsverbetering en convergentie zonder overfitting, wat de stabiliteit van de geleerde policy valideert.

Betekenis en Claims
De auteurs claimen dat het voorgestelde PPO-gebaseerde kader een veerkrachtige, aanpasbare en kosteneffectieve oplossing biedt voor frequentiestabilisatie in hernieuwbare energie-gedomineerde krachtsystemen. De studie stelt dat de methode succesvol de beperkingen van traditionele controllers (gebrek aan aanpassingsvermogen) en complexe deep RL-methoden (computationele last en instabiliteit) aanpakt. Door een directe controlepolicy te leren, elimineert het kader de noodzaak voor heuristische afstemming of hybride architecturen, waardoor een structureel vereenvoudigde maar zeer effectieve aanpak wordt geboden. De bevindingen suggereren dat policy-gradient reinforcement learning, specifiek PPO, kan dienen als een robuust alternatief voor zowel klassieke als geavanceerde actor-critic-controleteknieken in laag-inertie krachtsystemen, mits de beloningsstructuur en restricties correct zijn geconfigureerd. Het artikel concludeert dat deze aanpak geschikt is voor real-time toepassing en in toekomstig werk kan worden opgeschaald naar multi-area systemen.