Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

Technische Samenvatting: Vergelijkende Evaluatie van RL-TD3 PID-regeling tegenover Hybride en Conventionele Optimalisatoren in Hernieuwbare Eilandgestuurde Microgrids

Probleemstelling
De integratie van hernieuwbare energiebronnen (RES) in eilandgestuurde microgrids (IMG's) introduceert significante uitdagingen voor de belastingfrequentiecontrole (LFC). Deze uitdagingen komen voort uit de verminderde systeeminertie, onbetrouwbare generatiepatronen en onvoorspelbare belastingsdynamiek. Traditionele controlesystemen, met name die die vertrouwen op PID-regelaars met vaste versterking of standaard afstemmethoden zoals Ziegler–Nichols, falen vaak in het handhaven van frequentiestabiliteit onder niet-standaard bedrijfsvoorwaarden en variërende systeemparameters. Hoewel metaheuristische optimalisatiealgoritmen (bijv. Genetische Algoritmen, Particle Swarm Optimization) zijn voorgesteld om PID-versterkingen af te stemmen, worstelen zij vaak met willekeurige belastingsverstoringen en vereisen zij uitgebreide computationele middelen om hyperparameters te balanceren. Er is een kritieke behoefte aan controlesstrategieën die adaptiviteit, robuustheid en real-time datagestuurde optimalisatie bieden om de stochastische aard van hernieuwbare gebaseerde IMG's aan te pakken.

Methodologie
Het artikel stelt een nieuw controleframework voor dat een Reinforcement Learning (RL) agent, specifiek het Twin Delayed Deep Deterministic Policy Gradient (TD3) algoritme, integreert met een PID-regelaar. De TD3-agent is ontworpen om PID-versterkingen ($K_p, K_i, K_d$) in real-time adaptief af te stemmen op basis van systeeminteracties, in plaats van te vertrouwen op vooraf berekende optimale waarden.

• Systeemmodellering: Een dynamisch wiskundig model van een IMG is ontwikkeld, waarin diverse gedistribueerde generatie-eenheden (Dieselmotor Generator, Solar Fotovoltaïsche, Windturbine Generator, Biogas Turbine, Brandstofcel) en energieopslagsystemen (Batterij, Vliegwiel, Elektrische Voertuigen) zijn opgenomen. Deze componenten zijn gemodelleerd met behulp van eerste-orde overdrachtsfuncties en zwaaivergelijkingen om autonome operatie te simuleren.
• RL-TD3 Framework: Het TD3-algoritme, een actor-critic methode, werd toegepast om frequentieafwijkingen te minimaliseren. De agent werd offline getraind over 1.000 episodes (elk 90 seconden) met een beloningsfunctie die ontworpen is om frequentiefouten te bestraffen. De training maakte gebruik van een replay buffer, duale critic-netwerken om overschattingsfouten te verminderen, en target policy smoothing om stabiliteit te verbeteren.
• Vergelijkende Benchmarks: De voorgestelde RL-TD3-PID-regelaar werd vergeleken met twee metaheuristische optimalisatiebenaderingen:
  1. COA-PID: Geoptimaliseerd met behulp van het Coati Optimization Algorithm.
  2. CS-GWO-PID: Geoptimaliseerd met behulp van een hybride van Grey Wolf Optimization en Cuckoo Search.
• Simulatiescenario's: Prestaties werden geëvalueerd in MATLAB onder twee scenario's:
  1. Scenario I: Een tweestaps belastingverandering (0.06 naar 0.075 p.u.).
  2. Scenario II: Willekeurige stapbelastingsverstoringen variërend tussen 0.02 en 0.09 p.u.
• Robuustheidsanalyse: Een sensitiviteitsanalyse werd uitgevoerd door sleutelparameters van het systeem (inertieconstante $M$, dempingscoëfficiënt $D$, en tijdconstanten voor brandstofcellen en dieselgeneratoren) met ±25% te variëren in zowel uniaxiale als multiaxiale configuraties.

Belangrijkste Bijdragen

1. Ontwikkeling van een Adaptief Framework: De auteurs hebben een TD3-gebaseerd RL-agent framework ontwikkeld dat in staat is om PID-parameters adaptief te besturen in IMG's om de variabiliteit van hernieuwbare energie en belastingsverstoringen tegen te gaan.
2. Dynamisch Simulatiemodel: Een uitgebreid dynamisch simulatiemodel van een IMG is geconstrueerd om de frequentieregulatiecapaciteiten van de voorgestelde regelaar te valideren.
3. Online Adaptatie: De studie demonstreert het vermogen van de RL-TD3-PID-regelaar om online, datagestuurde adaptatie uit te voeren, wat de robuustheid tegen systeemonzekerheden verhoogt zonder dat een vast wiskundig model van de omgeving vereist is.
4. Uitgebreide Vergelijkende Studie: Het artikel biedt een gestructureerde vergelijking tussen de voorgestelde RL-aanpak en gevestigde metaheuristische methoden (COA en GWO-CS), waarbij prestaties worden geëvalueerd op het gebied van dynamische respons, verstoringverwijdering en parameteronzekerheid.

Resultaten
Simulatieresultaten geven aan dat de RL-TD3-PID-regelaar over het algemeen beter presteert dan de COA-PID en CS-GWO-PID-regelaars wat betreft dynamische respons en verstoringverwijdering.

• Prestatie-indicatoren: In zowel Scenario I als Scenario II behaalde de TD3-PID-regelaar lagere waarden voor integrale prestatie-indices, inclusief de Integral of Time-weighted Absolute Error (ITAE) en de Integral of Time-weighted Squared Error (ITSE), vergeleken met de optimalisatiegebaseerde regelaars.
• Transiënte Respons: De TD3-PID-regelaar vertoonde snellere insteltijden en een betere onderdrukking van frequentieoscillaties. Zo was bijvoorbeeld de ITAE voor de TD3-PID in Scenario I $2.65 \times 10^{-2}$, wat aanzienlijk lager is dan de $7.09 \times 10^{-2}$ voor CS-GWO-PID en $8.40 \times 10^{-2}$ voor COA-PID.
• Robuustheid: Onder parametrische onzekerheden (±25% variaties) behield de TD3-PID-regelaar een stabiele werking met minimale afwijking in tijddomein-indices. Hoewel sommige overshoot- en undershoot-waarden toenamen onder complexe multiaxiale verstoringen, bracht de regelaar het systeem consistent terug naar een quasi-steady state met een lage stationaire fout.
• Convergentie: Het trainingsproces toonde aan dat de RL-agent succesvol convergeerde naar stabiele PID-versterkingswaarden, waarbij de beloningsfunctie een verbeterde regeling presteerde over de 1.000 episodes.

Betekenis en Claims
Het artikel claimt dat de integratie van deep reinforcement learning met klassieke PID-controle een veelbelovende aanpak biedt voor betrouwbare en efficiënte frequentieregulatie in hernieuwbare gebaseerde eilandgestuurde microgrids. De studie benadrukt dat de RL-TD3-aanpak een superieure adaptiviteit biedt aan systeemonzekerheden en belastingsvariaties vergeleken met statische optimalisatiemethoden.

De auteurs positioneren het werk als een belangrijke stap naar het aanpakken van de beperkingen van conventionele en metaheuristisch afgestemde regelaars in systemen met lage inertie. De paper behoudt echter een bescheiden toon met betrekking tot de beperkingen, waarbij wordt erkend dat de resultaten gebaseerd zijn op simulatiestudies en nog niet zijn gevalideerd via hardware-in-the-loop of real-time experimentele implementatie. De auteurs merken op dat hoewel de voorgestelde methode in de meeste geteste scenario's een superieure prestatie liet zien, de geselecteerde optimalisatiealgoritmen in specifieke verstoringsgevallen de prestaties van de RL-TD3-PID licht overtroffen. Toekomstig werk wordt geïdentificeerd als noodzakelijk voor experimentele validatie en het uitbreiden van het framework naar complexere microgrid-topologieën en omgevingen met communicatievertraging.