Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

Technisches Resümee: Framework zur Lastfrequenzregelung für erneuerbare-energiereiche Energiesysteme mittels Proximal Policy Optimization

Problemstellung
Die schnelle Integration erneuerbarer Energiequellen (Wind und Photovoltaik) in moderne Stromnetze hat die Systemdynamik grundlegend verändert, primär durch eine Reduzierung der aggregierten Systemträgheit. Im Gegensatz zu konventionellen Synchrongeneratoren bieten wechselrichterbasierte Erneuerbare eine vernachlässigbare mechanische Trägheit, was zu erhöhten Frequenzänderungsraten (RoCoF), tieferen Frequenz-Nadir-Werten und einer gesteigerten Anfälligkeit gegenüber Störungen führt. Traditionelle Lastfrequenzregelungsstrategien (LFC), wie etwa Proportional-Integral-Regler (PI) mit festen Verstärkungsfaktoren oder heuristischer Abstimmung (z. B. Ziegler-Nichols), versagen unter diesen dynamischen, trägheitsarmen Bedingungen und stochastischen Erneuerbare-Outputs oft. Während jüngere Studien Reinforcement Learning (RL) für die LFC untersucht haben, verlassen sich viele bestehende Ansätze lediglich auf RL als Mechanismus zur Verstärkungsabstimmung für vordefinierte Regler (z. B. PID oder Fuzzy-PI) oder nutzen komplexe Deep-RL-Algorithmen (z. B. DDPG, TD3), die unter hoher Rechenkomplexität, Hyperparameter-Sensitivität und Konvergenzinstabilität leiden. Es besteht eine Lücke für ein recheneffizientes, voll adaptives und strukturell vereinfachtes Regelungsframework, das in der Lage ist, realistische Multi-Szenario-Störungen ohne zusätzliche Abstimmungsschichten zu bewältigen.

Methodik
Das Paper schlägt ein sekundäres LFC-Framework vor, bei dem das Steuersignal direkt von einem Proximal Policy Optimization (PPO)-Agenten generiert wird, wobei die Frequenzregelung als kontinuierliches Kontrollentscheidungsproblem und nicht als Gain-Scheduling-Aufgabe formuliert wird.

• Systemmodellierung: Das physikalische System wird miths einem reduzierten Ersatzdynamikmodell basierend auf der Schwingungsgleichung modelliert. Dieses Modell berücksichtigt die effektive Reduzierung der Trägheit durch die Penetration erneuerbarer Energien, Aktuatorverzögerungen, Rampenratenbeschränkungen und Frequenzglättung. Der Zustandsvektor umfasst die instantane Frequenzabweichung ($\Delta f$), die integrale Frequenzabweichung ($I_f$) und die realisierte Erzeugungsanforderung ($P_{act}$).
• PPO-Formulierung: Der Regler nutzt eine stochastische Policy $\pi_\theta(a_t|s_t)$, wobei die Aktionen aus einer Gauß-Verteilung gezogen werden. Der Algorithmus verwendet eine geklippte Surrogate-Objective-Funktion, um die Policy-Updates zu begrenzen, was eine stabile Lernphase gewährleistet und große, destabilisierende Schritte verhindert.
• Belohnungsstruktur: Eine einheitliche, multikriterielle Belohnungsfunktion wurde entwickelt, die Frequenzabweichung, kumulativen Integralfehler, Steuerungsaufwand, Aktuator-Glätte und Betriebskosten (modelliert über eine quadratische Brennstoffkostenfunktion) bestraft. Entscheidend ist, dass die Belohnung auch Strafen für die Verletzung von Frequenzsicherheitsgrenzwerten und Aktuatorsättigungen enthält, was den Agenten zu einem sicheren und wirtschaftlichen Betrieb führt.
• Störszenarien: Das Framework wird unter vier verschiedenen, realistischen Störungsbedingungen evaluiert:
  1. Fall 1: Gestufte Laststörungen kombiniert mit Hintergrund-Oszillationen erneuerbarer Energien.
  2. Fall 2: Langandauernde zyklische Störungen mit intermittierenden Pulsen und stochastischem Rauschen.
  3. Fall 3: Transiente oszillatorische Belastung, die Sturm- oder Wolken-induzierte Variabilität erneuerbarer Energien simuliert.
  4. Fall 4: Ein realistisches Multi-Event-Kontingenzszenario bestehend aus Ausfällen erneuerbarer Energien, Spitzenlasten und gestufter Erholung.

Zentrale Beiträge

1. Direkte Policy-basierte Regelung: Im Gegensatz zu Studien, die RL für die Verstärkungsabstimmung nutzen, formuliert diese Arbeit die LFC als direktes kontinuierliches Kontrollproblem, bei dem der PPO-Agent eine Policy lernt, die Systemzustände auf Steuerungsaktionen abbildet, ohne vordefinierte Reglerstrukturen zu benötigen.
2. Umfassende Multi-Szenario-Validierung: Das Framework wird rigoros gegen vier komplexe Störungsszenarien getestet, die reale Netzbelastungen wie die Intermittenz erneuerbarer Energien, Langzeitzyklen und zusammengesetzte Kontingenzfälle nachahmen und damit über einfache Lastsprungtests hinausgehen.
3. Überlegene Performance: Der vorgeschlagene PPO-Regler wird gegen klassische optimierte Regler (GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) sowie fortgeschrittene Deep-RL-Varianten (DDPG, TD3, SAC) getestet.
4. Ökonomische Integration: Die Belohnungsfunktion integriert explizit Erzeugungskosten, was zeigt, dass die gelernte Policy die Frequenzstabilität erreicht und gleichzeitig die Betriebskosten minimiert.

Ergebnisse
Die Simulationsergebnisse, durchgeführt über ausgedehnte Zeithorizonte (bis zu 86.400 Sekunden), zeigen signifikante Leistungsverbesserungen des PPO-basierten Reglers gegenüber allen Benchmarks:

• Fall 1 (Lastsprung): Der PPO-Regler reduzierte den Integral-Square-Error (ISE) auf 0,45196, eine drastische Verbesserung im Vergleich zu etwa 1060 bei den Benchmark-Reglern. Er erreichte einen Überschwinger von 0,0171 Hz und eine durchschnittliche absolute Frequenzabweichung von 0,0010 Hz.
• Fall 2 (Zyklische Störung): Unter langfristigen zyklischen Variationen reduzierte der PPO-Regler den ISE auf 0,031126 mit einer mittleren Amplitudenänderung von 0,00043351 Hz, während andere Methoden Abweichungen um 0,3125 Hz aufwiesen.
• Fall 3 (Oszillatorische Belastung): Der Regler hielt die Frequenz innerhalb eines engen Bandes und erreichte einen ISE von etwa 0,03 sowie einen durchschnittlichen absoluten Fehler unter 0,0005 Hz.
• Fall 4 (Realistisches Kontingenzszenario): Im komplexesten Szenario mit Ausfällen und Spitzenlasten erreichte der PPO-Regler einen ISE von 0,10953 und einen beschränkten Überschwinger von 0,023203 Hz, mit einer Einschwingzeit von 59 Sekunden im Vergleich zu über 7.000 Sekunden bei einigen Benchmarks.
• Ökonomische Effizienz: Über alle Fälle hinweg führte die multikriterielle Belohnungsformulierung zu einer Reduktion der Gesamterzeugungskosten um 60–75 % im Vergleich zu den Baseline-Methoden.
• Stabilität: Der Trainingsprozess zeigte eine konsistente Verbesserung der Belohnung und Konvergenz ohne Overfitting, was die Stabilität der gelernten Policy validiert.

Bedeutung und Ansprüche
Die Autoren behaupten, dass das vorgeschlagene PPO-basierte Framework eine resiliente, anpassungsfähige und kosteneffiziente Lösung für die Frequenzstabilisierung in erneuerbare-energiereichen Stromsystemen bietet. Die Studie stellt fest, dass die Methode erfolgreich die Einschränkungen traditioneller Regler (mangelnde Anpassungsfähigkeit) und komplexer Deep-RL-Methoden (Rechenaufwand und Instabilität) adressiert. Durch das Erlernen einer direkten Regel-Policy eliminiert das Framework die Notwendigkeit von heuristischer Abstimmung oder hybriden Architekturen und bietet somit einen strukturell vereinfachten, aber hochwirksamen Ansatz. Die Ergebnisse legen nahe, dass Policy-Gradient-Reinforcement-Learning, speziell PPO, eine robuste Alternative zu sowohl klassischen als auch fortgeschrittenen Actor-Critic-Regelungstechniken in trägheitsarmen Stromsystemen darstellen kann, sofern die Belohnungsstruktur und die Constraints korrekt konfiguriert sind. Das Paper schließt mit der Feststellung, dass dieser Ansatz für die Echtzeitanwendung geeignet ist und in zukünftiger Arbeit auf Multi-Area-Systeme skaliert werden kann.