Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

技術要約：近接方策最適化（PPO）を用いた再生可能エネルギー統合型電力システムのための負荷周波数制御フレームワーク

問題提起
再生可能エネルギー源（風力および太陽光発電）の急速な導入は、現代の電力システムにおけるダイナミクスを根本的に変化させており、主にシステムの総慣性力の減少をもたらしている。同期発電機とは異なり、コンバータ介在型の再生可能エネルギーは機械的慣性が極めて小さいため、周波数変化率（RoCoF）の上昇、周波数のナディア（最低値）の深化、および擾乱に対する感受性の高まりを引き起こす。比例積分（PI）制御器や、その固定ゲインやヒューリスティックなチューニング（例：ジーゲル・ニコルス法）といった従来の負荷周波数制御（LFC）戦略は、こうした動的で低慣性な条件下では安定性を維持できないことが多い。近年の研究ではLFCへの強化学習（RL）の活用が模索されているが、既存のアプローチの多くは、RLを単なるゲイン調整メカニてもしくは既定のコントローラ（例：PIDやFuzzy-PI）の調整メカニズムとして利用しているか、あるいは計算複雑性が高く、ハイパーパラメータへの敏感さや収束の不安定性を抱える複雑な深層強化学習アルゴリズム（例：DDPG、TD3）を利用している。補助的なチューニング層を必要とせず、現実的なマルチシナリオの擾乱に対処できる、計算効率が高く、完全に適応可能で、構造的に簡素化された制御フレームワークへの需要が依然として存在する。

手法
本論文では、制御信号を直接PPOエージェントによって生成する二次LFCフレームワークを提案し、周波数調整をゲイン・スケジューリング・タスクではなく、連続的な制御決定問題として定式化する。

• システムモデリング： 物理システムは、スイング方程式に基づく低次サロゲート動的モデルを用いてモデル化される。このモデルには、再生可能エネルギー浸透による実効慣性の減少、アクチュエータの遅れ、ランプレート制約、および周波数平滑化が含まれる。状態ベクトルには、瞬時周波数偏差（$\Delta f$）、周波数積分偏差（$I_f$）、および実現された発電指令値（$P_{act}$）が含まれる。
• PPOの定式化： コントローラは、行動がガウス分布からサンプリングされる確率的方策 $\pi_\theta(a_t|s_t)$ を利用する。アルゴリズムは、クリップされたサロゲート目的関数を採用して方策の更新を制限し、安定した学習を保証するとともに、大規模で不安定なステップを防ぐ。
• 報酬構造： 周波数偏差、累積積分誤差、制御努力、動作の滑らかさ、および運用コスト（二次燃料コスト関数としてモデル化）にペナルティを課す、統一された多目的報酬関数を設計した。極めて重要な点として、報酬には周波数の安全限界違反およびアクチュエータの飽和に対するペナルティも含まれており、エージェントを安全かつ経済的な運用へと導く。
• 擾乱シナリオ： 本フレームワークは、以下の4つの異なる現実的な擾乱条件下で評価される：
  1. ケース1： ステージド・ロード（段階的負荷）擾乱と背景となる再生可能エネルギーの振動の組み合わせ。
  2. ケース2： 間欠的なパルスと確率的ノイズを伴う長期間の周期的な擾乱。
  3. ケース3： 嵐や雲の影響による再生可能エネルギーの変動をシミュレートした、過渡的な振動ストレス。
  4. ケース4： 再生可能エネルギーの脱落、ピーク負荷、および段階的な回復を含む、現実的なマルチイベント・コンティンジェンシー（不測の事態）。

主な貢献

1. 直接的な方策ベースの制御： ゲイン調整のためにRLを用いる研究とは異なり、本研究ではLFCを、PPOエージェントが既定のコントローラ構造なしにシステム状態から制御アクションへのマッピングを学習する、直接的な連続制御問題として定式化している。
2. 包括的なマルチシナリオ検証： 本フレームワークは、再生可能エネルギーの間欠性、長周期変動、および複合的なコンティンジェンシーなど、現実世界のグリッドストレスを模した4つの複雑な擾乱シナリオに対して厳格にテストされており、単純なステップ負荷テストを超えた検証を行っている。
3. 性能の優位性： 提案するPPOコントローラは、古典的な最適化コントローラ（GA-PI、TS-Fuzzy-PI、GA-Fuzzy-PI）および高度な深層強化学習バリアント（DDPG、TD3、SAC）と比較して優れた性能を示す。
4. 経済的統合： 報酬関数には発電コストが明示的に組み込まれており、学習された方策が周波数安定性を達成しながら、同時に運用コストを最小化することを実証している。

結果
最長86,400秒に及ぶ長期ホライゾンにわたって実施されたシミュレーション結果は、PPOベースのコントローラがすべてのベンチマークに対して大幅な性能向上を実現したことを示している：

• ケース1（ステップ負荷）： PPOコントローラは、ベンチマーク制御器の約1060に対し、積分二乗誤差（ISE）を0.45196まで低減させた。オーバーシュートは0.0171 Hz、平均絶対周波数偏差は0.0010 Hzを達成した。
• ケース2（周期的な擾乱）： 長期的な周期変動の下で、PPOコントローラはISEを0.031126に低減させ、平均振幅変化は0.00043351 Hzであったのに対し、他の手法は0.3125 Hz程度の偏差を示した。
• ケース3（振動ストレス）： コントローラは周波数を狭い帯域内に維持し、約0.03のISEと0.0005 Hz以下の平均絶対誤差を達成した。
• ケース4（現実的なコンティンジェンシー）： 脱落とピーク負荷を含む最も複雑なシナリオにおいて、PPOコントローラはISE 0.10953、制約付きオーバーシュート 0.023203 Hzを達成し、整定時間は一部のベンチマークが7,000秒を超えたのに対し、59秒であった。
• 経済的効率： 全ケースを通じて、多目的報酬定式化により、ベースラインの手法と比較して総発電コストを60～75%削減した。
• 安定性： 学習プロセスは、過学習することなく一貫した報酬の改善と収束を示し、学習された方策の安定性を検証した。

意義および主張
著者らは、提案されたPPOベースのフレームワークが、再生可能エネルギー主体の電力システムにおける周波数安定化のための、レジリエントで適応可能、かつ費用対効果の高いソリューションを提供すると主張している。本研究は、本手法が従来のコントローラの限界（適応性の欠如）および複雑な深層強化学習手法（計算負荷と不安定性）を克服することに成功したと断言している。直接的な制御方策を学習することで、本フレームワークは、ヒューリスティックなチューニングやハイブリッドアーキテクチャの必要性を排除し、構造的に簡素化されながらも非常に効果的なアプローチを提供する。研究結果は、報酬構造と制約が適切に構成されている場合、方策勾配強化学習、特にPPOが、低慣性の電力システムにおいて、古典的および高度なアクター・クリティック制御手法に代わる堅牢な選択肢となり得ることを示唆している。本論文は、このアプローチがリアルタイム適用に適しており、将来的にはマルチエリアシステムへ拡張可能であると結論付けている。