Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

技術要約：再生可能エネルギーベースの独立型マイクログリッドにおけるRL-TD3 PID制御とハイブリッドおよび従来型最適化手法の比較評価

問題提起
再生可能エネルギー源（RES）の独立型マイクログリッド（IMG）への統合は、負荷周波数制御（LFC）に対して重大な課題をもたらします。これらの課題は主に、慣性の減少、不安定な発電パターン、および予測不可能な負荷ダイナミクスに起因しています。従来の制御システム、特に固定ゲインの比例・積分・微分（PID）コントローラや、チューリング・ニールセン法のような標準的なチューニング手法は、非標準的な動作条件や変動するシステムパラメータの下で周波数安定性を維持できず、しばしば失敗します。メタヒューリスティック最適化アルゴリズム（遺伝的アルゴリズム、粒子群最適化など）を用いてPIDゲインを調整する手法も提案されていますが、これらはランダムな負荷変動への対応に苦慮することが多く、ハイパーパラメータのバランスを取るために膨大な計算リソースを必要とします。したがって、再生可能エネルギーベースのIMGの確率論的な性質に対処するための、適応性、堅牢性、およびリアルタイムのデータ駆動型最適化を提供する制御戦略が切実に求められています。

手法
本論文は、強化学習（RL）エージェント、具体的にはTwin Delayed Deep Deterministic Policy Gradient（TD3）アルゴリズムをPIDコントローラと統合した、新しい制御フレームワークを提案しています。TD3エージェントは、あらかじめ計算された最適値に依存するのではなく、システムとの相互作用に基づいてPIDゲイン（$K_p, K_i, K_d$）をリアルタイムで適応的に調整するように設計されています。

• システムモデリング： 多様な分散型電源（ディーゼルエンジン発電機、太陽光発電、風力タービン発電機、バイオガスタービン、燃料電池）およびエネルギー貯蔵システム（バッテリー、フライホイール、電気自動車）を組み込んだ、IMGの動的な数学的モデルを構築しました。これらのコンポーネントは、自律運転をシミュレートするために、一次伝達関数とスイング方程式を用いてモデル化されました。
• RL-TD3フレームワーク： 周波数偏差を最小化するために、アクター・クリティック法であるTD3アルゴリズムを採用しました。エージェンドは、周波数誤差にペナルティを与えるように設計された報酬関数を用い、1,000エピソード（各90秒）にわたってオフラインで学習されました。学習には、リプレイバッファ、過大評価エラーを低減するためのデュアルクリティックネットワーク、および安定性を高めるためのターゲットポリシースムージングが活用されました。
• 比較ベンチマーク： 提案されたRL-TD3-PIDコントローラを、以下の2つのメタヒューリスティック最適化手法と比較しました：
  1. COA-PID： コアティ最適化アルゴリズム（Coati Optimization Algorithm）を用いて最適化。
  2. CS-GWO-PID： グレーウルフ最適化（GWO）とカックーサーチ（Cuckoo Search）のハイブリッドを用いて最適化。
• シミュレーションシナリオ： MATLABの下で、以下の2つのシナリオで性能を評価しました：
  1. シナリオI： 2段階の負荷変化（0.06から0.075 p.u.）。
  2. シナリオII： 0.02から0.09 p.u.の間で変動するランダムなステップ負荷乱。
• 堅牢性分析： 主要なシステムパラメータ（慣性定数 $M$、減衰係数 $D$、および燃料電池とディーゼル発電機の時定数）を、単軸および多軸構成の両方において±25%変化させることで、感度分析を実施しました。

主な貢献

1. 適応型フレームワークの開発： 再生可能エネルギーの変動性と負荷変動に対処するため、PIDパラメータを適応的に制御できるTD3ベースのRLエージェントフレームワークを開発しました。
2. 動的シミュレーションモデル： 提案されたコントローラの周波数調整能力を検証するために、包括的なIMGの動的シミュレーションモデルを構築しました。
3. オンライン適応： 本研究は、環境の固定された数学的モデルを必要とせずに、オンラインでのデータ駆動型適応を実行できるRL-TD3-PIDコントローラの能力を実証しています。
4. 包括的な比較研究： 提案されたRLアプローチと、確立されたメタヒューリスティック手法（COAおよびGWO-CS）との間で、動的応答、乱への拒絶、およびパラメータの不確実性に関する構造化された比較を提供しました。

結果
シミュレーション結果は、RL-TD3-PIDコントローラが、動的応答および乱への拒絶の観点において、一般的にCOA-PIDおよびCS-GWO-PIDコントローラよりも優れた性能を示すことを示しています。

• 性能指標： シナリオIおよびシナリオIIの両方において、TD3-PIDコントローラは、最適化ベースのコントローラと比較して、時間重み付き絶対誤差の積分（ITAE）および時間重み付き二乗誤差の積分（ITSE）を含む積分性能指標において、より低い値を達成しました。
• 過渡応答： TD3-PIDコントローラは、より速い整定時間と、より優れた周波数振動の抑制を示しました。例えば、シナリオIにおいて、TD3-PIDのITAEは $2.65 \times 10^{-2}$ であり、CS-GWO-PIDの $7.09 \times 10^{-2}$ およびCOA-PIDの $8.40 \times 10^{-2}$ よりも大幅に低い値でした。
• 堅牢性： パラメータの不確実性（±25%の変動）の下で、TD3-PIDコントローラは、時間領域の指標における偏差を最小限に抑えつつ、安定した運用を維持しました。複雑な多軸乱の下ではオーバーシュートやアンダーシュートの値が増加する場合もありましたが、コントローラは一貫してシステムを低定常偏差を伴う準定常状態へと復帰させました。
• 収束性： 学習プロセスは、RLエージェントが安定したPIDゲイン値に収束したことを示しており、報酬関数は1,000エピソードを通じて制御性能が向上したことを示しています。

意義と主張
本論文は、深層強化学習と古典的なPID制御の統合が、再生可能エネルギーベースの独立型マイクログリッドにおける信頼性と効率の高い周波数調整のための有望なアプローチであることを主張しています。本研究は、RL-TD3アプローチが、静的な最適化手法と比較して、システムの不確実性と負荷変動に対する優れた適応性を提供することを強調しています。

著者らは、本研究が低慣性システムにおける従来の、あるいはメタヒューリスティックにチューニングされたコントローラの限界に対処するための重要な一歩であると位置付けています。しかしながら、本論文は控えめなトーンを維持しており、結果はシミュレーション研究に基づくものであり、ハードウェア・イン・ザ・ループやリアルタイム実験による実装による検証はまだ行われていないことを認めています。著者らは、提案された手法がテストされたほとんどのシナリオで優れた性能を示した一方で、特定の乱が発生するケースでは選択された最適化アルゴリズムがRL-TD3-PIDの性能をわずかに上回ったことも指摘しています。今後の課題として、実験的な検証、およびより複雑なマイクログリッド・トポロジーや通信遅延のある環境へのフレームワークの拡張が必要であると特定しています。