論文要約：配電網におけるエネルギー貯蔵システム（ESS）の最適Dispatchのためのトポロジー認識グラフ強化学習

1. 研究の背景と課題

配電網（Distribution Networks）への分散型エネルギー資源（DER）の浸透と、時間変動する電気料金により、配電網のリアルタイム運用は複雑化しています。エネルギー貯蔵システム（ESS）は、需給バランスの調整や電圧制御において重要な柔軟性源ですが、その最適Dispatch（充放電制御）は、経済性（コスト削減）と技術的制約（電圧・線路電流の制約）を同時に満たす非線形計画問題（NLP）として定式化されます。

従来のモデルベース最適化手法（確率的最適化やロバスト最適化など）は高品質な解を提供できますが、大規模ネットワークや頻繁な運用条件変化において、リアルタイムで反復計算を行う際の計算コストが課題となります。

一方、強化学習（RL）はオフライン学習とオンライン推論により瞬時の制御を可能にしますが、以下の 2 つの課題が残されています：

1. トポロジー依存性: ESS の動作が電圧に与える影響は、電気的な接続関係や線路インピーダンスに依存するため、深い階層構造を持つ不均質なネットワークでは捉えにくいです。
2. トポロジー再構成への対応: 配電網はスイッチ操作や復旧によりトポロジーが頻繁に変化します。トポロジーを無視した（トポロジー非依存の）制御器は、一般化性能が低く、制約違反を引き起こす可能性があります。

2. 提案手法：トポロジー認識グラフ強化学習

本研究は、双遅延深層決定性方策勾配（TD3）アルゴリズムに、グラフニューラルネットワーク（GNN）をグラフ特徴エンコーダとして組み込んだトポロジー認識型 RL アーキテクチャを提案します。

2.1 数理モデルと MDP 定式化

ESS の最適Dispatch問題をマルコフ決定過程（MDP）として定式化します。

• 状態（State）: 時刻、電気料金、各ノードの需要、ESS ノードの SOC（充電量）、電圧。
• 行動（Action）: 各 ESS の充放電電力。
• 報酬（Reward）: 電気購入コストの削減（経済性）と電圧偏差に対するペナルティ（技術的安定性）の重み付き和。

2.2 グラフ特徴エンコーダ

配電網をノード（バス）とエッジ（線路）からなるグラフとして捉え、GNN を用いて状態をエンコードします。

• 入力: 各ノードの特徴ベクトル（時刻、料金、需要、ESS 有無のインジケータ、SOC、電圧など）と隣接行列。
• GNN 変種の比較: 3 つの代表的な GNN 構造を比較検討しました。
  1. GCN (Graph Convolutional Network): 正規化された隣接行列を用いた対称的なメッセージ伝播。
  2. TAGConv (Topology Adaptive Graph Convolution): 多次数の多項式フィルタを用い、単一層でマルチホップ（多段）の情報を集約可能。
  3. GAT (Graph Attention Network): アテンション機構により、重要な隣接ノードに重みを付けて集約。
• 非対称アクター・クリティック構造:
  • アクター（方策）: ESS ノードに焦点を当てたグラフ埋め込み（Embedding）を使用し、制御行動を生成。
  • クリティック（価値関数）: グローバルプーリングを用いてシステム全体の情報を集約し、ネットワーク制約下での報酬を評価。

3. 主要な貢献

1. トポロジー認識エンコーダの開発: 配電網のトポロジーと電気的結合を埋め込む GNN エンコーダを ESS 制御に統合し、GCN、TAGConv、GAT の 3 種を比較評価した。
2. 非対称 RL アーキテクチャの統合: TD3 アルゴリズムに上記エンコーダを組み合わせ、局所的な ESS 動作とシステム全体の電圧影響を同時に考慮する制御を実現した。
3. 包括的な頑健性評価: 同一システム内でのトポロジー再構成（スイッチ操作など）および、異なるシステムサイズ（34 バス vs 69 バス）間でのクロスシステム転移（ゼロショット転移）における性能を体系的に評価した。

4. 実験結果

IEEE 34 バスシステムと 69 バスシステムを用いたシミュレーション実験を行いました。

4.1 学習性能と経済性

• 学習の安定性: 34 バスシステムでは、トポロジー非依存の NN ベース（TD3-NN）が最も高い最終報酬を達成しましたが、69 バスシステム（より複雑なトポロジー）では、TD3-GCN と TD3-TAGConv が TD3-NN を上回る性能を示しました。
• コスト削減: 69 バスシステムにおいて、TD3-GCN と TD3-TAGConv は、NLP ベンチマーク（最適解）に対して TD3-NN よりも高いコスト削減率（保存コスト）を達成しました。
• 計算速度: 最適化手法（NLP）に比べ、RL 推論は 86〜614 倍高速であり、大規模ネットワークほどその優位性が顕著でした。

4.2 電圧制御性能

• 電圧違反の低減: GNN ベースの制御器は、TD3-NN に比べて電圧違反の頻度と大きさを一貫して低減しました。
• 複雑なネットワークでの効果: 69 バスシステムやトポロジー再構成条件下において、GNN の利点がより明確に現れました。特に TAGConv と GAT は、中距離の結合関係を捉えることで、電圧制約のバランスが良好でした。

4.3 一般化性能と転移学習

• 同一システム内での再構成: トポロジーが一部変更された場合（ブランチ接続の変更など）、学習済みポリシーは性能を維持し、NN ベースと比べて GNN ベースの方が再構成後の電圧制御においてより一貫した性能を示しました。
• クロスシステム転移（ゼロショット）: 34 バスから 69 バス、あるいはその逆への転移は、性能の大幅な低下を招きました。
  • 69→34 の転移ではコスト削減率が約 50% に低下し、場合によってはコスト増となりました。
  • 34→69 の転移ではさらに低下し（約 30%）、電圧違反も増加しました。
  • 結論: 根本的に異なるトポロジー間でのゼロショット転移は困難であり、微調整（ファインチューニング）やトポロジー多様化トレーニングによる適応が必要であることが示されました。

5. 意義と結論

本研究は、配電網の ESS 制御において、GNN を活用したトポロジー認識型強化学習の有効性を実証しました。

• 実用性: RL による高速なオンライン制御により、最適化手法の計算ボトルネックを解消しつつ、NLP ベンチマークに近い経済性を実現しました。
• 安全性: トポロジー情報を明示的に学習させることで、電圧制約の遵守が向上し、特に大規模で複雑なネットワークやトポロジー変化に対して頑健な制御が可能となりました。
• 今後の展望: 異なるシステム間での転移学習の課題を解決するため、トポロジー多様化トレーニングやターゲットシステムへの軽量適応手法の開発が今後の課題です。

総じて、このアプローチは、変動する運用条件とネットワーク構成下でも、経済性と安全性を両立させる次世代の配電網制御システムの実現に向けた重要なステップです。