Multi-market value-stacking: Battery control for combined imbalance participation and non-uniform FCR bidding

技術サマリー：非一様 FCR 入札によるマルチ市場価値積み上げ

問題定義
欧州の電力システムにおける再生可能エネルギー源（RES）の浸透度増大は、周波数偏差とシステム不均衡を深刻化させ、周波数保持予備力（FCR）のような堅牢な補助サービスへの必要性を高めています。電池エネルギー貯蔵システム（BESS）は、その高速応答性によりこれらのサービスに理想的ですが、限定エネルギー資源（LER）に分類されます。この分類は、上下両方向の FCR 作動に対する継続的な可用性を確保するため、エネルギー状態（SoE）の厳格な管理を要求します。

既存の研究は通常、制御期間全体で予備力容量コミットメントが静的である一様 FCR 入札を採用しています。この静的アプローチは、FCR 供給のためのエネルギー確保と、そのエネルギーの不均衡アービトラージ利用との間のトレードオフを動的に調整しないため、BESS の柔軟性を十分に活用できていません。深層強化学習（DRL）はリアルタイム不均衡制御に応用されてきましたが、主にこれらの静的な一様入札制約の下で運用されてきました。一方、非一様入札（時間変化するコミットメント）は決定論的設定において有望性を示しましたが、高解像度の確率的リアルタイム制御と効果的に統合された例はありませんでした。本論文はこのギャップに対処します：非一様 FCR 入札とリアルタイム不均衡制御を組み合わせることで、追加収益を解放できるでしょうか？

手法
著者は、長期の入札決定と高速なリアルタイム制御を分離するために欧州の文脈向けに設計された2 段階制御フレームワークを提案します。

1. 第 1 段階：データ駆動型非一様 FCR 入札最適化

   • 目的：リアルタイム層の完全な先見性に依存することなく、期待収益を最大化する FCR 入札の時間変化するシーケンス（4 時間ブロック単位）を導出すること。
   • アプローチ：実現された周波数および価格データを用いた ex-post（事後）のデータ駆動型モンテカルロ（MC）最適化を実行します。各 4 時間ブロックについて、システムは離散的な候補入札（0 から $P_{nom}-1$ MW）を評価します。
   • シミュレーション：各候補入札は、歴史的 FCR 作動と財務決済を組み込んだ 1 秒解像度での 50 回 MC シミュレーションによりテストされます。
   • ヒューリスティック制御：これらのシミュレーション中、FCR 制約を満たしつつ不均衡収益を捕捉するため、SoE を管理する単純なルールベースのヒューリスティックが適用されます。
   • 調整：ブロック終了時の SoE レベルからのバイアスを防止するため、次ブロックにおける残存エネルギーの機会費用を考慮した利益指標に対して終端値調整が適用されます。最も高い期待調整利益を持つ入札がそのブロックに対して選択されます。

2. 第 2 段階：DRL 기반リアルタイム不均衡制御

   • 目的：SoE の実現可能性を維持しつつ、残留柔軟性（定格電力と第 1 段階入札との差）を活用してリアルタイム不均衡取引を行うこと。
   • エージェント：ダブル深層 Q ネットワーク（DDQN）が、不均衡価格信号の更新と同期した 1 分間隔で動作します。
   • 状態空間：エージェントは市場信号（不均衡価格、時間特徴）、物理状態（SoE、累積サイクル使用量）、および制約文脈（SoE 境界までの距離、現在および今後の FCR コミットメント）を観察します。
   • 行動空間：利用可能な残留柔軟性にマッピングされた離散的な充電、アイドル、放電の決定。
   • 安全メカニズム：コンプライアンスを確保する 2 層の安全レイヤー：(i) 制約違反の可能性が高いセットポイントをフィルタリングするアクションマスク、および (ii) 確率的 FCR 作動が SoE を境界外に押しやった場合に行動を修正する反応的オーバーライド。
   • 報酬関数：ネット不均衡収益、運用安全性（SoE 近接性/違反へのペナルティ）、および電池健全性（過剰な日次スループットへのペナルティ）をバランスさせる多目的関数。

主要な貢献

• 新規フレームワーク：既存文献における静的入札の限界に対処するため、非一様 FCR 入札と DRL ベースのリアルタイム制御を統合する 2 段階アーキテクチャの導入。
• 概念実証：データ駆動型 MC 最適化を通じて時間変化する入札戦略を導出することで、リアルタイムコントローラーのための動的な「実現可能性エンベロープ」を創出できることの証明。
• アルゴリズム実装：特定の報酬構造を用いて電池劣化を管理しつつ、時間変化する制約下での FCR 準拠と不均衡アービトラージの間の複雑なトレードオフを管理するための DDQN の適用。

結果
このフレームワークは、高解像度の周波数および市場データを用いて、2022 年全年度にわたるベルギー市場における 10 MW / 20 MWh の BESS により評価されました。

• 収益増大：提案された非一様戦略は、総ネット収益として306 万ユーロを達成し、最高性能の一様ベースライン（284 万ユーロ）に対して7.56% の増大を示しました。
• 収益構成：FCR 固有の収益は非一様戦略と最良の一様戦略の間で比較可能であり、最適化器がピーク FCR 価格期間中に容量を効果的に配分したことを示しています。主な利益（約 7.5%）は増加した不均衡アービトラージに由来します。
• 運用ダイナミクス：不均衡変動性の高い期間中に FCR 義務を動的に削減することにより、非一様戦略は運用 SoE マージンを拡大しました。これにより、DRL エージェントは静的入札下では制限されるより攻撃的なアービトラージ戦略を実行できました。
• 資産健全性：一様ベースラインと比較して充電サイクル数が多いにもかかわらず、エージェントは総スループットを規定された日次サイクル限界（$C_{max}$）内に維持することに成功し、耐久性制約を違反することなく利用可能なヘッドルームを効果的に活用していることを示しました。
• 入札行動：最適化器は FCR 価格が高い場合に大きな FCR 入札を選択し、不均衡価格変動性が増加した際に入札を削減し、FCR 容量と不均衡柔軟性の間に対角遷移パターンを創出しました。

意義と主張
本論文は、非一様入札が急速に変化する不均衡機会と予備義務をより効果的に整合させることで追加価値を解放すると主張しています。本研究は、「入札し、その後残留柔軟性を制御する」というアーキテクチャが、時間依存制約（例：aFRR、ハイブリッド PV-BESS）を伴う他の価値積み上げシナリオに対して再利用可能な抽象化を提供すると提唱しています。

著者は現在の実装について控えめな立場を維持しています：

• 第 1 段階の最適化は ex-post データに依存しており、展開可能な予測ツールというよりは概念実証および上限ベンチマークとして機能します。
• DDQN の使用は、RL アルゴリズムを最先端の代替案と比較するのではなく、入札戦略の影響を分離するための安定したベースラインとして提示されています。
• 将来の研究として、能動的な予測ベースの入札選択の統合と、より堅牢な RL アーキテクチャの探求が必要であると特定されています。

結果は、静的で一様なコミットメントを超えて移動することで、BESS 運用者が補助サービス要件を厳格に遵守しつつ、マルチ市場環境で著しい追加収益を捕捉できることを示唆しています。