Addressing Terminal Constraints in Data-Driven Demand Response Scheduling

技術的サマリー：データ駆動型需要応答スケジューリングにおける終端制約の対処

問題定義
空気分離装置（ASU）などの電気化学プロセスは、変動する電力市場を活用するため、需要応答（DR）スキームへの参加をますます強く促されています。これには、高価格期間中の生産削減や貯蔵在庫の活用による需要充足など、柔軟な運転が求められますが、同時に厳格な運転制約の遵守も必要です。この分野における重要な課題は、後続の期間の動的安定性を維持するために、スケジューリング期間の終了時に製品貯蔵量を最小限に保つなどの終端制約を満たすことです。

従来のモデルベース最適化手法（非線形 MPC など）は、第一原理モデルの複雑さにより計算コストが高く、維持が困難です。一方、強化学習（RL）は低計算コストでデータ駆動型の代替手段を提供しますが、モデルフリーの RL アルゴリズムは長期的なクレジット割当に苦慮します。具体的には、終端制約がスパースで遅延した報酬信号（例えば最終時間ステップでのみ課されるペナルティ）を通じて強制される場合、エージェントは初期の制御行動と遠隔の結果との関連付けに失敗します。その結果、即時コストを最小化するために貯蔵を枯渇させ、終端制約を違反してプロセスを不安定化させる近視眼的な行動を招くことがよくあります。

手法
著者は、長期的なクレジット割当に対処するため、**ゴール空間計画（GSP）を深層決定性方策勾配（DDPG）**アルゴリズムと統合するハイブリッドフレームワークを提案します。このアプローチは、高レベルの RL エージェントが最適なセットポイントを計算し、低レベルの線形モデル予測制御（LMPC）がこれらのセットポイントを追跡する階層的制御構造に基づいています。

核心的な方法論的貢献は以下の通りです：

1. ゴール定式化：終端制約を単に制約付き最適化問題として扱うのではなく、著者はそれらを望ましいゴール状態として符号化します。ASU において、ゴール空間（$G$）は製品貯蔵量と時間期間を離散化することで定義されます。この抽象化により、不純物や温度を含む高次元の状態空間が、制約変数（貯蔵量）に焦点を当てた低次元表現に削減されます。
2. 時間的抽象モデル：システムは 2 種類のモデルを学習します。
   • 状態からゴールへのモデル：現在の状態から到達可能なサブゴールまでの割引リターンと割引係数を推定するニューラルネットワーク（$r_\gamma, \Gamma$）。
   • ゴールからゴールへのモデル：観測された軌跡から構築された、ゴール空間内の隣接する時間期間間の遷移（$\tilde{r}, \tilde{\Gamma}$）。
3. ポテンシャルに基づく報酬整形：拡張された時間軸全体にわたって価値を伝播させるため、著者はポテンシャルに基づく報酬整形更新を採用します。即時報酬は、最も価値のある到達可能なサブゴールの投影された価値から導出されるポテンシャル関数（$\Phi$）の差によって増幅されます。これにより、最適方策を変更することなく、エージェントを終端ゴールへと導く密なステップごとの学習信号が提供されます。
4. グラフ剪定：ゴール空間計画の有効性を確保するため、ゴール遷移有向非巡回グラフ（DAG）に対して、前方および後方への幅優先探索による 2 段階の剪定メカニズムが適用されます。これにより、終端セットに到達できない切断されたノードや行き止まりが除去され、値反復が連結された部分グラフ上で動作することが保証されます。

主要な貢献

• GSP と DDPG の統合：本論文は、GSP を標準的なアクター・クリティック RL アルゴリズムと統合して、終端制約を伴う長期的スケジューリング問題を解決する方法を実証しています。
• サンプル効率：時間的抽象モデルを利用することで、価値伝播を高頻度ダイナミクスから解離させ、終端価値を初期状態へ伝播するために必要なベルマンバックアップの数を大幅に削減しています。
• 近視眼的行動の緩和：このアプローチは、モデルフリー RL におけるクレジット割当のギャップを明示的に対処し、エージェントが短期的なコスト削減のために長期的な安定性を犠牲にするのを防ぎます。

結果
提案手法は、変動する電力価格を伴う 72 時間の期間におけるシミュレートされた ASU ベンチマークで評価されました。

• 学習曲線：モデルを訓練中に学習する「オンライン GSP」変種と、事前学習済みモデルを使用する「オフライン GSP」の両方が、標準的な DDPG に比べて優れたサンプル効率を示しました。オンライン GSP は 1,000 ステップで最適性能に近づき、オフライン GSP は 500 ステップ以内に収束しましたが、標準的な DDPG は同じ期間内で効果的に収束することに苦慮しました。
• 制約満足度：標準的な DDPG 方策は近視眼的な行動を示し、期間の初期に貯蔵を枯渇させ、終端貯蔵制約を大幅に下回る結果となりました。これに対し、GSP ベースの方策は貯蔵レベルを高く維持し、価格信号に対して戦略的に反応することで、一貫して終端制約を満たしました。
• アブレーション研究：状態からゴールへの投影を除去すること（投影なしのオンライン GSP）は性能低下を招き、状態から抽象ゴールへの微細なマッピングが効果的なクレジット割当に不可欠であることを確認しました。
• 計算オーバーヘッド：オンライン GSP の計算コストは modest（穏やか）であり、グラフ再構築と値反復によりエピソードあたりのウォールクロック時間を約 15% 増加させましたが、オフライン GSP は 5% 未満の増加にとどまりました。

意義と主張
本論文は、主要な制約変数と整合するゴール空間を構築することにより、モデルフリー RL へドメイン知識を注入する効果的なメカニズムとしてゴール空間計画を提供すると主張しています。著者は、このアプローチがエージェントに時間的トレードオフの解釈可能な表現を獲得させ、プロセスシステムにおけるデータ駆動手法の適用性を通常制限する長期的なクレジット割当問題を解決すると述べています。結果は、終端制約または経路制約が重要な他の制御問題に対処する有望な道筋として、ゴールベースの抽象化を示唆しており、データ駆動手法の柔軟性と産業プロセスの安定性要件との間のバランスを提供しています。