技術的概要：局所化された確率的供給を伴う延期可能需要と非延期可能需要の共同スケジューリング

1. 問題定式化

本論文は、局所化された確率的供給（例：屋上太陽光）と系統から購入する電力を備えたエネルギーシステム内における、2 種類の異なる電気需要の最適スケジューリングを取り扱う。このシステムは、有限時間、離散時間、連続状態の制約付きマルコフ決定過程（MDP）としてモデル化される。

2 種類の需要とは以下の通りである：

• 延期可能需要： 不規則に到着し（例：電気自動車の充電）、特定の期限までに完了しなければならない。供給量は遅延可能であるが、期限までに供給されなかった需要に対しては、厳密に単調増加かつ凸なペナルティが課される。
• 非延期可能需要： 常に存在し（例：HVAC、照明）、即時に供給されなければならない。ただし、供給量は価格に反応し、既知の微分可能な凹関数である効用関数によって決定される。

システムは、規制されたネットエネルギーメータリング（NEM）関税の下で動作する。この関税は決定論的、時間変動的、かつ区分的線形である。この関税は、輸入レート（$\pi^+_t$）と輸出レート（$\pi^-_t$）を区別し、$\pi^+_t \ge \pi^-_t$ である。目的は、スケジューリング期間全体にわたる期待経済的余剰（消費の総効用から電力支払いと完了ペナルティを差し引いたもの）を最大化することである。

核心的な課題は、連続状態変数（残存する延期可能需要と確率的発電）および連続行動変数（両方の需要タイプに対する供給率）に起因する無限次元の政策空間と、NEM 価格構造の非線形性が複合することにある。

2. 手法と理論的解析

先延ばしの原理

著者らは、最適スケジューリング政策が「先延ばしの原理（Principle of Procrastination）」に従うことを確立した。この原理は、系統からの電力購入は、期限を満たすために厳密に必要となるまで遅らせるべきであり、逆に、局所再生可能エネルギーは、将来の価格と発電リスクに基づき、即時消費または輸出のために優先されるべきであると定めている。

最適政策の構造的特徴

ベルマン方程式の厳密な解析を通じて、本論文は最適政策が、各時間ステップ $t$ における 3 つの先延ばしパラメータ（しきい値）によって定義される有限次元ユークリッド空間に、無限次元空間から削減可能であることを証明している：

1. $\theta^-_t(g_t)$： 残存する延期可能需要に関する下限しきい値。この値を下回ると、システムは需要をさらに遅延させることになっても、延期可能需要の供給よりも局所発電の輸出を優先する。
2. $\theta^+_t(g_t)$： 上限しきい値。この値を上回ると、システムは完了ペナルティを回避するため、局所発電と系統購入の両方を用いて延期可能需要を積極的に供給しなければならない。
3. $\theta^0_t(g_t)$： 家庭が系統から輸入も輸出もしない「ネットゼロ」領域を支配するパラメータ。

これらのしきい値は、状態空間を 3 つの異なる運用モードに分割する：

• ネット生産： 局所発電が需要を上回る；余剰は輸出される。
• ネット消費： 需要が局所発電を上回る；系統電力が購入される。
• ネットゼロ： 局所発電が需要と完全に一致する；系統との相互作用はない。

これらの領域内において、政策は、非延期可能需要、延期可能需要、および輸出の間で局所発電を割り当てるための優先順位構造を定義する。例えば、「ネットゼロ」領域では、政策は、特定しきい値によって決定される延期可能負荷の供給の限界価値に対して、非延期可能機器の限界効用をバランスさせる。

先延ばししきい値強化学習（PTRL）

基礎となる確率分布が未知の場合の MDP を解くために、著者らは構造化された強化学習（RL）アルゴリズムであるPTRLを提案する。

• 次元削減： 連続的な $(K+1)$ 次元空間（ここで $K$ は非延期可能機器の数）全体にわたる完全な行動政策を学習するのではなく、PTRL は 3 つの先延ばししきい値（$\theta_t$）のみを学習する。
• アルゴリズム構造： PTRL は Soft Actor-Critic（SAC）フレームワークを利用する。「Actor」ネットワークは、現在の状態に基づいて先延ばししきい値の平均と共分散を出力する。「Critic」ネットワークは、状態 - しきい値ペアの価値（Q 関数）を推定する。
• 政策実行： Actor によってしきい値が生成されると、実際のスケジューリング行動（供給率）は、定理 2 で導出された構造的規則を用いて決定論的に計算される。

3. 主要な結果

理論的貢献

• 先延ばしの最適性： 本論文は、時間不変および時間変動的な NEM 関税の両方において、最適政策が 3 つの先延ばししきい値によって特徴づけられることを形式的に証明している。これにより、スケジューリング問題の複雑性が大幅に低減される。
• 線形時間依存性： 時間不変の発電モデルに対して、本論文は先延ばししきい値が線形時間依存性（$\theta^+_t = \theta^+_{t+1} + \bar{v}$）を満たすことを示しており、学習すべきパラメータの数をさらに削減している。

数値的パフォーマンス

実験は、EV 需要については適応的充電ネットワーク（ACN）からの実世界データトレースを、太陽光発電および家庭消費については Pecan Street データセットを用いて行われた。

• 収束： PTRL は、標準的なベンチマークである SAC および DDPG（それぞれ約 6,000 エピソードおよび 2,000 エピソードを要する）と比較して、有意に速く収束した（独立モデルで約 800 エピソード、マルコフモデルで 2,000 エピソード）。
• 最適性ギャップ： 訓練分布に一致する合成テストデータ下において、PTRL は最適政策とのギャップをわずか**3.34%**に抑え、SAC の 36.76%、DDPG の 25.91% と比較して優位性を示した。
• 実データへの頑健性： 訓練データ外のフィールドデータでテストされた際、PTRL はすべてのベンチマーク（SAC、DDPG、モデル予測制御）を大幅なマージンで上回った（例：SAC に対して約 107% の改善）。これは、アルゴリズムがモデルの不一致と実世界の確率性に対して頑健であることを確認するものである。
• 計算効率： PTRL はモデル予測制御（MPC）に対して顕著な計算上の優位性を示し、評価時間は約 19 倍速く、オンライン実装に適している。
• エネルギー源の活用： PTRL は、輸出価格が低いオフピーク時間に再生可能エネルギーの消費を優先し、高価値のピーク時間再生可能エネルギーを輸出のために保存するという戦略を効果的に学習した。これは、標準的なベンチマークが同様に効果的に再現できなかった点である。

4. 意義と主張

本論文の主な貢献は、複雑な実世界のエネルギースケジューリング問題に対する最適政策の構造的特徴の特定であると主張している。「先延ばしの原理」を特定することにより、著者らは扱いにくい無限次元の MDP を、低次元のパラメータ推定問題へと変換した。

この研究の意義は以下の点にある：

1. 理論と実践の架け橋： 高効率なデータ駆動型学習アルゴリズム（PTRL）の開発を可能にする理論的基盤（しきい値政策）を提供し、標準的な RL および従来の制御手法（MPC）を上回る性能を実現する。
2. 非線形価格への対応： 多くの先行研究が線形卸売価格を仮定するのに対し、本論文は住宅および商業環境での実用的な展開に不可欠な、規制された小売 NEM 関税の区分的線形かつ時間変動的な性質を取り扱っている。
3. 共同最適化： 局所化された確率的供給を伴う延期可能需要と非延期可能需要を共同でスケジューリングする初の研究であり、現代のプロシューマーシステムに固有の時間的依存関係と経済的トレードオフを捉えている。

著者らは将来の拡張については控えめに言及しており、現在のフレームワークは非延期可能需要に対して既知の効用関数を仮定し、単一の延期可能タスクタイプを扱っていると指摘している。将来の研究としては、効用を学習するためのオンライン逆最適化の統合や、複数の同時延期可能タスクへのフレームワークの拡張が提案されている。