Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

技術要約：重要なことを予測する：未知の出発時刻を伴う制御されたEV充電のための決定フォーカス型強化学習

問題の定式化
電気自動車（EV）の急速な普及は、電力システムに対してピーク需要の急増やグリッドの不安定化といった重大な課題をもたらしています。強化学習（RL）は、EVの充電スケジュール（例：コストの最小化や負荷の平坦化）を最適化するためのデータ駆動型のアプローチを提供しますが、その有効性はしばしば不完全な情報によって妨げられます。現実世界のシナリオにおける決定的な不確実性の一つは、車両の出発時刻です。車両がいつ出発するかを知らなければ、RLエージェントは、オフピーク時間帯に充電をシフトするための利用可能な時間の柔軟性を正確に判断できず、その結果、充電セッションの未完了やコスト管理の最適化不足を招く可能性があります。

既存の文献では、出発時刻の完全な予見を前提としているか、あるいは（平均二乗誤差（MSE）のみを最小化するような）予測精度のみを目的とした従来の予測モデルに依存しています。しかし、本論文は、予測精度に最適化された予測器が、必ずしも最適な制御決定をもたらすわけではないと主張しています。標準的な予測における誤差は制御ループを通じて伝播し、制御ポリシー全体の性能を低下させる可能性があります。

手法：決定フォーカス型強化学習（DF-RL）
予測精度と決定の質の間の乖離に対処するため、著者らは**決定フォーカス型強化学習（DF-RL）**フレームワークを提案しています。この核心となる革新は、出発時刻の予測器とRL制御エージェントのエンドツーエンドの共同学習であり、予測器は予測誤差ではなく、ダウンストリームの制御決定の質に基づいて更新されます。

• MDPの定式化: 問題はマルコフ決定過程（MDP）としてモデル化されています。状態空間には、測定可能な変数（電力価格、残りエネルギー、時刻）と、予測される残りセッション期間（$\hat{d}_t$）が含まれます。行動空間はバイナリ（二値）です：フルパワーで充電するか、またはアイドル状態を維持するか。
• 予測器: ニューラルネットワーク（$f_\psi$）が、時間的特徴、これまでに充電されたエネルギー、および残りエネルギーに基づいて、総セッション期間（$\hat{T}_t$）を予測します。残り時間は、この予測から経過時間を差し引くことで算出されます。
• RLエージェント: 著者らは、探索のためにポリシーのエントロピーを維持しながら期待報酬を最大化するオフポリシー・アクタークリティック・アルゴリズムであるSoft Actor-Critic（SAC）を利用しています。
• 共同学習の目的関数: 予測器は、複合損失関数（式9）を用いて学習されます：
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$: 予測値と実際のセッション期間の偏差を測定する標準的な回帰損失（MSE）。
  • $L_{DF}$: 決定フォーカス成分であり、RLエージェントのアドバンテージ関数（$A(s,a)$）を利用して予測器の更新を導きます。この項は、予測器がRLエージェントにとってより高い累積報酬をもたらすような予測を生成するように促します。
  • $\beta$: 予測精度と決定の質の間の重みのバランスを取るハイパーパラメータ（$\in [0,1]$）。

主な貢献

1. EV充電のためのDF-RLフレームワーク: 本論文は、特に出発時刻の不確実性を対象とした、EV充電への決定フォーカス学習の新しい応用を導入しています。MPC（モデル予測制御）や最適化ベースの手法（KKT条件の複雑な暗関数微分を必要とするもの）とDF学習を統合する先行研究とは異なり、このアプローチはDF学習をRLパイプラインに直接統合しています。
2. エンドツーエンドの最適化: このフレームワークにより、予測器を制御目的から直接学習させることが可能になります。予測器とRLポリシーは共同で更新され、これにより予測器は単に統計的な誤差を最小化するのではなく、コントローラーにとっての「何が重要か」を学習することができます。
3. 状態拡張: この手法は、ニューラルネットワークベースのセッション期間の予測を用いてRLエージェントの状態表現を豊かにし、出発時刻の正解データがない場合でも、エージェントが情報に基づいた意思決定を行えるようにしています。

実験結果
著者らは、病院の駐車場施設から得られた実世界のEV充電セッションのデータセットを使用して、DF-RLフレームワークを評価しました。彼らは、以下の手法と比較を行いました：

• BAU: 到着直後の即時充電。
• RL (予測なし): 出発時刻の情報を持たないRL。
• RL (従来の予測器): 回帰損失のみで訓練された予測器（$\beta=1$）を用いたRL。
• RL (実際の出発時刻): 完全な知識を持つ上限値としてのベースライン。

主な知見:

• 性能の向上: 提案されたDF-RL手法（特に$\beta=0.2$または$0.4$の場合）は、出発時刻の予測を行わないRLと比較して、総報酬で14%の改善、および未供給エネルギー（EVが立ち去ったために充電が失敗したケース）の55%削減を達成しました。
• 従来の予測との比較: 従来の予測器（$\beta=1$）を用いたRLと比較して、DF-RLアプローチは未充足需要を約14%削減し（最良のケースで7.3%から6.3%へ）、総報酬を5%向上させました。
• 行動に関する洞察: 本論文は、DF-RLが必ずしも出発時刻の数値的な予測をより「正確」にするわけではないことを指摘しています。代わりに、それは意思決定により有用な「保守的」な予測を生成します。例えば、あるケーススタディでは、DF-RLの予測器は実際のセッション期間よりもわずかに短い時間を予測したため、エージェントがより早く充電を開始し、セッションを正常に完了させることができました。対照的に、従来の予測器は期間を過大評価したため、充電が遅れ、セッションが未完了となりました。
• トレードオフ: $\beta$の値が低い（生の精度よりも決定の質を優先する）場合、満たされないEVの数は減少しますが、充電コストはわずかに上昇します。これは、エネルギー需要を満たすことと電気料金を最小化することの間のトレードオフを反映しています。

意義と主張
本論文の主な意義は、予測精度が制御性能の唯一の決定要因ではないことを実証した点にあると著者らは主張しています。制御エージェントからのフィードバックを用いて予測器を訓練することで、システムは充電問題の特定の制約や目的に対して堅牢な予測を生成することを学習します。

著者らは、DF-RLアプローチがベースラインと比較して優れた充電決定をもたらすものの、これは伝統的な最適化ソルバーへのDF学習の統合に伴う複雑さを回避しながら、不確実性を扱うための第一歩であると控えめに述べています。また、現在の研究は単一の車両シナリオと決定的な価格プロファイルに焦点を当てていることを認め、将来の研究として、マルチ車両の協調シナリオ、動的な価格プロファイル、および季節性のような時間的パターンを捉えるためのより表現力豊かな予測モデルへとフレームワークを拡張することを計画しています。