Understanding electricity consumption behaviour through Inverse Reinforcement Learning

技術要約：逆強化学習を通じた電力消費行動の理解

問題提起
住宅における電力消費は、特に気候変動に伴い増加している空間冷却（冷房）に関して、世界のエネルギー需要の重要な構成要素となっている。エネルギー政策の設計における大きな課題は、世帯が社会経済的および気候的なショック（価格の高騰や熱波など）に対してどのように反応するかを理解することである。既存のアプローチは、詳細さに欠ける簡略化された「ホワイトボックス」モデルに依存しているか、あるいは限定的なサブグループに焦点を当てた機械学習手法を用いることが多く、それらは汎用性を損なわせている。また、現在の文献では、熱的ストレスと社会経済的ストレスが同時に発生した場合に、冷却行動がどのように進化するかについての定量的な理解が不足している。核心となる問題は、過度な簡略化を避けつつ、解釈可能性を維持し、非線形かつ異質な反応を捉えながら、広範な消費者グループに対して大規模な世帯消費をどのようにモデル化するかである。

手法
著者らは、世帯の消費行動を表す報酬関数を推論するための、**敵対的逆強化学習（Adversarial Inverse Reinforcement Learning: AIRL）**に基づくフレームワークを提案している。この手法は、主に以下の3つの段階で進行する。

1. データの前処理とクラスタリング:

   • データソース: イタリアの世帯における、プレ・クライシス（危機前）、クライシス（危機期）、ポスト・クライシス（危機後）の期間（2021年〜2023年5月〜7月）をカバーする、1時間ごとのスマートメーターデータ。
   • コンテキスト変数: 静的/準静的変数（所得、都市化、建物の築年数、推定AC（エアコン）所有率、グリーン・ビュー指数、請求電力価格）および動的変数（UTCI熱ストレス指数、消費プロファイル）。
   • クラスタリング: 異質性に対処するため、著者らはクラスタリング・パイプラインを採用している。静的変数は標準化され、動的な時系列データ（消費量とUTCI）は、**エコー状態ネットワーク（ESN）とテンソル主成分分析（Tensor PCA）**を用いて、時間的ダイナミクスを保持する低次元埋め込みへと処理される。これらは（それぞれ50%の重みで）結合され、ウォード法による階層的凝集クラスタリングによって分類される。
   • 選択: 11個のクラスターが特定された。詳細な分析のために、高消費、都市部中間消費、都市部低消費、農村部低消費の4つの代表的なクラスターが選択された。

2. 敵対的逆強化学習（AIRL）:

   • 定式化: 世帯をマルコフ決定過程（MDP）におけるエージェントとして扱う。状態 $s$ にはコンテキスト変数（UTCI、時刻、曜日タイプ、移動平均）が含まれ、行動 $a$ は消費の一次差分（$e_{t+1} - e_t$）として定義される。
   • アルゴリズム: 各クラスターに対してAIRLアルゴリズム（生成器には近接方策最適化（PPO）を使用）が学習される。システムは、生成器ポリシーと識別器（報酬ネットワーク）で構成される。
   • 報酬の分離（Disentanglement）: 報酬関数 $r(s, a)$ は、ベース項 $f_\phi(s, a)$ とポテンシャルに基づく整形項 $\Phi_\psi(s)$ に分解される。この構造により、抽出された報酬が環境のダイナミクスから分離されることが保証され、変化する条件下（例：2021年から2023年への変化）での転移可能性が可能となる。
   • 学習: 生成器がエキスパート（実際のデータ）として分類される尤度を最大化するようにモデルが学習される。ハイパーパラメータは、分布の類似性、消費エラー、および時間的相関のバランスをとる複合指標（Combined Metric: CM）を最小化するために、ベイズ最適化を用いて最適化される。

3. 行動分析:

   • 学習後、報酬ネットワークを調査して行動に関する洞察を抽出する。
   • 最適消費: 学習された報酬に基づき、消費値に対するソフトマックス分布を構築し、エージェントが異なる熱ストレスレベルの下で選択するであろう「最適な」消費状態を可視化する。
   • 比較: これらのモデルが示唆する最適曲線と実測の平均消費量を比較し、行動の変化（持続的、一時的、または無視できるもの）を特定する。
   • サブクラスタリング: 日中の異質性を調査するため、高消費クラスターを消費タイミング（午後高、または夕方高）に基づいてさらにサブクラスタリングし、日々の活動パターンの影響を分離する。

主な結果
本研究は、エネルギー危機と2022年の深刻な熱波を含む、イタリアの2021年、2022年、2023年の夏季のデータを分析した。

• ショックに対する異質な反応: 報酬関数は、ショックが冷却行動をクラスターごとに異なる形で再形成したことを明らかにした。

  • 高消費クラスター: 持続的な変化を示した。2021年には温度に対して強く反応していたが、2022年の危機による消費の減少は持続的であり、2023年には完全には回復しなかった。
  • 都市部中間消費クラスター: 一時的な変化を示した。2022年には熱に対する反応を増幅させたが、状況が緩和された2023年には、概ね2021年の傾向に戻った。
  • 農村部低消費クラスター: 構造的かつ緩やかな変化を示した。当初は平坦であったが、2022年に温度応答的な挙動を発達させ、それが2023年に定着した。これは、冷却導入の潜在的な可能性を示唆している。
  • 都市部低消費クラスター: 無視できる程度の変化しか示さず、最も反応が乏しいグループであり続け、これはおそらく建築環境と予算による制約によるものである。

• 日中の異質性: 高消費グループを消費タイミングによってサブクラスタリングした結果、明確な行動の違いが判明した。

  • 午後高（Afternoon-High）: AC所有率が高く、日中の活動が多いユーザーは、2022年の危機のピーク時に消費を大幅に削減した。
  • 夕方高（Evening-High）: 夕方のピークを持つユーザーは、短期的には変化に対して消極的であり、2022年には高いUTCIへの反応を維持したが、2023年には午後のグループの挙動へと収束した。
  • これは、**時間帯利用（Time-of-use）**が、社会経済的ステータスとは独立した、行動の異質性の別の次元であることを示している。

意義と主張
本論文は、文献に対して主に3つの貢献を主張している。

1. 手法の革新性: 大規模なスマートメーターデータから、報酬が示唆する行動反応曲面を推論するためのAIRLフレームワークを導入した。従来の経験的な相関関係とは異なり、このアプローチは世帯を、熱的、社会経済的、および時間的なコンテキスト間の非線形な相互作用を捉える、分離された報酬によって形作られるエージェントとして表現する。
2. 危機ダイナミクスへの実証的洞察: イタリアの2021年〜2023年のエネルギー危機にこのフレームワークを適用することで、熱的ストレスと社会経済的ストレスが同時に発生した場合に、冷却行動がどのように変化するかを定量化した。これにより、一時的な調整と持続的な変化を区別し、異なる消費者グループが極端な条件下でどのように適応（あるいは適応に失敗）するかについての詳細な視点を提供している。
3. 隠れた異質性の解明: 本研究は、社会経済的および環境的な観点からは同様に見えるグループ内であっても、行動の差異が存在することを実証した。具体的には、消費のタイミング（日中のパターン）が、世帯がショックにどのように反応するかを左右する重要な要因であることを特定しており、これは集計的な分析ではしばしば見落とされる次元である。

限界と今後の展望
著者らは、コンテキスト変数の粒度（例：所得や都市化が市区町村レベルの集計データであること）および報酬関数の部分的識別可能性（絶対的なスケールは本質的に含まれないこと）という限界を認めている。今後の展望として、より高解像度の社会経済データの統合、日中のトレンドをより良く再現するための長短期記憶（LSTM）アーキテクチャの活用、および報酬関数の高次偏導関数の探索を挙げている。また、特定の契約変更やエネルギー貧困のプロファイルが明示的にモデル化されていないことも指摘しており、これらを統合すべき領域として示唆している。