EnergyMamba: An Uncertainty-Aware Graph-Enhanced Selective State Space Model for Energy Consumption Prediction

技術要約：「EnergyMamba: エネルギー消費予測のための不確実性を考慮したグラフ強化型選択的状態空間モデル」

1. 問題定義

エネルギー消費予測は、グリッド管理、需要側最適化、および持続可能な計画において極めて重要である。しかし、既存のアプローチには主に2つの制限がある：

1. 空間依存性の軽視： ほとんどの手法はエネルギー消費を純粋な時系列予測問題として扱っており、異なる地域やグリッドゾーン間の空間的な依存関係や相互作用を明示的にモデル化できていない。
2. 信頼できる不確実性定量化の欠如： 最先端のモデルは、特に異常気象などの異常条件下において、信頼できる予測と不確実性の推定を提供できないことが多い。これは、意思決定者を誤導する可能性のある過剰に自信を持った（overconfident）予測につながる。

著者らは、これらの制限に対処する際の2つの具体的な課題を特定している：

• 時空間的ヘテロジェニティ（異質性）： 消費パターンは、地理的要因、時間的ダイナミクス、および建物の特性により、地域や時間によって高度に異質である。
• 非定常性： エネルギー需要の分布は、極端な事象の発生時に劇的に変化し、標準的な不確実性定量化手法の交換可能性（exchangeability）の仮定を破る。

2. 手法：EnergyMamba

著者らは、2つのコアコンポーネントからなる不確実性を考慮した時空間学習フレームワーク、EnergyMambaを提案している：

A. グラフ強化型選択的状態空間モデル (GE-Mamba)
時空間的ヘテロジェニティに対処するため、著者らは空間的コンテキストを時間的ダイナミクスに注入する新しいアーキテクチャを設計した。

• アーキテクチャ： モデルは、多スケールの時間的パターン（短期的な変動から長期的なトレンドまで）を捉えるために、U-Net構造（スキップ接続を持つエンコーダ・デコーダ）内に構成されている。
• 空間的コンテキストの抽出： グラフ畳み込みネットワーク（GCN）が、グリッドのトポロジー（ノードを地域、エッジを空間的近接性とモデル化したグラフ）から空間的コンテキストを抽出する。この設計は、あるノードでの負荷の摂動が接続されたノードへと伝播するというキルヒホッフの回路法則に基づいている。
• 選択的状態空間モデル (SSM)： 時間的ダイナミクスは、線形計算量 $O(T)$ を持つ双方向Mamba（SSM）を用いてモデル化される。極めて重要な点は、SSMのパラメータ（具体的には入力投影 $B$、出力投影 $C$、およびステップサイズ $\Delta$）が、GCNによって抽出された空間的コンテキスト $z_t$ に依存して入力依存的になることである。これにより、モデルは隣接ノードの状態に基づいて時間的処理を適応させることが可能になる。
• 双方向処理 (BIP)： モデルはシーケンスを順方向と逆方向の両方で処理し、因果関係とフルシーケンスのコンテキストパターンの両方を捉える。

B. 適応型逐次共形化分位点回帰 (AS-CQR)
非定常性と不均一分散（予測分散が負荷の大きさに比例してスケールする現象）に対処するため、著者らは分布フリーの不確実性定量化モジュールを提案している。

• 局所適応型正規化： 絶対的な残差を使用する標準的な共形化分位点回帰（CQR）とは異なり、AS-CQRは非適合度スコアを予測区間の幅によって正規化する。これにより、異なる負荷規模を持つ地域間でもスケール不変のキャリブレーションが可能になる。
• オンラインフィードバックメカニズム： 目標とする被覆率 $\alpha$ は制御変数として扱われる。最近の被覆性能（真値が予測区間の内側に入ったか外側に出たか）に基づき、有効な非適合率が動的に調整される。これにより、予測区間は極端な事象によって引き起こされる分布の変化に迅速に適応できる。
• 理論的保証： 緩やかな正則性条件の下で、AS-CQRは、非定常な環境においても、長期平均の経験的被覆率が目標レベル $1-\alpha$ に収束することを保証する。

3. 主な貢献

• 概念的： 本論文は、エネルギー消費予測を、単なる時系列問題としてではなく、空間的依存関係を明示的にモデル化し、信頼できる不確実性定量化を提供する不確実性を考慮した時空間タスクとして再定義している。
• 技術的：
  • 双方向MambaをU-Net構造内に組み込み、GCN由来の空間的コンテキストを統合することで、結合された時空間モデリングを可能にするGE-Mambaの導入。
  • 非定常条件と不均一分散を扱うための、局所適応型正規化とオンラインフィードバックキャリブレーションを備えた分布フリーの手法であるAS-CQRの開発。
• 実証的： 4つの大規模な実世界のデータセット（フロリダ、ニューヨーク、カリフォルニア）を用い、15の最先端のベースライン（GNN、Transformer、LLM、およびMambaのバリアントを含む）に対して包括的な評価を実施。

4. 実験結果

著者らは、平均絶対誤差 (MAE)、平方根平均二乗誤差 (RMSE)、平均予測区間幅 (MPIW)、区間スコア (IS)、および被覆率 (COV) を用いてEnergyMambaを評価した。

• 精度： EnergyMambaは、全データセットにおいて、最高のベースラインと比較して予測精度（MAE）で約5%の向上を達成した。
• 不確実性定量化： 本モデルは、不確実性定量化（ISで測定）において6%の向上を示し、多くのベースラインが目標被覆率を満たせなかった一方で、一貫して目標被覆率（例：$\alpha=0.1$ に対して $\ge 90\%$）を達成した。
• 堅牢性： 極端な気象事象（ハリケーン、熱波）を含むケーススタディにおいて、EnergyMambaは正確な予測を維持し、真値を予測区間内に保持したが、ベースラインは急激な変化への適応に苦慮した。
• 効率性： EnergyMambaは良好な計算効率を示した。Mambaバックボーンによる線形時間計算量により、訓練時間およびメモリ使用量は、LLMベースおよび一部のTransformerベースのベースラインよりも大幅に低かった。

5. 重要性と主張

本論文は、データ駆動型学習と物理システムの原理（キルヒホッフの法則）を橋渡しし、分布シフト下での信頼性という重要なギャップに対処することで、既存の研究を進展させると主張している。

• 物理的解釈可能性： グリッドのトポロジーから派生した空間的コンテキストに基づいて時間的ダイナミクスを条件付けることで、モデルは負荷の摂動が電力網を通じてどのように伝播するかをより良くシミュレートできる。
• 極端な事象における信頼性： AS-CQRの適応的な性質により、異常事態においてもモデルが過剰に自信を持ちすぎることを防ぎ、意思決定者に信頼できるリスク認識型の予測を提供する。
• スケーラビリティ： 本フレームワークは、高い精度と計算効率のバランスを提供しており、動的なグリッドシナリオにおける頻繁な再学習に適している。

著者らは限界についても認めており、現在の実装はリージョナルレベル（例：国勢調査のセンサス・ブロック・グループ）で動作しており、電力網の微細な物理的トポロジーを明示的にモデル化していないことを指摘しており、これを今後の研究の方向性として示唆している。