テクニカルサマリー：ADAPT

問題提起

建物の暖房、換気、および空調（HVAC）システムは、都市のエネルギー効率と居住者の快適性に不可欠ですが、制御における重大な課題に直面しています。核心となる困難は以下の通りです：

1. 遅延および部分観測（PO）ダイナミクス： 熱慣性により、制御アクション（例：設定値の変更）の効果は即座には現れず、複数のインターバルを経て顕在化します。さらに、構造質量における熱貯蔵のような重要な状態は測定不能であり、システムは部分的にしか観測できません。
2. 分布シフト： 屋内の熱力学は、季節、天候、および気候地域によって大幅に変化します。既存のデータ駆動型手法は、運用条件が分布外（OOD）にシフトした場合（例：夏から冬への移行、または異なる気候帯への移動）、汎用性を失うことがよくあります。
3. 既存手法の限界： モデル予測制御（MPC）はモデルの不一致に敏感であり、手動のキャリブレーションを必要とします。深層強化学習（DRL）手法は、多くの場合リアクティブ（反応的）であり、遅延したクレジット割り当て（credit assignment）に苦しみ、潜在的な熱状態の明示的なモデリングを欠いているため、異なる環境間での汎用性が低くなります。

手法：ADAPTフレームワーク

著者らは、下流のRLコントローラーを導くための転移可能な屋内環境ワールドモデル（IEWM）を学習するように設計されたフレームワークであるADAPT（A Diffusion-based Adaptive Physics-aware indoor environmental world model for Transferable HVAC control）を提案しています。

1. 条件付き拡散による生成型IEWM

ADAPTの中核は、将来の熱的ベースラインを予測する条件付き拡散モデルです。

• 入力： モデルは、過去の軌跡（観測値とアクション）および「保持アクション（held-action）」プロトコル（以前のアクションが維持されると仮定するもの）を条件としています。
• 出力： 現在の制御戦略が維持された場合に、屋内環境がどのように進化するかを表す将来の熱的ベースライン軌跡（$\hat{y}_t$）を生成します。このベースラインは、潜在的な熱慣性を明示的に捉えます。
• メカニズム： モデルは、HVACのコンテキストに条件付けられた将来の熱状態の分布をモデル化するために、順方向のノイズ付加プロセスと学習された逆デノイジングプロセスを使用します。

2. 物理学に配慮した正則化

純粋なデータ駆動型のワールドモデルにおける汎用性の欠如に対処するため、ADAPTは微分可能なマルチゾーン物理熱バランス方程式に基づく物理学に配慮した正則化を導入しています。

• 熱バランス方程式： 生成された軌跡は、以下の基本的な熱方程式を満たすように制約されます：
  $$C_i \frac{\hat{T}_{i,k+1} - \hat{T}_{i,k}}{\Delta t} = \hat{Q}_{zone} + \hat{Q}_{out} + \hat{Q}_{rad} + \hat{Q}_{int} + \hat{Q}_{hvac} + d_i$$
  この方程式は、ゾーン間交換、屋外・エンベロープ間交換、日射、内部利得、およびHVACの影響をモデル化します。
• 共同学習： モデルは、拡散目的関数と物理残差を共同で最適化します。極めて重要な点は、物理係数（例：熱伝導率）がグランドトゥルースのデータから学習され、その後、拡散生成された軌跡を正則化するために使用されることです。これにより、モデルは特定の季節や気候に固有の偽の統計的相関ではなく、不変の熱メカニズムを学習することを保証します。
• 手動キャリブレーション不要： このフレームワークは、事前キャリブレーションされた建物のパラメータを必要としません。物理係数はエンドツーエンドで学習されます。

3. 強化学習との統合

学習されたIEWMは、意思決定を向上させるために下流のRLコントローラーに統合されます。

• アクション評価： アクションを選択する前に、IEWMは熱的ベースラインを予測し、現在の操作を維持することによる遅延の影響を推定します。
• 遅延したクレジット割り当て： アクションが選択された後、IEWMは「コミットされたアクションのロールアウト」を実行し、選択されたアクションが継続的に適用される将来の遷移を想像します。これにより、RLエージェントは、単なる即時報酬ではなく、長期的な熱的帰結に基づいてアクションにクレジットを割り当てることが可能になります。
• アーキテクチャ： フレームワークは分岐型アクション価値ネットワークを利用しており、熱的ベースラインがアドバンテージ・ストリームに注入されることで、将来のダイナミクスに関する明示的な知識を持ってアクションの好みを評価できるようになっています。

主な貢献

1. ADAPTフレームワーク： 遅延した熱力学を予測するために特別に設計された、物理学に配慮した条件付き拡散IEWMの導入。
2. 物理情報正則化： 手動のパラメータキャリブレーションを必要とせずに、拡散生成された軌跡に物理的一貫性を強制する、新しい正則化技術。
3. 性能向上： 分布内（ID）および分布外（OOD）の設定の両方において性能向上を実証し、HVACのエネルギー消費量と居住者の不快感を減少させつつ、異なる季節や気候領域間の転移においても堅牢な制御を維持しました。
4. 転移可能性： IEWMは転移可能な熱力学を学習するため、コントローラーはポリシーの再学習なしに、ある季節や気候から別のものへと効果的に機能することができます。

実験結果

実験は、SemiBuildingSim（実在する7ゾーンのオフィスビルに基づく高精度シミュレータ）およびSinergym（ストックホルムとアリゾナ間のクロス気候転移を伴うEnergyPlusベースのベンチマーク）を用いて実施されました。

• 分布内パフォーマンス（SemiBuildingSim）： 最も強力なベースライン（MPC、PPO、DreamerV3、TransformerベースのRLを含む）と比較して、ADAPTはHVACエネルギー消費量を7.3%削減し、居住者の不快感（PPD）を30.2%減少させました。また、より速い収束と高いサンプル効率も達成しました。
• 分布外（OOD）予測： 季節転移（夏 $\leftrightarrow$ 冬）の下で、物理学に配慮したADAPTは、部屋および還流温度の予測において、バニラなデータ駆動型モデル（MambaFormer、VAEなど）を大幅に上回りました。部屋の温度に関するCVRMSEは、OODシナリオにおいて非物理ベースラインよりも約3〜4倍低くなりました。
• クロス気候転移： ストックホルム（冷帯大陸性）とアリゾナ（熱帯砂漠）の間の転移において、ADAPTは分布内パフォーマンスに対する劣化をわずかに抑えつつ、堅牢な制御性能を維持しました。一方、逐次的およびデータ駆動型のワールドモデルは大幅な性能低下に見舞われました。
• アブレーション研究： 物理正則化項またはバイアス・ペナルティを除去すると、OODの予測および制御性能が一貫して低下しました。これは、転移可能性のために物理学に配慮した制約が必要であることを裏付けています。

意義と主張

本論文は、ADAPTが建物制御科学のための実用的でエネルギー効率が高く、転移可能なAIソリューションを提供すると主張しています。生成型ワールドモデルを通じて遅延した熱力学を明示的にモデル化することで、ADAPTはデータ駆動型の柔軟性と物理的一貫性の間のギャップを埋めます。

著者らは、このアプローチによって以下が可能になると断言しています：

• 堅牢な制御： ターゲットドメインでの相互作用やファインチューニングを必要とせず、変化する天候、季節、および気候領域を横断して安定して動作する効果的なHVAC制御。
• 脱炭素化への支援： 建物のエネルギー消費量とCO2排出量を削減するための経路を提供し、国連の持続可能な開発目標11（持続可能な都市）および13（気候変動行動）に合致する。
• 汎用性： 特定の環境相関を記憶するのではなく、基礎となる熱物理学を学習することにより、オフィスからデータセンターまで様々な種類の建物に適用可能なフレームワーク。

本研究は、物理学に配慮した生成モデリングが、安全かつ効率的に、かつ現実世界の動的な環境で動作できる信頼性の高いAI駆動型の建物エネルギー管理に向けた重要なステップであることを位置づけています。