技術要約: Building2Building (B2B)

問題提起

強化学習（RL）は制御タスクにおいて高い性能を示しているが、学習された方策は、ダイナミクス、アクション空間、観測空間、または目標の変化に直面した際、依然として脆弱である場合が多い。この汎化性能の欠如は、実世界への導入における重大な障壁となっている。Meta-WorldやRLBenchといった、汎化の研究のための既存のベンチマークは、主にロボティクスやビデオゲームに限定されている。これらは、動的なパラメータの変化（例：摩擦）やタスクの目標に焦点を当てた限定的な多様性しか提供しておらず、異種的な観測空間やアクション空間、あるいは複雑な物理環境を提供することは稀である。その結果、RLにおけるクロスドメイン適応および転移に関する研究は、カスタムで再現性の低い実験セットアップに依存することとなり、進展を断片化させている。

著者らは、暖房、換気、および空調（HVAC）制御を、これらのギャップに対処するための理想的なドメインとして特定している。建物はレイアウト、材料、気候への露出、およびHVAC構成において膨大な多様性を示すが、熱力学とエネルギー保存則に基づく共通の物理原則を共有している。さらに、HVACシステムは重要な社会的課題であり、建物のエネルギー消費量（建物全体は世界のエネルギー使用量の約3分の1を占める）の約半分を占めている。

手法

Building2Building (B2B) スイート

著者らは、最先端の建物エネルギーシミュレータであるEnergyPlus上に構築された、大規模で現実的なHVAC制御環境のスイートである**Building2Building (B2B)**を導入する。B2Bは、Gymnasiumインターフェースと完全に互換性を持つように設計されている。

環境生成:

• 規模: このスイートは、複数の建物タイプ（住宅、レストラン、倉庫、小売店、中小規模のオフィス）、気候、およびHVAC構成にわたる6,000の環境のデータセットを生成する。
• ジェネレータ:
  1. ケベック州の住宅建築ストックの統計的特性に基づいた、単一ゾーン住宅を生成する住宅用ジェネレータ。
  2. 北米の16箇所におけるASHRAE 90.1参照商業用建物をベースとしたパラメトリック・ジェネレータ。このジェネレータは、物理的な一貫性を確保するために気候依存的なパラメータ境界を強制しつつ、建物のサイズ、窓対壁比、断熱、および空気浸入量をサンプリングする。
• 制御インターフェース: B2Bは、以下の低レベルHVACアクチュエータを公開する。
  • ユニタリーシステム: 給気温度（SAT）および給気流量の制御。
  • セントラルエアループシステム: セントラルSAT、外気混合、ゾーンダンパー開度、およびゾーンレベルのリヒートコイルの制御。
  • ベースボード/暖房専用システム: サーモスタットによる制御。
• 観測: エージェントは、気象データ（温度、湿度）、カレンダー情報、室内ゾーン温度、および正規化されたHVACエネルギー消費量を受け取る。

構造化された環境表現

異種混合のフリート（艦隊）を記述するための標準的な方法の欠如に対処するため、B2Bは標準的なGymnasium APIを拡張する構造化された表現を導入する。

• 形態学的ユニバース (Morphological Universe): 共通の属性空間 ($C_c$)、観測空間 ($S_c$)、およびアクション空間 ($A_c$)、ならびにローカルな空間を持つノード型の集合 ($T$) を含む、一連の環境のための共通の語彙を定義する。
• モルフォロジー (Morphology): 特定の環境インスタンスを、特定のローカルな属性を持つコンポーネント（例：熱ゾーン、HVAC機器）をノードとして表すグラフとして記述する。
• 分解 (Decomposition): 観測とアクションは、共通部分と形態学的グラフ部分に分解される。これにより、アルゴリズム（例：グラフニューラルネットワーク、ヘテロジニアス・グラフ・トランスフォーマー）が、固定された入出力サイズではなく、環境の構造に基づいて動作することが可能になる。

ベンチマークタスク

著者らは、特定の変動源を分離するために、4つの再現可能なベンチマーク設定を定義している：

1. 目標適応 (Goal Adaptation): 同じ建物のダイナミクス上で、異なる報酬関数（例：エネルギー重み $w_E$ の変更、または一定、占有ベース、またはランダムな温度設定戦略）を用いて訓練およびテストを行う。
2. ダイナミクス適応 (Dynamics Adaptation): 報酬とアクション空間は固定されているが、同じアーキタイプ内の異なる建物のダイナミクス（気候、サイズ、エンベロープ）を扱う。
3. アクション空間のシフト (Action-Space Shifts): ダイナミクスと報酬は固定されているが、訓練時とテスト時で制御可能なアクチュエータのセットを変更する（例：空気流量のみで訓練し、空気流量＋SATでテストする）。
4. クロスドメイン汎化 (Cross-Domain Generalization): 全く異なる建物タイプ間で、異種的な観測空間およびアクション空間を用いて訓練およびテストを行う（例：小売店で訓練し、中小規模のオフィスでテストする）。

報酬定式化

報酬関数は、熱的快適性とエネルギー効率のバランスをとる：
$$r_t = -\frac{1}{Z \tau_T} \sum_{z=1}^{Z} (T_z(t) - T^{target}_z(t))^2 - w_E \frac{1}{\tau_E} E_{HVAC}(t)$$
数千の環境にわたるスケールの違いを処理するために、著者らは正規化定数 $\tau_T$ および $\tau_E$ を導入する。$\tau_E$ は、特定の建物タイプおよび気候に対するベースラインのリアクティブ・ポリシーのステップあたりの平均消費電力として固定されており、これにより単一の重み $w_E$ が多様な環境間でトレードオフを定義することを可能にする。

主な結果

ベースライン:
著者らは、以下を用いてベースラインを確立した：

1. リアクティブ制御 (Reactive Control): ASHRAEガイドライン36に触発された監視制御ロジック（PIループおよびTrim-and-Respondメカニズム）。
2. PPOエージェント: テストセットのサブセットで訓練されたもの。

ダイナミクス適応実験:

• 単一ゾーン住宅に対して、3つのモデルクラスをテストした：(1) 建物ごとのスペシャリスト、(2) 非スペシャリスト・エージェント（建物の再サンプリング）、(3) パラメータ化されたエージェント（再サンプリング ＋ 建物の属性）。
• 知見: 建物ごとのスペシャリストが最高の性能を達成したが、非スペシャリストと比較して大幅なギャップが存在した。パラメータ化されたエージェントは非スペシャリストよりも優れた性能を示し、ダイナミクス適応のために建物のパラメータ（床面積、建設年など）への条件付けを行うことの利点を示した。しかし、非スペシャリストおよびパラメータ化されたモデルは、特定のテスト建物において「ロングテール」の失敗を示したのに対し、スペシャリストは一貫していた。

クロスドメイン転移実験:

• 単一のポリシーが、Amorpheusアーキテクチャの変種（タイプ固有のエンコーダ/デコーダを備えた共有トランスフォーマー）を使用して、4つの建物タイプ（小売、レストラン、中小規模オフィス、中規模オフィス）に対して同時に訓練された。
• 知見: 汎化されたポリシーは、テストセット内の未知の建物に正常に適応した。いくつかのケースでは、リアクティブ・ベースライン・コントローラーを上回る性能を示し、建物ごとの再学習なしに、異種的なモルフォロジーを横断して制御ポリシーを学習できる実現可能性を実証した。

重要性と主張

本論文は、B2Bが、連続制御における汎化と転移を体系的に調査するための、必要不可欠で大規模、多様、かつ物理的に根ざしたテストベッドを提供すると主張している。その重要性は、以下の3つの領域にある：

1. RL研究の推進: 異種的な観測空間とアクション空間を備えた標準化されたフレームワークを提供することで、B2Bはマルチタスク学習、メタ学習、およびクロスドメイン転移の厳密な研究を可能にし、現在のロボティクス中心のベンチマークの限界を超えたものとする。
2. 実世界への適用可能性: このベンチマークは、基礎的なRL研究と、エネルギー管理における実世界への導入との間の溝を埋めるものである。これは、個々の建物に対して非常に詳細なデジタルツインを必要とするのではなく、建物の分布全体にわたってポリシーを訓練するという新しいトレーニング・パラダイムをサポートする。
3. 社会的影響: 規模の大きなHVAC制御を改善できるようにすることで、本研究は建物のエネルギー消費量を直接的に削減し、運用コストを下げ、気候変動の緩和に貢献する。

著者らは、現在のRL手法は汎化において有望であることを示している一方で、B2Bベンチマークは、未知の環境へ転移する際に、特定の条件付けなしでは「ロングテール」の失敗事例を扱う上で、依然として大きな課題が残っていることを明らかにしている。