Active Learning for Optimal Experimental Design in Machine Learning-Based Building Energy System Identification

技術要約：機械学習ベースのビルエネルギーシステム同定における最適実験計画のための能動学習

問題提起
機械学習（ML）技術は、物理ベースのモデリングと比較して柔軟性が高いことから、ビルエネルギーシステム（BES）、特にHVAC（空調）の熱力学特性を同定するためにますます採用されている。しかし、これらデータ駆動型モデルの性能は、訓練データの質に大きく依存する。標準的なアプローチは、一様ランダムな制御入力（例：PRBS、ホワイトノイズ）を用いた受動学習（PL）に依存することが多いが、これは非線形システムのダイナミクスを正確に推定するために膨大なデータセットを必要とするため、非効率的である。本論文は、最も情報量の多いデータを収集するためにどの実験を行うべきかを決定するための**最適実験計画（OED）**の必要性に取り組んでいる。OEDと能動学習（AL）は基礎となるメカニズムは共通しているものの、既存のビルエネルギー研究では、異なるALパラダイムやMLモデルクラスにわたる体系的な比較なしに、単一のアドホックな獲得関数が適用されることが多かった。さらに、多くの先行研究は、現実的な制御制約下でのオンライン動的システム同定ではなく、静的な予測や分類に焦点を当てている。

手法
本研究は、ビルの熱力学特性の同 identification に適用される14種類のAL手法の体系的な比較を提案する。手法は以下のコンポーネントで構成されている：

1. システム定式化： 問題は離散時間動的システムとしてモデル化され、目標は未知の非線形関数 $f$（状態 $x_k$ と制御入力 $u_k$ から次状態 $x_{k+1}$ への遷移を規定するもの）の近似を学習することである。
2. モデルクラス： 2つの異なるMLアーキテクチャを評価する：
   • 決定論的（Deterministic）： 点予測を通じてダイナミクスを近似するフィードフォワードニューラルネットワーク（NN）。
   • 確率論的（Stochastic）： ネイティブな不確実性推定を備えた事後予測分布を提供するガウス過程（GP）。
3. 能動学習の分類学： 14の手法を、獲得関数のロジックに基づき4つのグループに分類した：
   • データ空間（Data Space）： 幾何学的構造に依存する手法（Greedy Sampling, Inverse Distance Weighting）。
   • 不確実性（Uncertainty）： 高い予測不確実性を有する領域を標的とする手法（NNに対するQuery-by-Committee、Monte Carlo Dropout；GPに対するMaximize Variance、Integrated Variance Reduction）。
   • 情報利得（Information Gain）： ハイパーパラメータ推定を標的とする手法（GPに対するFisher Information、Shannon Entropy）。
   • モデル変化（Model Change）： モデルパラメータの最大の期待更新を標的とする手法（NNに対するExpected Model Change Maximization、Maximize Last Layer Change；GPに対するUpper Confidence Bound、Probability of Improvement）。
4. 実験設定： すべてのアルゴリズムは、現実的なHVACダイナミクスをモデル化するためにModelicaを使用している高忠実度シミュレータBOPTEST上で実装および評価される。本研究では、バッチ更新（10サンプルごとの再学習）を伴うオンライン学習フレームワークを採用している。
5. テストシナリオ： 以下の変動要素を含む6つのシナリオを通じて性能を評価する：
   • 初期データサイズ： データが乏しい（2データポイント） vs. 10データポイント。
   • 制御制約： 厳しいランプ制約（現実的なHVACの制限をシミュレート） vs. 広いランプ制約。
   • 評価指標： 3つの時間窓（0–2h, 0–12h, 0–24h）にわたって計算された平方根平均二乗誤差（RMSE）であり、窓ごとの平均値および最終タイムステップの値の両方として報告される。

主な貢献
本論文には主に3つの貢献がある：

1. 体系的な分類学： 決定論的（NN）および確率論的（GP）の両方のモデルクラスにわたって、14のAL手法の獲得関数を形式的に分類し、前述の4つのカテゴリに整理した。
2. 高忠実度な評価： 静的なデータセットや単純な仮想テストベッドに依存する先行研究とは異なり、本研究はすべての手法をBOPTESTシミュレータ上で実装・評価し、現実的なHVACダイナミクスと制御制約を組み込んでいる。
3. 包括的な実証比較： さまざまな初期データサイズおよび運用制約にわたる広範な実証分析を提供し、すべてのAL手法を、一様ランダム入力を用いた受動学習のベースラインと比較ベンチマークした。

結果
シミュレーション結果は、ALベースのモデルが一般に、一様ランダムな制御入力を用いた受動学習（PL）よりも優れた性能を示し、特定のシナリオにおいて最大**54%**の誤差減少を達成したことを示している。ただし、その改善の大きさや一貫性は、獲得関数、モデルクラス、および動作レジームによって大きく異なる：

• データ不足レジーム（初期2点、厳しい制約）： AL手法が最も顕著な利益を示す。
  • GPモデルの場合： Integrated Variance Reduction (IVR) および Inverse Distance Weighting (IDWGP) が強力な性能を示し、IDWGPは0–12hの窓において54%のRMSE減少を達成した。
  • NNモデルの場合： Query-by-Committee (QBC) および勾配ベースのモデル変化手法（EMCM, MLLC）が最大の改善をもたらし、QBCは初期の窓において平均RMSEを27–42%減少させた。
• データ豊富レジーム（初期10点、緩い制約）： PLに対するALの優位性は減退する。いくつかの中長期的なホライゾンシナリオでは、PLが特定のAL手法（GPに対するGSGPおよびSE、NNに対するMCD）と同等、あるいはそれ以上の性能を示した。
• モデル固有の観察：
  • ガウス過程： ランプ制約が中程度に緩和されると、情報利得カテゴリ（Fisher Information）が最強のパフォーマンスを発揮した。データ空間の手法であるGSGPは、すべてのシナリオにおいてPLを上回ることができなかった。
  • ニューラルネットワーク： 不確実性サンプリング（特にQBC）が最も一貫して競争力のあるカテゴリであり続けた。Monte Carlo Dropout (MCD) はデータ不足のシナリオにおいてPLを上回ることができず、この文脈におけるキャリブレーションの問題を示唆している。
• 一般的な傾向： OEDの恩恵は、初期訓練データが乏しく、許容される制御範囲が厳しく制約されている場合に最も顕著かつ信頼できる。

意義と主張
本論文は、能動学習ベースの実験計画が、特にデータの収集にコストや時間がかかるデータ不足レジームにおいて、ビルエネルギーシステムの同定のための価値あるツールであることを主張している。本研究は、単一の獲得関数が普遍的に優れているわけではなく、最適な選択はモデルクラス（決定論的 vs. 確率論的）および特定の運用制約（データの可用性と制御ランプ制限）に依存することを確立している。

本研究は、ALがモデル誤差を大幅に減少させ得る（最良のケースで54%）一方で、その恩恵がすべての条件下で保証されるわけではないことを強調しており、将来の研究のためのベースライン・ベンチマークとして機能する。著者らは、本研究が比較的単純なシステム（4入力、1出力）を対象としていること、および計算コストを評価していないことを控えめに結論付けており、将来の研究ではこれらの知見をより複雑な非線形システムへと拡張し、計算オーバーヘッドの統計的分析を含めるべきであるとしている。