論文要約：監視カメラに基づく室内人数計測の実験的研究と、居住者中心制御（OCC）への応用

本論文は、スマートビルディングにおける「居住者中心制御（Occupant-Centric Control: OCC）」の実現に向けた、監視カメラ映像を用いた室内人数計測の実験的研究を報告しています。特に、従来の検出・追跡ベースの手法に加え、大規模言語モデル（LLM）による推論を統合した新しいパイプラインの性能評価と、それが HVAC（暖房・換気・空調）制御のエネルギー効率に与える影響を定量的に検証した点が特徴です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

• 背景: 2050 年のネットゼロ排出目標達成には、ビル部門のエネルギー消費削減が不可欠です。HVAC システムは商業ビル・機関ビルにおいて運用エネルギーの 40〜50% を占めており、その制御には正確な「在室情報」が不可欠です。
• 課題:
  • 既存のビジョンベースの人数計測手法（検出のみ、追跡ベース）は、実環境における遮蔽、背景の雑音、一時的な検出誤差により、時間的な安定性（Temporal Stability）や精度に課題を抱えています。
  • 在室情報の誤り（特に「在室」を「不在」と誤判定する False Negative）は、HVAC 制御において深刻な問題となります。在室時に設定温度を緩和（Setback）してしまうと、居住者の熱的快適性が損なわれるためです。
  • 既存研究の多くは計測精度の向上に焦点を当てており、計測品質が下流の HVAC 制御性能（エネルギー消費と快適性）にどのように波及するかを実験的に検証した事例は不足しています。

2. 提案手法と実験設計

本研究は、清华大学の研究室で収集された実監視データ（フレームレベルの手動アノテーション付き）を用いた実験的評価です。

2.1. 比較対象パイプライン

同一の条件（YOLOv8 を検出器として共通使用）の下で、4 つの異なる人数計測パイプラインを比較しました。

1. 検出のみ (Detection-only): フレームごとの YOLOv8 検出結果を直接カウント。
2. 追跡ベース (Tracking-based):
   • DeepSORT: 外観埋め込みを用いた追跡。
   • ByteTrack: 低信頼度の検出も追跡に組み込むことでロバスト性を向上させた追跡。
3. LLM による洗練 (LLM-based Refinement):
   • Vision-Language (VLM): 画像入力を受け取り、LLaVA (7B) で推論。
   • Text-only LLM: 検出結果（人数、信頼度、時系列コンテキスト）を構造化データとして入力し、DeepSeek で推論。

2.2. LLM 洗練モジュールの仕組み

LLM モジュールは、検出器の出力を後処理する「推論レイヤ」として機能します。

• 入力: フレーム識別子、検出人数、平均信頼度、前後フレームの人数、および「なぜ LLM による確認が必要か」というフラグ。
• 処理: 遮蔽や急激な人数変化など、検出器が不安定なケースにおいて、文脈に基づいた推論を行い、誤検出（False Positive）や見落とし（False Negative）を修正します。
• 融合: LLM の出力信頼度が検出器の信頼度より一定の閾値（$\Delta=0.15$）高い場合にのみ、LLM の修正値を採用する「信頼度ゲート付き融合」戦略を採用しています。

2.3. 制御への統合

得られた在室信号を OpenStudio-EnergyPlus 環境内のモデル予測制御（MPC）ベースの HVAC 制御システムに統合し、1 年間のシミュレーションを通じてエネルギー消費量と熱的快適性（PPD: Predicted Percentage Dissatisfied）を評価しました。

3. 主要な貢献

1. 包括的なパイプライン比較: 検出のみ、追跡ベース、LLM 洗練ベースの 3 つのアプローチを、フレームレベルの手動グランドトゥルース（正解データ）を用いて厳密に比較した。
2. 実データによる検証: 清华大学の研究室で収集された実監視データ（20,722 フレーム）を用い、時間的安定性と計測精度の両面から評価を行った。
3. LLM 洗練の優位性の立証: 追跡ベースの手法が時間的安定性を向上させるが、LLM による推論ベースの洗練がさらに誤判定（特に「在室」の「不在」判定）を抑制し、計測性能を飛躍的に向上させることを示した。
4. 制御性能への波及効果の実証: 最良のパイプライン（YOLOv8+DeepSeek）を MPC に統合した結果、HVAC エネルギー節約率が 17.94% に達し、かつ快適性（PPD）も向上することを実験的に証明した。

4. 実験結果

4.1. 人数計測・分類精度

• 精度: 最良のパイプラインである YOLOv8 + DeepSeek は、精度（Accuracy）0.8824、F1 スコア 0.9320 を達成しました。
• 誤判定の削減: 従来の手法（YOLOv8 のみや DeepSORT）と比較して、False Negative（在室を不在と誤判定）が大幅に減少しました。
  • YOLOv8 のみ：FN 1,685
  • YOLOv8 + DeepSORT：FN 1,907
  • YOLOv8 + DeepSeek：FN 1,073（最少）
• 追跡安定性: ByteTrack は DeepSORT より ID 切り替え（ID-switch）やフラグメンテーションが少なく優れていましたが、LLM ベースの手法は明示的な追跡経路を持たないため、追跡指標ではなく、最終的な人数カウントの安定性で評価されました。

4.2. HVAC 制御への影響（エネルギーと快適性）

MPC 制御シミュレーションの結果、以下の知見が得られました。

• エネルギー節約: ベースライン（固定スケジュール制御）と比較して、すべての OCC 手法でエネルギー削減が見られましたが、YOLOv8 + DeepSeek が最も優れていました。
  • 総 HVAC エネルギー消費削減率：17.94%
  • 冷却・暖房それぞれの削減も顕著（冷却 12.96%、暖房 18.46%）。
• 快適性（PPD）: 誤判定（特に False Negative）が多い手法では、在室中に空調設定を緩和してしまうため、PPD（不満率）が上昇しました。
  • ベースライン PPD: 10.47%
  • YOLOv8 + DeepSORT: 13.34%（誤判定により快適性が低下）
  • YOLOv8 + DeepSeek: 8.59%（最も快適性を維持しつつエネルギーを削減）

5. 結論と意義

本研究は、監視カメラベースの在室検出が単なる「知覚タスク」ではなく、HVAC 制御の成否を決定づける「制御クリティカルな入力」であることを実証しました。

• 技術的意義: 従来のコンピュータビジョン（検出・追跡）に、大規模言語モデルによる推論（Reasoning）を組み合わせることで、複雑な室内環境における誤判定を効果的に補正できることを示しました。特に、DeepSeek のようなテキストベースの LLM が、構造化された検出データと時系列文脈から高い精度を達成した点は、計算コストと精度のバランスにおいて有望です。
• 実用的意義: 高精度かつ時間的に安定した在室情報を得ることで、MPC 制御は「本当に必要な時」にのみ空調を稼働させ、「不要な時」に確実に設定温度を緩和できます。これにより、エネルギー効率の最大化と居住者の快適性の両立が可能となり、2050 年のネットゼロ目標達成に向けたスマートビルディング運営の基盤技術として確立されました。

将来的には、より多様な空間やカメラ配置での一般化、および視覚以外のセンサとのマルチモーダル融合によるさらなるロバスト性の向上が期待されます。