技術要約：視覚的幾何学エビデンスから身体化された意味的占有メモリへ

1. 問題定義

本論文は、屋内環境における**長期間の身体化された意味的占有マッピング（long-horizon embodied semantic occupancy mapping）**の課題に取り組んでいる。既存の手法は、単一フレームの局所的な予測や部屋レベルのオンライン知覚を効果的に処理できる一方で、接続された屋内空間（例：建物全体）にわたる持続的かつスケーラブルなマッピングには苦慮している。

現在の手法における主な限界は以下の通りである：

• 一時的 vs 持続的： ほとんどの手法は、視覚的幾何学（例：ポイントマップ）をマップの状態そのものとして扱う。しかし、ポイントマップは画像平面上では高密度であるが、3D空間では疎であり、表面に偏っているため、観測された自由空間（free space）、未知領域、または時間的な信頼性を明示的にエンコードできていない。これらを素朴に蓄積すると、表面の重複や意味的な不整合が生じる。
• 階層的ベンチマークの欠如： 既存の屋内ベンチマーク（例：Occ-ScanNet, EmbodiedOcc）は、局所的なボリュームや単一の部屋に焦点を当てている。これらは、高忠実度のパースペクティブ・スキャン、パノラマ観測、および接続された建物規模の環境を、統一された階層的プロトコル下で共同でサポートしていない。
• 自由空間 vs 未知領域： 現在のシステムは、しばしば「観測された自由空間」と「未知領域」を区別できず、エリアを再訪した際の因果的な更新においてエラーを引き起こす。

2. 手法

著者らは、新しいベンチマーク（HIOcc）と新しいマッピングフレームワーク（GEM-Occ）の2つの主要なコンポーネントを提案している。

A. HIOcc: 階層的屋内占有ベンチマーク

HIOccは、ScanNet、ScanNet++、およびMatterport3Dの3つの主要なデータセットを、それぞれの固有の観測ジオメトリを保持しつつ、共通の疎な意味的占有フォーマットへと統合する。

• 範囲： 2,000以上の屋内シーン、300,000以上のフレーム、および142.6K m²をカバーする。
• 3つの評価レジーム：
  1. 局所的意味的占有予測： ポーズ付けされたRGB-Dフレームからの単一視点予測。
  2. 部屋レベルのオンラインマッピング： 単一の部屋内における観測の因果的融合。
  3. 建物レベルのマッピング： 接続されたパノラマ環境（Matterport3D）にわたる長期間のマッピング。
• アノテーション・パイプライン： アノテーションされた3Dメッシュを、疎な意味的占有ターゲットへと変換する。これは、可視性に基づいたフィルタリング（パースペクティブ用にはフラスターム・フィルタリング、パノラマ用には初動ヒット・レイ・フィルタリング）を採用しており、ターゲットが観測可能な幾何学のみを反映するようにし、占有（occupied）、自由（free）、未知（unknown）の状態を区別する。

B. GEM-Occ: ガウス・エビデンス・メモリ・フレームワーク

GEM-Occは、局所的な視覚的幾何学の予測を、マップの状態としてではなく、持続的なメモリへと融合されるべき**一時的なエビデンス（証拠）**として扱う。

• エビデンスの変換：
  • 意味的ガウス占有エビデンス： 局所的な幾何学予測（深度/ポイントマップ）は、占有された表面を表す異方性ガウスプリミティブ（$g_i$）に変換される。これには、意味分布と信頼度重みが含まれる。
  • 自由空間レイ・エビデンス： 最初の表面ヒットの前にある視線方向の領域は、負のエビデンス（自由空間）として記録され、ヒットの背後の領域は、後に観測されない限り未知のままとなる。
• 階層的メモリ構造：
  • マップは、ローカルキャッシュ、部屋レベルのサブマップ、および建物レベルの接続グラフで構成される。
  • これにより、高密度のグローバル・ボクセル・テンソルを回避し、スケーラビリティを実現する。
• 因果的融合：
  • 入力されるエビデンスは、空間的またはマハラノビス距離を用いて、既存のメモリ内のガウス成分とマッチングされる。
  • 可視性と不確実性を考慮した更新： システムは信頼度重み付きの融合を行う。決定的なのは、自由空間のレイが負の対数尤度エビデンスを提供することで、有効な遮蔽ジオメトリを消去することなく、観測された自由空間における「浮遊物（floaters）」を抑制することである。
  • プルーニングとマージ： メモリの増大を制御するため、低信頼度または冗長なガウス成分は定期的にプルーニング（削減）またはマージ（統合）される。
• クエリ・メカニズム： 占有状態は、**ガウス・トゥ・占有スプラッティング（Gaussian-to-occupancy splatting）**を介してクエリされ、近傍のガウス成分を集約して、任意の3D位置における占有確率と意味分布を計算する。

3. 主な貢献

1. 定式化： 階層的な意味的占有マッピングを、局所、部屋、建物のスケールにわたって、占有、自由、未知、および意味的状態の因果的な維持を必要とする、身体化されたメモリ問題として定義した。
2. データセット (HIOcc)： ScanNet、ScanNet++、およびMatterport3Dを、局所、部屋レベル、および建物レベルの評価プロトコルと共に統合した大規模ベンチマークを導入した。
3. フレームワーク (GEM-Occ)： 一時的な視覚的幾何学を、持続的な意味的ガウスメモリへと変換するフレームワークを提案し、自由空間のレイ・エビデンスを明示的にモデル化することで、観測された空の空間と未知の領域を区別する。
4. 融合戦略： 時間的な安定性と再訪時の整合性を向上させる、可視性と不確実性を考慮した因果的融合ルールを設計した。

4. 実験結果

HIOccにおける3つの設定で実験が行われた：

• 局所予測： GEM-Occは 61.37 IoU および 57.76 mIoU を達成し、GPOcc (60.69 IoU, 55.08 mIoU) や SplatSSC といった強力なベースラインを上回った。この改善は、直接的なポイントマップのボクセル化ではなく、意味的ガウス・エビデンスを使用していることに起因する。
• 部屋レベルのオンラインマッピング： GEM-Occは IoU を 56.79、mIoU を 46.20 に向上させ、GPOcc (52.94 IoU, 44.81 mIoU) を上回った。この手法は、連続的な観測における優れた安定性を示した。
• 建物レベルのマッピング： Matterport3Dにおいて、GEM-Occは 53.8 IoU および 46.7 mIoU を達成し、**再訪整合性（Revisit Consistency）**は 86.2% であった。
  • スケーラビリティ： 階層的設計により、メモリ使用量は 1.36 MB/m²（フラットなガウスメモリ）から 0.81 MB/m² へと、クエリ遅延は 49.5 ms から 33.8 ms へと減少した。これは、精度とスケーラビリティのより優れたトレードオフを示している。

アブレーション研究により、以下が確認された：

• 意味的ガウスをポイントマップのボクセル化に置き換えると、性能が著しく低下する。
• 明示的な自由空間レイ・エビデンスは、オンラインマッピングと再訪整合性に極めて重要である。
• 階層的メモリはスケーラビリティに不可欠であり、局所的な精度を損なうことなくメモリフットプリントを削減する。

5. 意義と主張

本論文は、GEM-Occ が、占有を「フレームごとの予測タスク」として扱うことから、**「持続的なメモリ問題」**として扱うことへの転換を象徴していると主張している。この手法は、一時的な視覚的エビデンスを持続的なマップ状態から切り離し、自由空間を明示的にモデル化することで、以下を実現する：

• 向上した再訪整合性： エージェントが以前に訪問したエリアに戻った際、マップが安定し続ける。
• スケーラビability： 階層的構造により、高密度のグローバル・ボクセルによる計算コストをかけることなく、接続された建物のマッピングが可能になる。
• 堅牢性： 自由空間と未知空間を区別することで、遮蔽領域におけるエラーの蓄積を防ぐ。

著者らは、既存のデータセットのアノテーションへの依存（ノイズが含まれる可能性があること）、静的なシーンへの焦点、および粗い11クラスのラベル空間といった限界についても述べている。今後の課題として、動的な環境への対応や、ナビゲーションや操作といったダウンストリームの身体化タスクに対するこれらのマップの影響を評価することを挙げている。しかし、現在の結果は、階層的ガウスメモリが、スケーラブルで長期間の身体化されたシーン理解に向けた有望な道であることを示している。