技術概要：固定設置された外部カメラを共通事前マップとして用いた能動的 3D シーングラフ生成

問題定義

家庭や病院などの非構造化された人間環境で動作する現代のロボットシステムは、自律的に知覚し、判断し、行動するために、豊かな文脈的視覚理解を必要とする。従来の知覚パイプラインはしばしばこれを提供できず、意味内容に欠ける低レベルの高密度メトリックマップ、または関係構造を見逃す物体中心の出力を生み出している。3D シーングラフ（3DSG）は、エンティティ、その 3D 位置、および物体間の関係を捉えた構造化された表現を提供するが、事前知識が不完全な場合、現実世界のシナリオでこれを頑健に構築することは依然として課題である。

さらに、既存の能動的意味知覚（ASP）システムは、通常、自己中心（搭載型）センサーに依存し、関係推論のために深度データ（RGB-D）または独自の大規模言語モデル（LLM）に依存することが多い。すでに多くの建物で監視用に展開されている固定設置の外部カメラインフラを、RGB のみの設定において、特にシーン理解をブートストラップするための事前知識源としてシームレスに統合できるフレームワークは存在しない。

手法

著者は、固定設置された外部カメラからの観測を共通事前マップ（CPM）として扱う、能動的かつ増分的な 3D シーングラフ生成のためのRGB のみのフレームワークを提案する。このシステムは、搭載型ロボットカメラと外部固定カメラの両方を同一に処理する、統一されたハードウェア非依存パイプライン内で動作する。

システムアーキテクチャ

このシステムは、増分的な知覚 - 行動ループとして機能する：

1. 初期化（t=0）： 1 つ以上の固定設置された外部カメラからの RGB 観測が CPM として機能する。これらは処理されて点群と 3DSG を初期化し、ロボットが移動する前に意味的および幾何学的構造を提供する。
2. 能動的探索（t>0）： ロボットは現在の視点から新しい RGB 画像を取得する。同じパイプラインが点群とシーングラフを更新する。その後、能動的探索モジュールが情報利得を最大化する「次善の視点（NBV）」を選択し、ロボットを意味的不確実性の高い領域へ誘導する。

中核コンポーネント

1. RGB のみの 3DSG 生成

• 幾何学推定： パイプラインは、RGB 画像からシーン幾何学を推論するためにMapAnything[8] を利用する。単一のフォワードパスにおいて、モデルは視点ごとの光線方向、スケール付き深度マップ、カメラ姿勢、およびグローバルなメトリックスケール因子を予測する。これにより、物理的な深度センサーなしで、2D ピクセルをメトリクススケールされた 3D 点群へ逆投影することが可能になる。
• シーングラフ構築： システムはConceptGraphs[12] を適応させる。インスタンスマスクにはSAM[21] を、意味的埋め込みにはCLIP[22] を使用する。重要なのは、関係性のために独自 LLM にクエリする代わりに、著者が決定論的かつ幾何学のみの手順を採用している点である。空間的エッジは、垂直接触、包含、近接に基づいた固定優先度の述語（例：on top of（上に）、supported by（支えられている）、inside（内部）、next to（隣））を用いて、向き付けられた 3D 境界ボックスから導出される。

2. 能動的意味知覚（ASP）
このフレームワークは、探索を誘導するために ASP[18] を統合する。LLM（実験では具体的にはgemini-2.5-pro）は、現在のグラフに基づいて未観測シーンの妥当な補完をサンプリングする。システムは、予測された観測と現在のグラフ間の相互情報量を用いて、候補視点の期待情報利得を計算する：
$$I(Y_{k+1}; G_k | x) = H(Y_{k+1} | x) - H(Y_{k+1} | x, G_k)$$
ロボットはこの利得を最大化する視点へ移動し、意味的曖昧性の解決を優先する。

3. 共通事前マップ（CPM）
外部 RGB カメラからの観測は、搭載型画像と同一に処理される。CPM として使用される場合、これらは展開前に部分的な意味的および幾何学的構造を提供し、ASP モジュールがより豊かな初期文脈を利用し、最初のステップからより情報量の多い視点を選択することを可能にする。

主要な貢献

1. RGB のみのパイプライン： 深度センサーやハードウェア変更を必要とせず、固定設置された外部カメラのシームレスな統合を可能にする、3D シーングラフ生成のためのエンドツーエンドパイプライン。
2. 能動的探索ループ： 生成されたシーングラフを利用して情報量の多い視点を選択し、事前知識を能動的に洗練させる意味的探索メカニズム。
3. 実証的検証： カメラインフラ事前知識が、シーングラフの完全性と探索効率を大幅に向上させることを示す実験的証拠。

実験結果

この手法は、Replica および ReplicaCAD データセットを用いた 3 つの設定で評価された：

1. 静的パイプラインの検証
Replica データセットにおいて、真の深度/姿勢を使用する元の ConceptGraphs と、MapAnything 予測を使用する提案された RGB のみ変種を比較した結果、強い同等性が示された。

• F1 スコア： ほぼ同一（CG で 0.499 対 CG-RGB で 0.500）。
• リコール： RGB のみ変種はリコールをわずかに改善した（0.436 対 0.401）。これは、ノイズの多い深度予測が、近接して配置された物体の過度なマージを防いだと考えられる。

2. CPM 初期化による能動的探索
Habitat シミュレーター（ReplicaCAD アパート）での実験は、搭載観測のみで動作する ASP と、1 つの外部カメラで初期化された ASP を比較した。

• 初期影響： 1 つの外部カメラで初期化することで、初期ノード数が**+74%（約 23 から約 40 へ）、初期リコールが+79%**（約 0.15 から約 0.26 へ）増加した。
• 持続的パフォーマンス： ステップ 30 までに、CPM 初期化システムはより高い軌道を維持し、約 107 ノードと約 0.56 のリコールに達したのに対し、搭載のみのベースラインは約 98 ノードと約 0.47 のリコールであった。

3. 単独の CPM の価値
移動ロボットなしで固定設置された外部カメラのみ（1〜3 台）を使用してシステムを評価した：

• 複雑なアパート： 3 台のカメラで0.301のリコールを達成。
• 家具が備えられた部屋： 3 台のカメラで0.555のリコールを達成。
• 結論： 静的カメラは能動的ロボット探索の網羅性に匹敵することはできないが、移動ロボットがなくても環境の支配的な構造を確立し、高品質な事前知識として機能する。

意義と主張

本論文は、固定設置された外部カメラを共通事前マップとして扱うことが、ロボット自律性を強化する実用的で費用のかからない方法であると主張する。既存の監視インフラを活用することで、システムは増分的に洗練可能な構造化された意味的および幾何学的表現を提供する。

著者は、このアプローチが以下の点で重要であると強調している：

• 探索のブートストラップ： 単一の外部カメラであっても、初期の物体リコールを大幅に増加させ、その後の能動的探索のためのより豊かな文脈を提供する。
• ハードウェア非依存： 深度センサーや関係推論のための独自 LLM への依存を排除し、代わりにフィードフォワード 3D 再構成と決定論的幾何学ルールに依存する。
• 堅牢性の向上： 外部カメラからの広視野観測は、再構成を一貫したグローバル参照フレームに固定するのに役立ち、部屋を超えた局所化とマッピングの安定性を向上させる可能性がある。

この研究は、外部カメラ入力を統合した RGB のみの設定で 3DSG 生成を可能にする最初のシステムとして位置づけられ、スケーラブルでインフラ支援型のロボット自律性に向けた新たな方向性を開くものである。