技術概要：屋内移動ロボット向け RGB のみの能動的 3D シーングラフ生成

問題定義

3D シーングラフ（3DSG）生成の既存のアプローチは、多様なロボットおよびインフラ環境での展開を妨げる 2 つの主要な限界に直面しています：

1. ハードウェアへの依存性：最先端の手法は、計測的な 3D 再構成のために専用深度センサー（LiDAR または RGB-D カメラ）に依存しています。これにより展開が特殊なプラットフォームに限定され、固定された外部監視インフラ、低コストロボット、または携帯端末など、市販の RGB カメラのみが利用可能なシナリオが除外されています。
2. 受動的観測：既存のパイプラインは通常、事前に記録された受動的に収集された軌跡上で動作します。これらは、部分的に構築されたシーン表現に基づいて視点を選択する能動的な動作を行わず、グラフ内に符号化された意味的および空間的情報を活用して効率的な探索を導く機会を逃しています。

したがって、RGB 入力のみを使用して 3DSG を構築し、ロボットを能動的に誘導して情報獲得を最大化するフレームワークが必要です。

手法

著者らは、知覚と計画を共有された構造化表現の周りで統合する、完全視覚的かつハードウェアに依存しないフレームワークを提案します。このシステムは、3 つの中核コンポーネントからなる増分的な知覚 - 動作ループ（図 1）として動作します：

1. RGB のみの 3DSG 生成

このパイプラインは、深度の真値なしで RGB 画像を処理し、点雲とシーングラフ（$G_t = \{O_t, E_t\}$）を増分的に更新します。

• 幾何学と姿勢推定：システムは、RGB 入力からシーン幾何学を推論するフィードフォワードモデルであるMapAnything [11] を利用します。$N$ 枚の画像が与えられると、これは各ビューの光線方向、スケール付き深度マップ、および最初の画像に対するカメラ姿勢、ならびにグローバルな計測スケール因子を予測します。これらを合成して、2D ピクセルを計測スケール付きの 3D 点雲に逆投影します。絶対姿勢は、最初の入力（例えば外部カメラまたは初期ロボット姿勢）の参照フレームを固定することで復元されます。
• オープンボキャブラリ意味マッピング：RGB 画像、推定深度、および姿勢はConceptGraphs [8] に投入されます。
  • セグメンテーションと埋め込み：SAM [22] がクラス非依存のインスタンスマスクを抽出し、CLIP [23] がこれらの領域を意味記述子に埋め込みます。
  • 3D 関連付け：マスクは推定幾何学を用いて 3D に投影され、マルチビュー関連付けが検出を 3D 物体ノード（$O_t$）にマージします。
  • 関係推論：元の ConceptGraphs が関係のために独自の大規模言語モデル（LLM）を使用するのとは異なり、この研究は決定論的かつ幾何学のみの手順を通じて空間エッジ（$E_t$）を導出します。これは、向き付き 3D 境界ボックスに基づいて固定優先度の述語（例：on top of、supported by、inside、next to）を評価し、再現性を確保するために順序付きペアあたり最大 1 つのエッジを割り当てます。

2. 能動的意味知覚（ASP）

受動的軌跡の限界に対処するため、フレームワークは次善視点（NBV）選択戦略を実装します。

• 幾何学的ベースライン：Surface Edge Explorer (SEE) [17] アルゴリズムをベースラインとして使用し、測定密度に基づいてフロンティア点を特定して表面カバレッジを最大化します。
• 意味駆動型探索：提案されたASPモジュールは、現在の 3DSG を利用して探索を誘導します。LLM が現在のグラフから未観測シーンの妥当な補完をサンプリングします。各候補視点について、システムはシャノンエントロピーを用いて、予測観測と現在のグラフ間の相互情報量である期待情報獲得を計算します。この獲得を最大化する視点が選択され、意味的曖昧性を解決する可能性が高い場所（例えばドアの背後の領域）が優先されます。

3. マルチビュー外部カメラ統合

このフレームワークは厳密に視覚的であるため、搭載ロボットカメラに加えて、較正されていない固定外部 RGB カメラからの観測を取り込むことができます。これらの外部ビューは、自己中心画像と同様に処理され、探索中にロボット運動を必要とせずにシーンの広範な初期推定（ブートストラッピング）を提供し、グラフを更新することができます。

主要な貢献

1. RGB のみのパイプライン：深度センサーへの依存を排除し、RGB 入力のみを頼りにする 3D シーングラフ生成のための新規パイプライン。
2. 能動的意味ループ：3DSG 表現を能動的探索ループに統合し、幾何学的ベースラインを上回る意味駆動型の NBV 選択を可能にする。
3. 外部カメラの活用：固定外部 RGB カメラがシーングラフを効果的にブートストラップし改善することを示す評価。これにより、追加の探索コストなしに文脈理解を強化する。

実験結果

この手法は、ReplicaおよびReplicaCADデータセットの 3 つの設定で評価されました：

1. 静的パイプラインの検証（Replica）

• 比較：提案された RGB のみ変種（CG-RGB）を、深度の真値を使用した元の ConceptGraphs（CG）と比較しました。
• 結果：RGB のみのパイプラインは、真値ベースラインとF1 スコアの同等性（0.500 対 0.499）を達成しました。ノイズの多い深度予測により精度がわずかに低下しましたが、再現率は向上し、システムが近接する物体の過度に積極的なマージを回避していることを示唆しています。

2. 能動的探索（ReplicaCAD）

• 設定：Habitat シミュレーター内で 30 回の探索ステップで行われました。
• 結果：意味駆動型の ASP フレームワークは、幾何学的 SEE ベースラインを大幅に上回りました。
  • 物体検出：ASP は真値 124 に近い約 110 個の物体を検出しましたが、SEE は約 45 個で停滞しました。
  • 再現率：ASP は SEE の 2 倍の再現率を達成しました（0.54 対 0.22）。
  • 効率性：ASP は、数百の受動的軌跡フレームの品質を、わずか 30 回の知的移動で達成しました。

3. 外部カメラ統合

• ブートストラッピング：単一の上空外部カメラでシーングラフを初期化すると、SEE の開始ノード数が 125%、ASP は 57% 増加し、初期再現率の向上が伴いました。
• スタンドアロンインフラ：移動ロボットなしで固定外部カメラのみ（1〜3 台）を使用する実験において：
  • 家具のある部屋では、3 台のカメラが0.516の F1 スコアを達成し、真値物体の 55% 以上を即座に復元しました。
  • 複雑なアパートでは、3 台のカメラが0.421の F1 スコアを達成しました。
  • 静的視点は能動的 30 歩探索の再現率には及びませんが、環境の支配的な構造を確立することに成功しました。

意義と主張

本論文は、能動的ロボット知覚は、幾何学のみよりも構造化された意味表現から恩恵を受けると主張しています。幾何学、意味、および構造を組み合わせることで、3D シーングラフは言語モデルによって自然にクエリ可能であり、部分的に観測された環境のための空間推論エンジンとして機能する、より豊かな知覚モデルを提供します。

深度センサーへの依存の排除は、実用的な利点を提供します：

• ハードウェア非依存性：システムは異種視覚入力をサポートし、低コストロボットへの展開と既存の監視インフラとの統合を可能にします。
• 削減された探索コスト：外部カメラはシーングラフをブートストラップでき、広範なロボット探索の必要性を減らしつつ、シーン理解を向上させます。
• 安全性と計画：補完的なビューは、搭載カメラに見える前に障害物と自由空間を明らかにし、より安全な動作計画のための幾何学的および意味的不確実性を低減します。

最終的に、この研究は、専門センサーが利用できない実世界展開において、信頼性が高くスケーラブルなロボット自律性の基盤としての意味ファースト表現の可能性を浮き彫りにしています。