FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

技術概要：FOUND-IT

問題定義
現在の 3D シーングラフ構築手法は、2 つの主要な限界に直面しています。すなわち、較正された深度センサー（ステレオまたは RGB-D）への依存と、セマンティックな粒度における柔軟性の欠如です。既存のリアルタイムシステムは、複雑なパイプラインと固定されたセンサー設定を必要とすることが多く、展開を制限しています。さらに、それらは通常、マッピング時に特定のオブジェクト粒度にコミットするか、または事前に定義された静的なタスクリストに依存しています。この硬直性により、ロボットは空間表現を動的に適応させることができません。例えば、ロボットは「ストーブ」（粗い粒度）へのナビゲーションから、そのストーブ上の特定の「ノブ」（細かい粒度）の操作へ、再マッピングやタスクの事前定義なしに容易に切り替えることができません。加えて、多くのアプローチは、構造化された幾何学的事前知識に依存することなく、多様な屋内および屋外環境において、通過可能性（場所）と領域の定義を一般化することに苦労しています。

手法
著者らは、FOUND-IT（Granularity on Demand を備えた、ファウンデーションモデルファーストのタスク駆動型 3D シーングラフ）を提案します。これは、較正されていない単眼ビデオのみを使用して、リアルタイムで階層的かつオープンセットの 3D シーングラフを構築するシステムです。このシステムは幾何学的ファウンデーションモデル（GFMs）に基づいて構築されており、特に幾何学的バックボーンとしてVGGT-SLAM 2.0を活用しています。

アーキテクチャは 4 つの主要なレイヤーで構成されます：

1. 幾何学的マッピング: システムは単眼画像のストリームを処理し、視差に基づいてキーフレームを指定します。これらは GFM に供給され、高密度な深度マップ、ポーズ、カメラ内パラメータを生成します。サブマップは鎖状に連結され、SL(4) 多様体上のファクターグラフを使用して大域的に最適化されます。メモリ管理のため、システムはオプションでボクセル化を通じてマップを疎化し、全体的なマップを疎に保ちながら、クエリされたオブジェクトは高密度に表現できるようにします。
2. オブジェクトレイヤー（視覚メモリとキャッシュ）: オブジェクトインスタンスを事前に抽出するのではなく、FOUND-IT は 2 段階のメモリシステムを採用します。
   • 視覚メモリ: キーフレームは CLIP ベースの知覚エンコーダーを通過し、セマンティック埋め込みを作成します。これにより、オブジェクトの形成はクエリが受信されるまで遅延されます。
   • クエリ時形成: テキストクエリを受信すると、システムはクエリ埋め込みとキーフレーム埋め込みの間のコサイン類似度を計算します。関連するキーフレームはその後、SAM3によって処理され、2D セグメンテーションマスクを生成し、GFM の深度を使用して 3D に逆投影されます。
   • キャッシュメモリ: 解決されたオブジェクトは、3D 向きバウンディングボックス付きの点雲として保存されます。後続のクエリは最初にこのキャッシュをチェックし、再計算なしで増分的かつタスク駆動型のマップ構築を可能にします。
3. 場所レイヤー（通過可能性）: 複雑な幾何学的クラスタリングなしに通過可能な空間をマッピングするために、著者らは GFM に地面セグメンテーションヘッドを追加します。経験的分析を通じて、最終層ではなく GFM の中間層が地面セグメンテーションに最適な特徴を提供することが判明しました。このヘッドは地面マスクを予測し、それらは正方形のタイルの疎グラフに変換されます。このグラフはループクロージャと動的変形をサポートします。
4. 領域レイヤー: 領域（例：「キッチン」、「駐車場」）は事前に分割されるのではなく、場所グラフのクエリ駆動型部分集合です。各場所ノードは、セマンティック埋め込みの**フォン・ミーセス・フィッシャー（vMF）**分布を使用して観測を要約し、平均方向と集中度パラメータの両方を捉えます。オープンボキャブラリクエリは、これらの分布に対して観測の信頼性で重み付けされてスコアリングされます。信頼性対応のグラフラベル伝播は、場所グラフ全体でスコアを平滑化し、ガウス混合モデルは領域内と領域外の場所を分離します。

エージェント統合
このシステムは、LLM エージェントによってオーケストレーションされるように設計されています。事前に構築された固定表現から検索する従来のエージェントシステムとは異なり、FOUND-IT エージェントはシーングラフを能動的に増分的に構築します。これは、視覚メモリから関連フレームをクエリし、SAM3 を介してオブジェクトを抽出し、キャッシュを更新することで、タスクに基づいて「オンデマンド」で表現を実際に構築します。

主要な貢献

1. タスク駆動型粒度: マッピング時ではなくクエリ時にオブジェクトと領域の粒度を決定する、3D シーングラフ構築の新たなアプローチ。事前定義されたタスクリストなしで、動的なタスクの進化をサポートします。
2. 単眼ファウンデーションモデルファースト: GFMs を活用することで、深度センサーや複雑な較正を必要とせず、較正されていない単眼カメラを使用して階層的な 3D シーングラフを構築する最初の手法。
3. 中間層による地面セグメンテーション: GFMs の中間層が地面セグメンテーションに最適であることを示す実証。これにより、多様な屋内および屋外環境において堅牢な通過可能性マッピングが可能になります。
4. クエリ時クラスタリング: vMF 統計とグラフ伝播を使用して、場所をオープンセット領域にクラスタリングする効率的なアルゴリズム。特定のタスクに基づいた柔軟な領域定義（例：「リビングルーム」内の「遊び部屋」）を可能にします。
5. エージェント構築: 静的マップをクエリするのではなく、LLM エージェントが流入するクエリに基づいてシーングラフ表現を増分的に構築する統合。

実験結果
著者らは、FOUND-IT をいくつかのベンチマークと実世界のシナリオで評価しました：

• Clio データセット（オープンセットオブジェクト抽出）: FOUND-IT は、オープンセットリコールと IoU の観点から、すべてのシーン（キュービクル、アパート、オフィス）でトップのパフォーマンスを達成し、タスク駆動型のベースライン（Clio やベイズフィールドなど）とタスク非依存のオープンセット手法の両方を上回りました。
• ASHiTA SG3D ベンチマーク（タスクグラウンディング）: システムは、タスク記述をオブジェクト位置にグラウンディングする精度において、以前の最先端（ASHiTA）に対して79% の改善を示しました。
• HOV-SG ベンチマーク（領域クラスタリング）: この手法は、屋内固有の手法（HOV-SG、Hydra）に対して競争力のある精度とリコールを達成し、屋内構造の事前知識への依存度が低いにもかかわらず、セマンティック精度においてそれらを超えました。
• リアルタイム性能: Spot 四足ロボットに搭載されたNVIDIA Jetson Thor上で、軽量な GFM（Depth Anything）を使用してシステムは4 Hzで動作します。デスクトップ GPU（RTX 3090）では、完全なパイプラインは 6〜7 Hz で動作します。
• 野外での一般化: システムは、不動産業者のアパートツアーの YouTube 動画から、較正されていない可変品質の入力に対して堅牢であることを示し、シーングラフを正常に構築しました。

意義と主張
この論文は、FOUND-IT がマッピングプロセスからマップ粒度を切り離すことで、ロボティクスにおける空間知能への根本的な転換を表すと主張しています。ファウンデーションモデルを活用することで、システムは単眼ビデオからのプラグアンドプレイ型 3D 再構築を達成し、オープンセットかつタスク駆動型の推論をサポートします。著者らは、このアプローチにより、必要な詳細レベルが動的に変化する複雑な局所操作タスクをロボットが処理可能になると強調しています。この研究は、特定のダウンストリームタスク（地面セグメンテーションなど）のためにファウンデーションモデルの中間特徴を活用する可能性を浮き彫りにし、高忠実度で階層的なシーン理解が、高価なセンサーセットや硬直的な事前定義タスクスキーマなしに達成可能であることを実証しています。