技術概要：SceneGraphGrounder

問題定義

ゼロショット 3 次元視覚グラウンディングは、事前定義された物体カテゴリや真値の 3 次元アノテーションに依存することなく、自由形式の自然言語記述を用いて、非構造化の 3 次元環境内の対象物体を局所化することを目指す。最近のビジョン・言語モデル（VLM）や大規模言語モデル（LLM）は有望な成果を示しているが、既存のアプローチはしばしば暗黙的なシーン表現や視点依存の推論に依存している。これらの手法は通常、推論中にその場で空間的関係を推論するため、視点間の一貫性の欠如、構成的クエリに対する解釈可能性の不足、およびシーン構造の再利用 inability に起因する非効率性といった問題を引き起こす。核心的な課題は、堅牢でオープンボキャブラリーなグラウンディングを支援するために、空間的および意味的関係の両方を明示的に捉える形で 3 次元環境を表現することにある。

手法

著者らは、クエリから導出されたグラフと再構成された 3 次元シーングラフとの間の構造化グラフマッチング問題として 3 次元視覚グラウンディングを再定式化するフレームワーク「SceneGraphGrounder」を提案する。パイプラインは主に 3 つの段階から構成される：

1. 3 次元シーングラフの再構成

システムは、生 RGB-D 入力とオドメトリから永続的な 3 次元シーングラフ（$G_s$）を構築する：

• シーン再構成: 物体中心のアプローチにより、RGB-D フレーム内の物体を検出し、SAM などのモデルを用いてセグメンテーションを行い、マスクを 3 次元点雲に逆投影する。物体は、幾何学的な重なりと意味的類似性に基づいてフレーム間で追跡・マージされる。
• マーカー誘導型関係抽出: 生座標で LLM にクエリを送る手法とは異なり、このフレームワークは視覚マーカープロンプト戦略を採用する。一意の数値またはアルファベットマーカーを 2 次元物体マスクの中心に配置する。VLM が注釈付きの 2 次元画像を処理し、物体記述と空間的関係（例：「cup[1] は table[3] の上にあります」）を生成する。
• 2 次元から 3 次元へのリフティング: 予測された 2 次元関係は、マーカーで識別された物体を対応する 3 次元再構成インスタンスに関連付けることで 3 次元ドメインにリフティングされる。これにより、ノードが幾何学的・意味的属性を持つ物体を表し、エッジが空間的・意味的関係をエンコードするグローバルな 3 次元シーングラフが得られる。

2. グラフマッチングによる視覚グラウンディング

グラウンディングは、自然言語クエリを LLM が解析して作成したクエリグラフ（$G_q$）を、3 次元シーングラフ（$G_s$）に対してマッチングさせることで実行される：

• クエリ解析: LLM がクエリをノード（ターゲットとランドマーク）とエッジ（関係）に構造化する。
• 意味的フィルタリング: テキストエンコーダがクエリノードの埋め込みを計算し、意味クラスでシーンノードをフィルタリングすることで、探索空間を削減する。
• 制約付きアライメント: 深さ優先探索（DFS）がクエリノードと候補シーンノード間のマッピングを列挙する。マッチングは、以下の要素を組み合わせるスコア関数（$S$）を用いて評価される：
  • クエリノードとシーンノード間の意味的類似性。
  • エッジの類似性（関係制約のアライメント）。
  • 正常にマッピングされたノードの割合を測定する完了項。
• 視点ビューの同点決着: 曖昧な場合（例：重なり合う隣接物体を持つ近接候補や、ランドマークを欠くクエリ）には、VLM ゲートが活性化される。シーン候補物体をハイライト表示した視点 RGB ビューがレンダリングされる。VLM は、包括的な視覚的文脈、意味的記述、空間的手がかりに基づいて最適なターゲットを選択するようにプロンプトされ、必要に応じてのみグラフマッチャーを上書きする。

3. 実装詳細

このフレームワークは、検出に YOLO-v8、セグメンテーションに SAM、特徴量アライメントに CLIP を利用する。キャプション生成、グラフ解析、最終的な同点決着ステップには、Qwen3-VL、GPT-5.3、Gemma4 などの各種 VLM を活用する。システムは、真値の点雲や事前計算された物体提案を必要とせずに動作する。

主要な貢献

1. 構造化グラフマッチング定式化: 本論文は、3 次元視覚グラウンディングをクエリグラフと再構成された 3 次元シーングラフとの間の構造化マッチング問題として定式化し、反復的な暗黙的推論から明示的な関係アライメントへと転換する。
2. 意味的に豊かな 3 次元シーングラフ: 著者らは、RGB-D データから導出され、視覚マーカー戦略を介した VLM 推論関係によって拡張された、空間的および意味的関係の両方をエンコードする再利用可能な 3 次元シーングラフを構築する。
3. 生入力によるゼロショット性能: このフレームワークは、真値の点雲や事前計算された提案を必要とせず、生 RGB-D 観測とオドメトリのみを使用して、競争力のあるゼロショットグラウンディング性能を達成する。

実験結果

ベンチマーク評価（ScanRefer）

ScanRefer ベンチマーク（検証セット）で評価されたところ、この手法はゼロショットアプローチ間で競争力のある性能を示した：

• 全体的な性能: 最良の変種（Qwen3-VL-8B を使用）は、36.8% の Acc@0.25 および 26.0% の Acc@0.5 を達成した。
• 比較: 教師あり手法（例：BUTD-DETR）がより高いスコアを達成する一方、SceneGraphGrounder は 3 次元入力を活用していないにもかかわらず、ZSVG3D や SeeGround といった他のゼロショット手法と同程度の性能を発揮した。
• 一意対複数: 「Unique」分割（65.5% Acc@0.25）における性能は、「Multiple」分割（27.3% Acc@0.25）と比較して著しく高く、混雑した環境における物体の曖昧さの解決が依然として主要な課題であることを浮き彫りにしている。
• アブレーション研究: 結果は、グラフマッチングにおけるエッジ情報が重要であることを示している。グラフマッチングと VLM ベースの同点決着を組み合わせることで相乗的な改善が得られ、いずれかのモジュールを単独で使用する場合よりも優れた性能を示した。

実世界への展開

このシステムは、屋内環境でインテル RealSense センサを搭載した Boston Dynamics Spot ロボットに展開された：

• 成功率: ゼロショットグラウンディングタスクにおいて 51.2% の成功率（84 試行中 43 回）を達成した。
• 軌道分析: 性能は、特定の探索軌道（時計回り、反時計回り、ランダム）に対してはあまり敏感ではなく、シーンのカバレッジを得るための十分かつ適切な視点の獲得に依存することが判明した。
• 失敗モード: 解析により、再構成上は視覚的に類似しているがクエリ上では意味的に区別される物体（例：リサイクルビン対ゴミ箱）が重大な課題となることが明らかになった。

意義と主張

著者らは、SceneGraphGrounder が、3 次元シーンの明示的かつ構造化された表現を導入することで、暗黙的かつ視点依存の推論の限界に対処すると主張している。グラウンディングをグラフマッチングとして再定式化することで、このフレームワークは解釈可能性と効率性を向上させ、クエリ間でのシーン構造の再利用を可能にする。視覚マーカー戦略の統合により、VLM は 2 次元ビューから関係を推論し、それを堅牢に 3 次元にリフティングすることが可能となり、オープンボキャブラリー設定でのゼロショットグラウンディングを容易にする。モバイルロボットへの成功した展開は、物理的かつ長期的な環境における堅牢な空間推論におけるこのフレームワークの可能性を実証し、理論的な 3 次元理解と実用的なロボティクス応用との間のギャップを埋めている。著者らは、現在のフレームワークは静的シーンを前提としているが、将来の研究では物体の位置や関係が変化する動的環境に対処すると指摘している。