技術要約：ゼロショット3DビジュアルグラウンディングのためのTDVR

問題提起

ゼロショット3Dビジュアルグラウンディング（3DVG）は、タスク固有の学習を行うことなく、自然言語による記述に基づいて3Dポイントクラウド内の特定のオブジェクトを特定することを目的としている。近年の進展にもかかわらず、既存の手法には以下の2つの決定的な限界が存在する：

1. 未知の視点による空間的曖昧性： 空間記述子（例：「左」、「後ろ」）は本質的に視点依存である。明示的なカメラポーズがない場合、方向に関する用語は深刻な参照の曖昧さを引き起こし、観測者の視点が記述に暗示された視点と異なる場合に、誤ったターゲットを選択する原因となる。
2. 類似したインスタンスの干渉によるクエリの曖昧性： 密集した屋内シーンでは、複数のオブジェクトが同じカテゴリ、類似した外観、および近接性を共有することが多い。既存のエージェントはしばしば微細な識別能力を欠いており、堅牢で決定論的なローカリゼーションを行うのではなく、候補間でのランダムな推測に陥る。

手法：TDVRフレームワーク

著者らは、LLM（大規模言語モデル）およびMLLM（マルチモーダル大規模言語モデル）を活用してこれらの課題に対処する、学習不要の推論フレームワークであるTDVR（結合テキスト曖昧性解消および視点推論）を提案している。パイプラインは以下のステージで構成される：

1. セマンティック3Dシーングラフ構築

システムは、検出されたインスタンスを表すノードからなるシーングラフ $G=(V, E, X_V)$ を構築する。各インスタンスについて、システムは以下を抽出する：

• 3Dバウンディングボックス ($p_i$): 幾何学的特性。
• カテゴリラベル ($l_i$): セマンティッククラス。
• 最適な2Dビュー ($a_i$): 遮蔽が最小となる視点を特定することによって生成されたクロップ画像。これは、3Dポイントクラウドを投影し、ターゲットオブジェクトに対して可視点の比率が最も高いフレームを選択することによって実現される。

2. 観測者中心の相乗的曖昧性解消

言語的な曖昧さを解決するために、本フレームワークはMLLMを介して3種類の記述を生成することで、元のクエリを強化する：

• 外観の詳細: 2Dクロップから導出された微細な属性（色、テクスチャ）。
• 方向的記述: 観測者を中心としたローカル座標系内において、複数のアンカーオブジェクトに対する相対的な空間関係。
• カテゴリ内記述: 同一カテゴリ内のインスタンス間の相対的位置関係（ターゲットをディストラクタから区別するため）。
  LLMは、元のクエリをこれらの強化された記述と融合させ、精密で曖昧さのないテキストを生成する。

3. 構造化された関係抽出

Chain-of-Thought（CoT）プロンプティング戦略を用い、LLMは構造化情報抽出器として機能し、曖昧さを解消したクエリを以下の4つのステージに分解する：

1. ターゲットエンティティの特定: 主要な主題とその属性の抽出。
2. アンカーオブジェクトのローカリゼーション: 探索範囲を制約するための参照オブジェクト（「アンカー」）の特定。
3. 空間関係の標準化: 空間的な手がかりをバイナリのタプル（例：<anchor, relation>）に正規化。
4. カテゴリ内精緻化: ターゲットのカテゴリ内における相対的な視点情報の抽出。
   出力は、決定論的なセマンティック表現を保証するために、フォーマット仕様に照らして検証される。

4. 視点認識型方向推論

このモジュールは、相対的な空間関係の回転不変性を利用して、最適な観測者視点を推論する。

• メカニズム: システムは、水平角 $\theta$ でランダムな中心の周りに3Dポイントクラウドを回転させる。
• スコアリング: 各回転において、回転させた相対ベクトル（ターゲットからアンカーへのベクトル）と、構造化されたクエリから導出された参照ベクトルとの間の整合スコアを計算する。
• 出力: 空間的制約の充足を最大化する最適な回転角 $\Theta_{best}$ を特定し、視点スコア ($S_v$) を生成する。

5. ビューベースの類似性デカップリング推論

類似したインスタンス（ディストラクタ）による混乱を解決するために、システムは混乱スコア ($S_c$) を計算する。

• 回転させた座標系内において、対象カテゴリの幾何学的重心を確立する。
• この重心に対する候補の変位ベクトルと、カテゴリ内の方向的手がかり（例：「右側にあるもの」）との間の整合性を評価する。
• これにより、グローバルな空間関係とは独立して、グループ内での相対的な立ち位置に基づいてターゲットを区別することが可能になる。

6. 特徴マッチング評価およびグラウンディング

システムは以下の2つの追加スコアを計算する：

• カテゴリスコア ($S_{cat}$): BERTを用いて、オブジェクトのカテゴリラベルとターゲットカテゴリのテキスト間のコサイン類似度を算出。
• 外観スコア ($S_{app}$): CLIPを用いて、オブジェクトの2Dクロップと外観記述との間のコサイン類似度を算出。

最終的なグラウンディング: 各オブジェクトの総合スコアは、以下の加重和として計算される：
$$S_{total} = S_{cat} \cdot (\alpha S_v + \beta S_c + \gamma S_{app})$$
最も高い $S_{total}$ を持つオブジェクトが最終的なターゲットとして選択される。

主な貢献

1. TDVRフレームワーク: 曖昧性を排除し、視点を推論する、MLLMに基づいたゼロショット3Dビジュアルグラウンディング・フレームワーク。
2. クエリ曖昧性解消パイプライン: 外観と空間関係の表現を統合することで、記述的テキストを強化し、言語的不確実性を解決する手法。
3. 視点および識別メカニズム: 視点推論と類似オブジェクト識別のための新しいモジュールを提供し、複雑なマルチディストラクタ・シーンにおける空間知覚を強化する。
4. 性能向上: ローカリゼーション能力を大幅に向上させ、ゼロショット推論とフル教師あり学習の間のギャップを縮小させた。

実験結果

本手法は、ScanReferおよびSr3Dデータセットを用いて評価された。

• ScanRefer: TDVRは、ゼロショット手法における新たなSOTA（State-of-the-Art）を達成した。
  • Acc@0.5 (Overall): 64.06%を記録し、従来の最高精度を持つゼロショット手法（SPAZER）を**15.26%**上回った。
  • Acc@0.5 (Multiple): 58.93%を記録し、従来の最高手法を**15.53%**上回り、類似したディストラクタに対する優れた処理能力を示した。
  • 教師ありモデルとの比較: TDVRは最近のいくつかのフル教師ありモデル（例：TSP3D, Pseudo-EV）を凌駕し、ゼロショットと教師ありアプローチ間の性能差を大幅に縮小させた。
• Sr3D:
  • 全体精度: 70.00%。
  • 視点依存サブセット: 79.03%を記録し、視点推論モジュールの有効性を検証した。
  • ハード（困難）サブセット: 63.23%を記録し、複雑な空間関係における堅牢性を証明した。

アブレーション研究:

• 観測者中心の相乗的曖昧性解消モジュールを除去すると、Acc@0.5が23.4%低下し、言語的不確実性の解消の必要性が浮き彫りになった。
• 視点認識型方向推論モジュールは19.3%のゲインをもたらし、類似オブジェクトを区別するためのコア・ドライバーとしての役割を裏付けた。
• ビューベースの類似性デカップリング推論モジュールは、微細な識別においてさらに3.2%のブーストを提供した。
• 曖昧性解消のための最適なアンカーオブジェクト数は5個であることが判明した。これを7個に増やすと、冗長なコンテキストが導入され、性能が低下した。
• 効率性: TDVRはクエリあたり平均10.21秒の推論時間を達成し、代表的なゼロショット・ベースラインよりも高速であった。

意義と主張

本論文は、TDVRが曖昧なクエリテキストと不十分な視点という二重の課題に効果的に対処することで、ゼロショット3Dビジュアルグラウンディングにおける重要な進歩を遂げたことを主張している。テキストの曖昧性解消と幾何学的な視点推論を統合することにより、本フレームワークは、タスク固有の学習データを必要とせずに、複雑な3D環境内で高精度にオブジェクトを特定することを可能にする。実験結果は、提案されたアーキテクチャの革新（特にマルチディメンショナルなシーングラフ推論と視点推論）により、ゼロショット手法がフル教師ありモデルに匹敵、あるいは場合によってはそれを上回ることが可能であることを示唆しており、これは推論ベースのアプローチにおける潜在能力を実証している。