技術的サマリー：自己視点操作のための空間的プロンプト付き視覚軌道予測

問題定義：空間的プロンプト付き視覚軌道予測（SP-VTP）

現在のロボット操作ポリシーは、しばしば目標を指定するために言語指示や離散的なタスク識別子に依存している。しかし、視覚的に類似した物体が含まれる混雑した環境では、「フォークを拾え」といった言語的記述やタスク ID は曖昧であったり、特定のインスタンスや配置領域を特定できたりしない場合がある。著者らは、そのようなシナリオにおいて、目標の指定は言語的になる前に本質的に空間的であると主張する。「この物体を拾い、あそこに置け」というように。

これに対処するため、本論文は**空間的プロンプト付き視覚軌道予測（SP-VTP）**と呼ばれる新しい設定を形式化した。このフレームワークにおいて：

• 入力: モデルは、ターゲット物体とターゲット配置領域を示す静的な空間的プロンプト（点またはバウンディングボックス）が付与された最初のフレームの自己視点画像を受け取る。
• タスク: モデルは、ストリーミングされる自己視点観測に基づき、将来のエンドエフェクタ（EE）軌道を予測しなければならない。
• 出力: マスクやボックスを出力する視覚的グラウンディングやトラッキングとは異なり、出力は相対的な 6 次元 EE 運動とグリッパ状態のシーケンスである。
• 課題: この問題は 4 つの異なる難しさを組み合わせている：
  1. 静的なタスク指定: 物体とターゲットは最初のフレームでのみ定義される。
  2. 動的な実行: カメラが移動し、EE がシーンを遮蔽し、把持後に物体が再配置される。
  3. インスタンスの曖昧さ解消: 混雑と同一カテゴリの妨害物は、持続的なインスタンスレベルのトラッキングを必要とする。
  4. フェーズ依存の運動: 同じ物体 - ターゲットのペアでも、実行フェーズに応じて異なる運動が必要となる場合がある。

手法

データセット：EgoSPT

SP-VTP を研究するために、著者らは自己視点空間的プロンプト付き操作軌道のデータセットであるEgoSPTを導入した。

• 収集: データは、自己視点ビデオ用の GoPro（170°魚眼レンズ）と、視覚慣性 SLAM による 6 自由度 EE 軌道追跡用の iPhone を備えた改良版ユニバーサル操作インターフェース（UMI）を使用して収集された。
• 内容: このデータセットには、5 つの視覚的に類似したフォークと 9 つのターゲット（皿、ボウル、カップ）を扱う 2,841 のピックアンドプレイスエピソードが含まれている。
• 構造: 難易度が上がる 3 つのシーンに整理されている：
  • シーン 1: 構造化されたレイアウト（クリーンな条件）。
  • シーン 2: 混雑したレイアウト（妨害物と空間的曖昧さ）。
  • シーン 3: 構成ごとにスパースなデモンストレーションを持つランダムに混雑したサブシーン。
• 注釈: 各エピソードには、最初のフレームの物体およびターゲットのグラウンディング注釈（バウンディングボックス）と、回復された 3 次元 EE 軌道が含まれている。

モデル：SPOT（空間的プロンプト付き物体 - ターゲットポリシー）

著者らは、空間的プロンプトと視覚的観測を融合して将来の軌道チャンクを生成するように設計されたポリシーSPOTを提案する。アーキテクチャは 3 つの主要モジュールで構成される：

1. タスクエンコーダ:

   • 最初のフレーム（$I_0$）と空間的プロンプト（物体 $p_{obj}$ およびターゲット $p_{tgt}$）を処理する。
   • デュアルプロンプト表現: プロンプトは 2 つの相補的な方法でエンコードされる：
     • 視覚的: バウンディングボックスが最初のフレームにレンダリングされる。
     • 座標: ボックス座標は、フーリエ位置特徴と MLP を使用して空間トークンとしてエンコードされる。
   • 融合: 凍結された DINOv2 ViT-B/14 バックボーンが画像トークンを抽出する。プロンプトトークン（役割埋め込み済み）は、クロスアテンションを介してこれらの視覚トークンをクエリし、タスクに関連する証拠を抽出し、グローバルなシーンコンテキストと特定の物体/ターゲット情報を融合する。

2. 観測エンコーダ:

   • タスクエンコーダと共有された視覚空間を確保するため、同じ凍結された視覚バックボーンを使用して現在の自己視点フレーム（$I_t$）をエンコードする。
   • 軽量 MLP と時間的位置埋め込みを介して、最近の軌道履歴（$h_t$）を組み込む。
   • 現在の視覚トークンと履歴トークンを連結して、実行コンテキストを形成する。

3. 軌道ジェネレータ:

   • 連結されたタスクおよび観測トークンを条件として受け取る。
   • 相対的な変位、6 次元回転、およびグリッパ幅を表す将来の軌道チャンク（$A_t \in \mathbb{R}^{H \times 10}$）を予測する。
   • 目的: デフォルトの実装は、軌道の速度場を予測するためにフローマッチングを使用するが、拡散ヘッドもサポートされている。モデルは、補間された軌道トークンのノイズ除去として訓練される。

評価プロトコル

本論文は、データリークと一般化の過大評価を防ぐためにシーン意識分割を強調している。同じシーンユニットからのすべてのエピソードは、単一の分割（訓練または検証）内に保持される。評価指標には、最終変位誤差（FDE）、位置 L2、回転 L2、およびグリッパ幅 L1 が含まれる。

主要な結果

プロンプティングベースライン

異なるプロンプトモダリティ（プロンプトなし、点、BBox、視覚的、BBox+ 視覚的）を比較する実験は、空間的プロンプトがプロンプトなしのベースラインよりも性能を大幅に向上させることを示している。

• 視覚的プロンプト（レンダリングされたボックス）と座標プロンプト（ボックストークン）の組み合わせが、全体的に最良の結果をもたらし、FDE を 0.1739（プロンプトなし）から 0.1147 に削減した。
• 視覚的プロンプト単独は回転精度に特に効果的であり、座標プロンプトは混雑したシーンにおける変位に有益な明示的な幾何学情報を提供する。

除去実験

• ビジョンエンコーダ: DINOv2-Baseは、特に混雑したシーン（シーン 2 および 3）において、他の基盤モデル（SigLIP、SAM、EVA2、PE）よりもエンドポイント精度と変位精度で優れている。
• 凍結 vs 非凍結: 視覚バックボーンを凍結したままにすることは、それを微調整するよりも良い一般化をもたらす。これは、限られたタスク分布にバックボーンを適応させることが過学習につながることを示唆している。
• 軌道ヘッド: フローマッチングヘッドは、すべての指標において一貫して拡散ヘッドを上回る。
• 履歴ホライズン: 中程度の履歴ホライズン（$K=4$）が最良のバランスを提供し、十分な運動コンテキストを提供しながら、古くなった観測を導入しない。

定性的性能

可視化は、SPOT が静的なプロンプトと現在の観測から正しい局所運動フェーズを正常に推論することを示している。長ホライズンのスティッチングは局所的なドリフト（誤差の蓄積）を蓄積するが、モデルはアプローチおよびリターン運動を含む操作軌道の粗い幾何学的構造を保持する。

意義と主張

本論文は、自己視点操作のための新しい、単純でスケーラブルなタスク条件としてSP-VTPを確立すると主張している。主な貢献は以下の通りである：

1. 形式化: 言語条件付き計画や標準的なトラッキングとは区別される、ビジョン中心の空間的プロンプト付き軌道予測として自己視点操作を枠組みづける最初の設定を定義する。
2. データセット: この問題を研究するために必要なグラウンディング注釈と 3 次元運動回復を提供する EgoSPT を導入する。
3. ポリシー: レンダリングおよび座標空間的プロンプトを視覚的履歴と融合させることが、新しいシーン構成において将来の軌道を効果的に予測することを示す SPOT を提案する。
4. 評価: レイアウトの暗記ではなく、真のクロスシーン一般化をテストするシーン意識評価プロトコルを確立する。

著者らは、視覚的コンテキストが最重要である環境において、言語ベースの指示に対する実用的な代替手段として、混雑した環境における操作目標の指定のための直接的で曖昧さの少ないインターフェースとして空間的プロンプティングを位置づけている。