技術要約：マルチビュー3Dグラウンディングを用いたVLM推論によるゼロショット・ロングホライゾン・デクステラス・マニピュレーション

問題提起

本論文は、高レベルの言語指示に基づいて、汎用的なロボットシステムがいかにして**ロングホライゾン（長期間・多段階）な器用な操作（dexterous manipulation）**を実行できるようにするかという課題に取り組んでいる。近年のVision-Language-Action (VLA) モデルは進展を見せているものの、それらは通常、膨大なタスク固有のデータ収集、ファインチューニング、または人間によるデモンストレーションのリターゲティングを必要とし、これが多様な物体、道具、空間構成へのスケーラビリティを制限している。さらに、既存のゼロショット手法は、2Dの中間表現（キーポイントや視覚的マーク）に依存することが多く、これは接触点、配置ターゲット、あるいはツールの軌道などを決定する必要がある、本質的に3D的な操作タスクには不十分である。デクステラスハンドにおけるわずかな3Dグラウンディングの誤差は、不安定な把握、衝突、あるいは誤った道具の使用を招く。著者らは、意味的な推論と物理的な実行を分離するモジュール化されたアプローチを提唱しているが、同時に、言語と物理的な動作の間のギャップを埋めるために、2D VLMの予測を信頼できる3D量へとグラウンディングすることの極めて高い重要性を強調している。

手法

提案されているフレームワークは、校正されたマルチビューRGB画像と言語指示を、実行可能なアーム・ハンドプランへと変換するゼロショットシステムである。パイプラインは主に4つのステージで構成される：

1. 参照フレームの意味的グラウンディング

Vision-Language Model (VLM) $\Phi$ が、マルチビュー画像と言語指示を処理し、以下の事項を行う：

• 参照ビュー $r$ の選択。
• 操作モード $z$（「ピック（持ち上げ）」または「ツール使用」）の推論。
• モード固有のグラウンディング・タプル $g_z$ の予測。
  • ピック・アンド・プレース（持ち上げと配置）の場合：対象となる物体とその2D目的地となるピクセルを特定する。
  • ツール使用の場合：ツールとなる物体、スキルカテゴリ（例：注ぐ、掃く）、対象物、および関連する2Dキーポイントを特定する。
• 参照ビュー上での、関連する2Dキーポイントと意味的記述を伴う一連のプリミティブ $Q_r$（例：把握、アクションの適用、解放）の生成。

2. マルチビュー融合に基づく3Dリフティング

2Dキーポイントを堅牢な3D座標に変換するために、システムは遮蔽（オクルージョン）や奥行きの曖昧さを処理するためのデュアル戦略融合アプローチを採用している：

• クロスビュー・トライアンギュレーション：同じ意味的概念に対する2Dグラウンディングを得るために、VLMに対して全ビューに対してクエリを行う。ビューのペアに対してRANSACスタイルのトライアンギュレーションを行い、再投影誤差が閾値を下回るビューの数に基づいて候補をスコアリングする。
• 参照ビュー・レイ・ボーティング（Ray Voting）：推定をより強固に固定するため、システムは参照ビューのカメラレイに沿って深度候補をサンプリングする。これらの候補は、視覚的マーカーを伴って非参照ビューへと投影され、VLMは意味的記述に最もよく一致するインデックスを選択する。最も高いコンセンサス投票を得た候補が選択される。
• 動的選択：最終的な3Dキーポイントは、幾何学的なコンセンサスに基づいて選択される。トライアンギュレーションが高い信頼度のインライア（inlier）をもたらした場合はそれが使用され、そうでなければシステムは堅牢なボーティング推定へとフォールバックする。

3. 物体中心のアトミック・アクション・アライメント（ツール使用）

ツール使用タスクにおいて、システムは、スキルカテゴリによってインデックス化された、物体中心の6Dツール軌道の事前構築ライブラリである**「Bag of Atomic Actions」**を利用する。

• スキルカテゴリを特定すると、対応するアトミック・アクション（軌道 $T$）が呼び出される。
• システムは、VLMから導出された3Dキーポイント（アクション適用キーポイントおよび終端キーポイント）に、保存された軌道の開始/終了アンカーをマッピングする剛体変換を計算することで、保存された軌道を現在のシーンに整合させる。
• これにより、ツールに対するシーンに整合した6D軌道 $\hat{T}$ が生成される。

4. デクステラス・アフォーダンス誘導型の把握およびモーション生成

• アフォーダンス領域の推定：システムは、把握キーポイントの周囲にある2Dの把握可能なバウンディングボックス（アフォーダンス）を予測するために、全ビューに対してVLMにクエリを投げる。これらは、物体のメッシュ頂点を投影し、マルチビュー包含スコアに基づいてフィルタリングすることで3Dへとリフトされる。
• 把握（Grasp）生成：把握キーポイントを用いて、円筒形テンプレート（ハンドル用）または最適化ベースのジェネレータを使用して、3Dアフォーダンス領域内で候補となる把握を生成する。
• 衝突回避のリファインメント：配置またはツールポーズのためのグラウンディング点は、垂直方向のローカルグリッドを探索して、最も近い衝突のない位置を見つけることで精緻化される。
• 実行：既製の（off-the-shelf）アーム・ハンド・モーションジェネレータが、運動学的および衝突制約を解決し、実行可能な実行軌道を生成する。
• クローズドループ検証：ロングホライゾン・タスクにおいて、システムはステータス検証を行う。もしステップが失敗した場合（例：把握失敗）、VLMはその状態を検出し、特定のサブタスクの再計画または再グラウンディングをトリガーする。

主な貢献

1. 統合されたゼロショット・フレームワーク：VLMベースのタスクプランニングと、マルチビュー3Dグラウンディングおよび再利用可能なアトミック・プリミティブのライブラリを結合させたシステムであり、タスク固有の学習なしに、未知の物体や道具に対するゼロショット実行を可能にする。
2. マルチビューVLMグラウンディング：クロスビュー・トライアンギュレーションと参照ビュー・レイ・ボーティングを組み合わせることで、2Dの予測を信頼できる3D量へと融合させ、遮蔽や部分的な可視性に対する堅牢性を大幅に向上させる新しいアプローチ。
3. デクステラス実行への拡張：機能的な3Dアフォーダンス領域を推定し、軌道レベルの逆運動学および衝突の実現可能性に基づいて把握候補をフィルタリングすることにより、マルチビュー・グラウンディングをデクステラスハンドへと拡張した。
4. ロングホライゾン能力：クローズドループ検証と動的な再計画を通じて、複雑な多段階タスク（例：料理、整理整頓）における堅牢なゼロショット汎化を実証した。

実験結果

システムは、校正された複数のRGBカメラを用い、xArmとInspireデクステラスハンドを備えた実世界のテーブルトップ環境で評価された。

• 成功率：提案手法は、単一ビューのRGB-Dグラウンディング・ベースラインおよび、タスクごとに30回のデモンストレーションを必要とする2つのファインチューニング済みVLAベースラインを上回った。
  • 「ゴミを捨てる（Throw Away Trash）」および「鍋をストーブに置く（Place Pot on Stove）」タスクにおいて、提案手法はそれぞれ5/5および4/5の成功率を達成したが、ベースラインは低い、あるいはゼロの成功率であった。
  • 「混雑した精密なピック・アンド・プレース（Cluttered Precise Pick-and-Place）」において、提案手法は4/5の成功を収めたのに対し、RGB-Dベースラインは2/5であった。
  • ファインチューニングされたVLAモデル（GR00T, Being-HO）は、ゼロショットのツール使用タスクにおいて完全に失敗（0/5）したが、提案システムは「ほうきで掃く（Broom Clean）」において10試行中8試行で成功した。
• 3Dグラウンディング精度：マルチビュー融合により、把握位置誤差（$L_{grasp}$）は16.43 cm（RGB-D）から約4.6 cmへと減少した。アクション適用誤差（$L_{apply}$）も大幅に減少した。
• 衝突への堅牢性：衝突回避のリファインメントステップにより、貫入深さの誤差が最小化された。
• ロングホライゾン・タスク：システムは、クローズドループの再試行を通じて、中間的な失敗（例：関節制限、衝突）から回復しながら、多段階のタスク（例：3〜4個の物体を整理する、料理をする）を正常に完了した。

意義と主張

本論文は、VLMが意味的推論を扱い、プリミティブ・コントローラが実行を担うというモジュール設計が、エンドツーエンドのポリシー学習よりも、汎用的な操作を実現するための効率的な経路であることを主張している。著者らは、3Dグラウンディングこそが、単一ビューの推論では満たすことのできない、デクステラス・マニピュレーションにおける決定的な欠落要素であると強調している。

本研究の意義は、以下のことを示した点にある：

1. 現代のVLMは、ゼロショットで正確なタスク分解と2Dグラウンディングを提供できること。
2. これらの2D予測を複数のビュー間で融合することで、複雑な操作に必要な信頼できる3Dジオメトリを復元できること。
3. このアプローチにより、広範なデータ収集やファインチューニングを必要とせずに、未知の物体や新しい環境において堅牢な実行が可能になること。これは現在のVLAモデルのスケイラビリティの限界に対処するものである。

著者らは限界についても認めており、パフォーマンスは基礎となる2D VLMの推論の信頼性に依存すること、および物理的な実行は既製のプランナーに依存するため、レイテンシや特異点が発生する可能性があることを述べている。彼らは、物体中心の操作およびツール使用に焦点を当てており、手内操作（例：手の中で物体を回転させること）を解決しようとしているのではない。