技術概要：視覚プリミティブを伴う行動（AVP）

問題定義

現在のビジョン・言語・アクション（VLA）アーキテクチャは、言語指示と視覚観測を単一のフォワードパスでロボット行動にマッピングする傾向があります。概念的には単純ですが、この設計は指示の理解、空間的なシーン理解、およびモーター制御を単一の学習目的に絡みつかせています。その結果、「行動の専門家（モーターコマンドを生成するコンポーネント）」は、事前学習されたビジョン・言語モデル（VLM）に既に存在する認知能力と知覚能力を暗黙的に再学習することを強いられます。この結合は、学習効率と汎化能力を制限し、特にテスト時に物体、レイアウト、または環境が変化する際に顕著です。

この問題に対処するための中間表現を用いた既存の試みは、特定のトレードオフに直面しています：

• 計画中心のアプローチ（例：$\pi0.5$）は言語的サブタスクを使用しますが、高密度なシーンにおける微細な空間的区別には苦労します。
• ワールド・アクションモデル（例：$\pi0.7$）は予測された未来のフレームを使用し、行動の専門家がタスクに関連するピクセルを再発見することを要求します。
• 視覚プロンプト手法（例：Point-VLA、VP-VLA）は、空間マーカーを生成するために（SAM や Grounding DINO などの）外部モデルに依存します。これにより、推論遅延を導入し、上流の位置特定失敗からの誤差伝播のリスクを伴う多段階パイプラインが生まれます。

手法：AVP アーキテクチャ

著者は、VLM と行動の専門家の間のインターフェースを再定義する、エンドツーエンドの VLA アーキテクチャであるAVP（視覚プリミティブを伴う行動）を提案します。暗黙的で非構造化の境界の代わりに、AVP は視覚プリミティブ中心の通信プロトコルを採用します。

コアコンポーネント

1. 事前学習済み VLM と自己回帰デコーダ：言語指示（$l$）とマルチビュー観測（$o_t$）を与えられると、VLM は現在のサブタスクを解析します。その後、自己回帰デコーダが、次の段階のターゲット（点、バウンディングボックス、または軌道など）を表する離散化された視覚プリミティブ（$p_t$）を予測します。
2. 視覚空間への投影：予測されたプリミティブは、言語空間から視覚トークン空間（$z^{vp}_t$）へ投影されます。これらのトークンは元の観測上に重ねられ、拡張されたマルチモーダル表現（$z^{aug}_t$）を作成します。
3. フローマッチング行動専門家：行動専門家は、拡張トークンとロボットの状態（$s_t$）を受け取り、将来の行動の範囲（$a_{t:t+h}$）を予測します。

学習と監督

• エンドツーエンド最適化：カスケード型のアプローチとは異なり、AVP は視覚プリミティブインターフェースを内部化します。プリミティブ生成と行動予測は、共同で最適化されます。
• 監督ソース：視覚プリミティブデコーダは、補助損失（$L_{vp}$）を用いて監督されます。重要なのは、真の視覚プリミティブ（$y^{vp}_t$）がエンドエフェクタの運動学（ロボットの固有受容感覚）から直接導出され、手動アノテーションや外部知覚モデルの必要性を排除している点です。
• 目的関数：総損失は、行動予測損失とプリミティブ監督損失の加重和です：$L = L_{act} + \lambda L_{vp}$。

主要な貢献

1. 再概念化された責任分担：本論文は、VLM が「何を」行うかおよび「どこに」行うか（視覚プリミティブを通じて）を推論し、行動の専門家は「どのように」実行するかに専念するという、明確な役割分担を提案します。
2. 明示的インターフェースとしての視覚プリミティブ：AVP は、VLM によって内部生成される空間的基盤を持つトークンを通信媒体として導入し、現在の VLA の暗黙的な境界を置き換えます。
3. エンドツーエンド実装：このシステムは、外部の検出器やセグメンターを使用することなくこのインターフェースを実装し、運動学から導出された監督を用いてプリミティブ生成器を学習します。
4. スケーラビリティ：この手法は、低コストの学習データ（運動学が自動ラベルを提供）を介したスケーリングへの道を提供し、メモリ拡張型または長視野タスクへ容易に拡張できるコンパクトな形式を提供します。

実験結果

著者は、中国将棋の操作、ドミノの配置、および一般的な物体のピックアンドプレースという 3 つの現実世界のタスクにおいて、デュアルアームの AgileX Piper プラットフォーム上で AVP を評価しました。

• ベースラインとの性能比較：$\pi0.5$ ベースラインと比較して、AVP はタスク全体で操作成功率に27.61% の改善を達成しました。
  • 中国将棋：平均成功率が 62.67%（$\pi0.5$）から 90.28%（AVP）に向上しました。
  • ドミノ配置：平均成功率が 81.94% から 88.19% に向上し、特に向きに関する成功率で大幅な改善が見られました。
  • 一般的なピックアンドプレース：平均成功率が 64.96% から 86.18% に向上しました。
• 汎化：
  • 空間的構成的汎化：トレーニング中にのみ A $\to$ C $\to$ B が示され、A $\to$ B の直接遷移が未見であった場合、$\pi0.5$ は完全に失敗（成功率 0%）しましたが、AVP は高い成功率を達成しました（例：将棋盤の直接遷移で 100%）。
  • ゼロショット物体転移：中国将棋のデータのみで学習されたモデルは、ゼロショット設定で未見の物体や背景に成功して汎化しましたが、ベースラインは分布のシフト下で著しく劣化しました。
• 効率性：AVP は、外部 LLM API に依存する手法（Point-VLA 変種は約 37 秒を要するなど）と比較して、低い推論遅延（0.27 秒）を示しました。

意義と主張

本論文は、AVP がターゲット推論と運動実行の分離の有効性を示していることを主張しています。複雑な空間推論を VLM に委譲し、行動の専門家に明示的で視覚的に基盤のある指示を提供することで、システムは以下の点を実現します：

• 向上したデータ効率：行動の専門家が空間的基盤を再学習する必要がないため、学習がより効率的になります。
• 強化された汎化：明示的な視覚インターフェースにより、ポリシーは新しい遷移や物体に対して学習済みの運動パターンを再構成できるようになります。
• 削減されたアノテーションオーバーヘッド：プリミティブの監督に運動学に依存することは、人間のラベリングや外部検出器への依存に伴うコストと脆弱性を回避します。

著者は限界を認め、プリミティブ予測に続く行動生成という逐次的な 2 段階推論が、単一パスポリシーよりもわずかに高い実行時遅延を導入すること、およびシステムが正確なハンド・アイキャリブレーションに対して依然として敏感であることを指摘しています。しかし、結果は、視覚プリミティブが汎用ロボット操作のための堅牢でスケーラブルなインターフェースとして機能することを示唆しています。