技術要約：Retrieve, Don't Retrain (RECAP)

問題提起

Vision-Language-Action (VLA) ポリシーを新しいタスクや新しいロボットの形態（例：人間の手から特定のロボットアームへ）に拡張するには、通常、タスク固有のテレオペレーションによるデモンストレーションを収集し、タスクごとのファインチューニングを行う必要があります。このプロセスには、以下の2つの大きなコストが発生します。

1. データ収集コスト： テレオペレーションによるロボットデータは取得が遅く（人間の手によるデモンストレーションよりも約18倍遅い）、ハードウェアに縛られます。
2. 計算コスト： 各新しいタスクに対して現代的なWorld-Action Model (WAM) や大規模なVLAポリシーをファインチューニングすることは、計算集中的です（例：Cosmos Policyでは1タスクあたり約24 GPU時間）。これはモデルのサイズやコンテキスト長に応じてスケールします。

著者らは、このタスクごとの適応コストは回避可能であると主張しています。代わりに、安価でデータ豊富なソース（「プール」となる形態、例：人間の手）からの行動知識を、リトリーバル（検索）ベースのパラダイムを介してターゲットとなる形態（「クエリ」）へと転移させることができます。

手法：RECAP

本論文は、適応をパラメータの最適化からデータの検索へとシフトさせるフレームワークである RECAP (Retrieval-Conditioned Action Policy) を提案しています。その核心となる前提は、形態が異なっていても、実行のダイナミクスは異なれど、タスクの高レベルな要求事項については大きく一致しているという点です。

1. 学習フェーズ

• バックボーン： 本手法は、アクションと将来の視覚的観測を単一のデノイズされたビデオシーケンスとして扱うWorld-Action Model (WAM)、具体的には Cosmos Policy を利用しています。
• 検索拡張型コンディショニング： ポリシーは、クエリ（ターゲットロボット）とプール（例：人間の手）の両方の形態からのペアとなったデモンストレーションを用いて一度だけ学習されます。
• 残差パラメータ化： ポリシーは完全なアクションシーケンスを予測するのではなく、検索されたプールの軌跡に対する 残差 ($\Delta a$) を予測します。
  • $\hat{a}^{query} = a^{pool}_{retrieved} + \Delta a$
  • これにより、モデルはモーションプラン全体ではなく、形態固有の補正（ダイナミクス、接触幾何学）のみを学習することを強制されます。
• 結合目的関数： モデルは、予測されたアクションと予測された将来の状態（画像）を共同で監督するフローマッチング損失を用いて学習されます。将来画像の目的関数は、視覚的な一貫性信号として機能し、検索された軌跡がターゲットロボットにおけるシーンの物理的な進化と整合していることを保証します。

2. テスト時適応（推論）

• 凍結されたポリシー： 一度学習されると、ポリシーのパラメータは固定されます。新しいタスクに対して勾配更新は行われません。
• 動的な検索プール： 新しいタスクは、関連するプール形態のデモンストレーション（例：人間のビデオ）を検索プールに追加することで処理されます。
• ステップバイステップの検索： 制御ステップ $t$ ごとに、システムは以下を行います：
  1. 現在のクエリ状態 $s^{query}_t$ を観測する。
  2. 複合記述子（言語目標、オブジェクトのポーズ、固有受容感覚、および視覚的特徴）に基づき、プールデータベースから最も類似した状態・アクションのチャンク $(s^{pool}_{t':t'+H}, a^{pool}_{t':t'+H})$ を検索する。
  3. 現在の観測と検索されたチャンクを、凍結されたポリシーに入力する。
  4. ポリシーは、検索された高レベルなプランを条件として、ターゲットロボットの次のアクションチャンクを出力する。

主な貢献

1. テスト時適応パラダイム： 検索プールに安価なデモンストレーションを追加することで、ポリシーを凍結したまま、テスト時に完全に新しいタスクに適応させる手法。
2. WAMにおける検索条件付き残差ポリシー： 検索が粗い高レベルのモーションを提供し、WAMが形態固有の補正のみを学習するという特定のアーキテクチャ。著者らは、WAMの将来画像予測の目的関数が、検索条件付きアクションを強化する視覚的一致信号を提供することに特有の利点があることを強調しています。
3. 実証的検証： 以下の3つの設定において、クロスエンボディメント（形態横断）のベースラインに対して一貫した向上を示しました。
   • PushT (2D): 未知の目標角度への汎化。
   • RoboTwin 2.0 (シミュレーション): マルチタスク、デュアルアーム操作。
   • 実ロボット: 人間の手のビデオから物理的なロボットアームへの転移。

実験結果

PushT ベンチマーク（形態横断の汎化）

• 設定： $\pm 45^\circ$ の角度で訓練された三角形のプッシャー（ターゲット）を用い、9つの角度（うち7つは未知）で評価。プールはディスクプッシャーのデモンストレーションで構成。
• 結果：
  • プールの進行： テスト時に検索プールを拡大すると、再学習なしで未知の角度に対する成功率が単調に向上し、6.0%（検索なし）から 34.9%（フルプール）へと上昇しました。
  • バックボーンの比較： 検索は標準的なVLA ($\pi0.5$) と WAM (Cosmos) の両方のバックボーンを改善しましたが、その利得は WAM の方が有意に大きく（25.1% 対 34.9%）、検索と将来画像目的関数の相乗効果を確認しました。
  • メカニズム： アテンション分析により、ポリシーは初期層で検索された軌跡に注目し、後続の層でターゲットのダイナミクスにプランを適応させていることが示されました。

RoboTwin 2.0 シミュレーション

• 設定： ターゲット (Aloha-Agilex) 対 プール (UR5)。5つのペアタスクで訓練し、5つの未知のタスクで評価。
• 結果：
  • パフォーマンス： RECAPは未知のタスクに対して 31.5% の成功率を達成し、最強のベースライン（検索なしのCosmos Policy）の 26.0% および「検索のみ」（ナイーブな実行）の 26.0% を上回りました。
  • プールの成長： 成功率はプールが11から35のタスクへと増えるにつれて単調に増加し、フルプールで31.5%に達しました。
  • 定性的評価： 「hand-over-mic（マイクの受け渡し）」のようなタスクにおいて、ナイーブな検索は失敗（物体との衝突）しましたが、RECAPはグリップの向きを適切に調整できました。

実ロボット実験

• 設定： 「キャビネットを開ける（open cabinet）」の訓練（25組のペアデモ）を受けたターゲットロボット。保持されていないタスク「ボトルを置く（place bottle）」および「キャビネットを閉める（close cabinet）」で評価。
• 結果：
  • ベースライン（open cabinetのみで訓練）は、保持されたタスクにおいて、訓練軌跡を再生するだけで失敗しました（成功率 0% および 10%）。
  • RE-CAPは、新しいタスクごとに人間による手のデモンストレーションを10個ずつプールに追加するだけで、ボトルを置くタスクで 80%、キャビネットを閉めるタスクで 30% の成功率を達成しました。

意義と主張

本論文は、デプロイメント時に安価なプール形態のデータをインデックス化することが、新しいターゲットロボットのデモンストレーション収集の代わりになり得ると主張しています。

• コスト削減： 本手法は、約24 GPU時間のタスクごとのファインチューニングコストと、18倍遅いテレオペレーションのコストを、検索プロセスに置き換えます。
• スケーラビリティ： ポリシーを凍結することで、システムは単に検索プールにデータを追加するだけで新しいタスクを取り込むことができ、従来のファインチューニングに伴う累積的なコストを回避できます。
• WAMとの相乗効果： 本研究は、World-Action Modelが、検索と組み合わされることで、ある形態からの「粗い」プランニングを、別の形態の「細かい」ダイナミクスを学習するために効果的に活用できることを実証しており、これは標準的なアクションのみのポリシーにはない能力です。

著者らは制限事項として、本手法は共有されたアクション空間（例：エンドエフェクタのポーズ）を必要とすること、および現在の検索記述子（言語、ポーズ、視覚を組み合わせたもの）は、より複雑または時間的に不一致なシナリオに対してさらなる洗練が必要である可能性を認めています。しかし、結果は、再学習ではなく検索を通じて適応する汎用ロボットポリシーへの実行可能な道筋を示唆しています。