技術的サマリー：TapSampling

問題定義

具現化制御に関する既存の研究は、主にトレーニングデータの拡張とモデルサイズの増大に焦点を当て、ロボットの操作ポリシーの改善を図ってきました。非決定論的生成モデル（拡散モデルや自己回帰型大規模言語モデルなど）は驚くべき能力を示していますが、その性能は単一ショット推論パラダイムによって根本的に制約されています。これらのモデルの確率的性質により、同一の環境条件であっても、ある試行では成功し、別の試行では失敗する可能性があります。ロボット工学における現在の推論時戦略は、主に以下の 2 つの限界に直面しています：

1. サンプリングの非効率性または忠実度：ポリシーモデルから直接繰り返しサンプリングすると、推論遅延が桁違いに増加しますが、単純なガウス分布からのサンプリングはアクションチャンク内の次元間相関を無視するため、真のアクション分布から逸脱した候補が生成されます。
2. 検証の課題：低レベルのロボットアクションを理解・解釈できるオフ・ザ・シェルフ（市販）モデルが存在しません。既存の検証手法は、手作業で設計された関数、オフライン強化学習、または選好学習に依存することが多く、解釈性が欠如していたり、特定のポリシーアーキテクチャと密接に結合していたりするため、プラグアンドプレイとしての適用性が制限されています。

手法

著者は、さらなる微調整なしに汎用ロボットポリシーを改善するための、プラグアンドプレイかつポリシー非依存の推論時サンプリングフレームワークTapSamplingを提案します。このフレームワークは、以下の 2 つの主要コンポーネントを通じて動作します：

1. 学習された事後分布による効率的なアクションサンプリング

サンプリング効率とアクション品質のトレードオフに対処するため、TapSampling はAction-VAE（変分オートエンコーダ）を導入します。

• アーキテクチャ：Action-VAE は、トランスフォーマーベースのエンコーダとデコーダを利用します。
• プロセス：
  • ベースポリシー $\pi$ から初期アクションの小さなセット（$N$）をサンプリングします。
  • エンコーダはこれらのアクションを潜在ガウス分布（平均 $\mu$ と対角共分散 $\sigma^2$）に圧縮します。
  • 初期サンプルの潜在分布を平均化することで、混合事後分布を構築します。
  • この圧縮された事後分布から任意の数の新しい潜在サンプルを抽出し、候補アクションにデコードします。
• 利点：このアプローチは、アクション次元間のチャンク内相関を捉え、生成された候補が真のポリシー分布に近接したまま、繰り返しポリシーサンプリングよりも大幅に高速（約 5 倍）であることを保証します。

2. タスク進行度検証による解釈可能なアクション選択

候補の中から最適なアクションを選択するために、TapSampling はタスク進行度理解検証器を採用します。

• トレーニングデータ構築：検証器は、専門家のロボット軌道に内在する逐次的構造を用いてトレーニングされます。タスク進行度が時間とともに線形的に増加すると仮定することで、著者は既存のデータセットから直接、正のサンプル（進行につながる前方アクションシーケンス）と負のサンプル（後退につながる逆再生アクションシーケンス）を構築し、追加の手作業による注釈を必要としません。
• アーキテクチャ：検証器は、ビジョン・言語・アクション（VLA）バックボーン（具体的には Qwen2.5-0.5B）を基盤として構築されています。現在の状態、タスク指示、およびクエリアクションを入力として受け取り、タスク進行度の変化量（$\Delta p$）を予測します。
• 選択メカニズム：予測スコアは明示的な意味を持ちます（例：負のスコアは妨げを、大きな正のスコアは急速な進行を示します）。推論時、閾値以下のスコアを持つ候補は破棄され、残りの候補のスコア加重平均を計算して最終アクションを生成します。
• 効率性：VLM バックボーンは、観測・指示ペアあたり 1 回のみ実行されます。隠れ状態はすべての候補間で共有され、軽量なアクションヘッドを介して並列に評価されるため、高スループットな検証が可能になります。

主要な貢献

1. ポリシー非依存フレームワーク：追加の微調整を必要とせず、事前学習された汎用ポリシーを強化するプラグアンドプレイシステム。
2. 学習された事後分布サンプリング：アクションを圧縮された分布にエンコードする Action-VAE ベースの戦略により、ポリシーの分布に準拠しつつ、多様で高品質なアクション候補を効率的に生成可能にします。
3. タスク進行度検証：低レベルのアクションがタスク進行度に与える影響を予測するようにトレーニングされた検証器により、不透明な報酬信号ではなく、明示的な意味スコアに基づく解釈可能なアクション選択を可能にします。
4. 実証的検証：多様なシミュレーション環境および実世界環境において、大幅な性能向上を実証しました。

実験結果

著者は、TapSampling をシミュレーションベンチマーク（CALVIN、LIBERO）および実世界のロボットセットアップの両方で評価しました。

• CALVIN ベンチマーク（シミュレーション）：TapSampling は、複数の非決定論的ポリシーの平均成功長を改善しました：
  • Diffusion Policy：2.41 から 2.58 に増加。
  • OpenVLA：3.30 から 3.51 に増加。
  • VPP：4.39 から 4.46 に増加。
  • 改善は異なるタスクステップ（1–5）全体で一貫しており、長期的な安定性の向上を示しています。
• LIBERO-Long ベンチマーク（シミュレーション）：$\pi0.5$ ポリシーに適用したところ、成功率が 96.8% から 98.0% に向上しました。
• 実世界実験：Franka Research 3 アームを使用し、$\pi0$ ポリシーの平均成功率を 78.3% から 83.3% に向上させました。特に、空間的な整合性や接触を認識した配置を必要とするタスク（例：物体の積み重ねや配置）において、精度が向上しました。
• 効率性分析：
  • サンプリング：学習された事後分布サンプリングは、ガウスサンプリングと比較して追加の遅延が negligible（<0.01 秒）であり、繰り返しポリシーサンプリングよりも大幅に高速でした。
  • 検証：TapSampling は、バッチ処理評価アーキテクチャにより、16 個の候補を評価する際に、LLaVA-7B を使用する RoboMonkey と比較して検証遅延が約 12 倍高速化しました。
  • 忠実度：最大平均不一致（MMD）分析により、学習された事後分布サンプリングを通じて生成されたアクションは、ガウスサンプリングによるものよりも真のポリシー分布に密接に一致することが確認されました。

意義と主張

本論文は、推論時への計算資源の配分が、トレーニングデータの拡張を補完する軸として、汎用ロボットポリシーの信頼性と性能を向上させる効果的でモデル非依存の道筋を提供すると主張しています。

著者は、TapSampling が単一ショット推論に内在する不安定性を以下の方法で解決すると主張しています：

1. ポリシーの再トレーニングなしに、確率的変動によって引き起こされた失敗を修正するメカニズムを提供すること。
2. 黒箱スコアリングに依存するのではなく、タスク進行度を理解する検証器を通じて解釈可能なアクション選択を可能にすること。
3. 高いアクション忠実度を維持しつつ、繰り返しポリシークエリの高遅延を回避する学習された事後分布サンプリング戦略を通じて、効率性と有効性のバランスを取ること。

この研究は、特にタスク進行度の理解に基づいた推論時戦略が、複雑な実世界シナリオにおいて堅牢なロボット操作システムを配備するための、実行可能かつ必要な方向性であることを示唆しています。