テクニカル・サマリー：直感を信じよ：Vision-Language-Actionモデルのための信頼度駆動型テストタイムRL

問題提起

Vision-Language-Action (VLA) モデルは、エンボディドAIにおける変革的なパラダイムとして台頭しているが、その強化学習（RL）による最適化は、外部環境からのフィードバックへの過度な依存という決定的なボトルネックに直面している。既存のVLA向けRL手法は、通常、ポリシーの更新をガイドするために、定義済みの成功シグナル、シミュレータが提供する報酬、または人間によるアノテーションを必要とする。この依存関係は、その有効性を定義済みのシナリオ内に限定させ、真の自律的な自己改善を阻害している。

テストタイムRL（推論時強化学習）は、離散的な領域（数学やコーディングなど）において（多数決投票などを通じて）有望な成果を示しているが、これをロボット操作へと翻訳することは困難である。数学の問題には単一の検証可能な答えが存在するが、ロボットのタスクには連続的な軌道が伴い、複数の異なるアクションシーケンスが同じ目標を達成し得るため、自己反省のための単純なグラウンドトゥルース（正解）を排除してしまう。その結果、VLAモデルが外部の報酬監視なしに、純粋にラベルなしの軌道を用いて自己最適化することを可能にする手法が欠如している。

メソドロジー：T2VLAフレームワーク

著者らは、モデルの内部的な評価能力を活用することで、自己ブートストラップ型のポリシー改善を可能にするアーキテクチャに依存しないフレームワーク、T2VLA (Test-time VLA) を提案する。コアとなる仮説は、トークンベースのVLAポリシーにおいて、生成されたアクションの信頼度が高い軌道は、物理的に成功する可能性が著しく高いというものである。

本メソドロジーは、以下の4つの主要コンポーネントで構成される。

1. 実証的動機：プロキシとしての信頼度

著者らは、内部的な生成信頼度（生成されたアクションの長さで正規化された平均対数確率として定義）と、離散アクションVLAにおけるタスク成功率との間に強い正の相関があることを実証的に示している。この観察は、外部環境報酬 ($R_{env}$) を内部報酬 ($R_{self}$) に置き換えるための、自律的な自己ブートストラップのための信頼できるシグナルとして、内部的な生成信頼度を使用することを正当化している。

2. 信頼度駆動型デュアル・エキスパート・ブートストラップ

外部検証なしに高品質な参照軌道を抽出するために、T2VLAはデュアル・エキスパート・メカニズムを採用している。

• ローカル擬似エキスパート (Local Pseudo-Expert): 現在のバッチの探索的ロールアウトから、特定のタスクに対して最も高い信頼度スコアを持つ軌道が「ローカル擬似エキスパート」として選出される。これは、積極的な探索のための即時的なオンポリシー・アンカーとして機能する。
• グローバル・エキスパート・プール (Global Expert Pool): サブオプティマル（準最適）な探索中にポリシーが崩壊するのを防ぎ、学習の安定性を確保するために、動的なグローバル・エキスパート・プールが維持される。このプールには、各タスクの履歴上のトップ$K$のエキスパート（信頼度順）が保存される。これは安定した行動ベースラインとして機能し、現在のロールアウトが劣悪な場合でも退行を防ぐ。

3. DTWベースのハイブリッド類似性報酬

エキスパートのガイダンスを報酬シグナルに変換するために、T2VLAは探索的軌道とエキスパート間の類似性を計算する。

• 動的時間伸縮法 (Dynamic Time Warping: DTW): 標準的なユークリッド距離は、時間的な不均一性（例：ペースの変化）により、連続制御における類似性を捉えることができない。T2VLAは、厳密な時間インデックスではなく、空間的な形態に基づいて軌道を整合させるためにDTWを利用し、堅牢な類似性尺度を提供する。
• 適応的重み付け: 最終的な内部報酬は、ローカル擬似エキスパートとグローバル・エキスパート・プールへの類似性の加重結合である。重み $w$ は、ローカル・エキスパートの相対的な信頼度に基づいて動的に調整される。信頼度の高いローカルな発見が優先され（$w \to 1$）、不確実なバッチでは安定性を確保するために履歴のエキスパートへとフォールバックされる（$w \to 0$）。
• KLペナルティ: 過剰な最適化を防ぎ、妥当な行動分布を維持するために、初期の教師あり微調整（SFT）モデルに対するカルバック・ライブラー（KL）ダイバージェンス・ペナルティが適用される。

4. ポリシー最適化

本フレームワークは、Group Relative Policy Optimization (GRPO) を利用する。ハイブリッド類似性メカニズムから得られた内部報酬は、グループ正規化を介してアドバンテージを計算するために使用され、その後VLAポリシーを更新する。これにより、モデルが内部シグナルのみを使用して継続的に実行を洗練していくクローズドループが形成される。

主な貢献

1. 自己ブートストラップ・フレームワーク: 生成の信頼度と物理的な成功率の間の内部的な相関を利用することで、外部の監視シグナルの必要性を排除した、VLAのための初のアーキテクチャに依存しないテストタイムRLフレームワークであるT2VLAを提案した。
2. デュアル・エキスパート・メカニズム: 探索のためのローカル擬似エキスパートと、安定性のためのグローバル・エキスパート・プールを相乗的に組み合わせ、エラーの蓄積を防ぐDTWベースの適応型報酬を導入した。
3. アーキテクチャへの非依存性: 本フレームワークが、離散アクションモデル（OpenVLA-OFT）および連続フローマッチングモデル（$\pi_0, \pi_{0.5}$）を含む、多様なVLAパラダイムと互換性があることを示した。

実験結果

LIBEROおよびRoboTwin 2.0のベンチマークにおいて、広範な実験が行われた。

• LIBEROベンチマーク:
  • T2VLA（OpenVLA-OFTに基づく）は平均成功率**97.2%**を達成し、最先端のSFTモデル（UniVLAの95.2%）および同時期のテストタイム学習手法であるEVOLVE-VLA（95.8%）を上回った。
  • T2VLAは、真の環境フィードバックにアクセスできるオラクル誘導型RL（SimpleVLA-RLの99.1%）の性能に迫った。これは、T2VLAが外部報酬を一切使用していないにもかかわらずである。
  • 連続アクションモデルにおいて、T2VLAは$\pi_0$の平均成功率を24.2%（57.7%から81.9%へ）、$\pi_{0.5}$を**8.0%**向上させた。
• RoboTwin 2.0 (両腕制御):
  • T2VLAは、様々な実行ホライゾンにわたって顕著な利点を示し、SFTベースラインに対して平均**+21.3%**の改善を達成した。特に、「Beat Hammer（ハンマーで叩く）」タスクにおいては、28.1%から68.0%へと向上した。
• アブレーション研究:
  • デュアル・エキスパート設計（ローカルとグローバルの両方のエキスパートの組み合わせ）は、いずれか一方のコンポーネントのみを使用する場合よりも優れた結果を示し、それらの相補的な役割を検証した。
  • 最適なプール容量として$K=5$が特定され、参照の多様性と品質管理のバランスが取れていることが示された。
  • DTWによる整合は、時間的シフトがある条件下でも、ユークリッド距離よりも優れた堅牢な空間的類似性スコア（0.9460 vs 0.6914）を回復することを示した。
  • 本フレームワークは、ロングホライゾンのタスクにおける極端な1ショット設定において限界を示しており、初期化が不十分な場合にポリシー崩壊を招く「プライア（事前知識）の閾値」が存在することを示唆している。

意義と主張

本論文は、T2VLAがエンボディドAIのためのスケーラブルな内部報酬駆動型パラダイムを確立すると主張している。モデルの内部シグナルが、連続的かつ自律的なポリシー改善を効果的にブートストラップできることを示すことで、本研究は、モデルが自身のラベルなしの軌道から直接学ぶ「経験の時代」へのロボットへの道筋を提示している。

著者らは、このアプローチが定義済みのシナリオや外部報酬エンジニアリングへの依存を打破し、VLAモデルがオラクル誘導型RLに匹敵する自己改善を達成できるようにするものであると強調している。異なるVLAアーキテクチャ（離散および連続）に適応できる本フレームワークの能力は、ロボティクスにおけるテストタイム強化学習の汎用的なソリューションとしての可能性をさらに裏付けている。