技術的概要：V-VLAPS – 視覚・言語・行動モデルのための価値誘導計画

1. 問題定義

Octo などの視覚・言語・行動（VLA）モデルは、マルチモーダルな観測と言語指示から行動シーケンスを予測することで、ロボットの操作に対する強力な行動事前分布を提供します。しかし、これらのモデルは行動クローニングに依存しているため、分布外（OOD）の状態や長期的なタスクに直面すると脆くなります。VLAPS（Neary ら、2025）のような最近の手法は、堅牢性を向上させるためにモンテカルロ木探索（MCTS）を VLA に付加しますが、重要な限界を抱えています。すなわち、探索は VLA の方策事前分布と訪問回数の探索ヒューリスティック（PUCT）のみに依存している点です。

VLA の事前分布が最適でない行動を支持する場合、プランナは偏りを修正するための、期待される将来の報酬の根拠ある推定値を欠きます。その結果、探索は価値駆動型の最適化ではなく、網羅的なカウントベースの探索となってしまいます。先行研究（Gu ら、2025）は、VLA の潜在特徴が二値の成功/失敗信号を符号化していることを示しましたが、これらは事後の監視にのみ使用されました。ここで扱われる核心的な問題は、これらの内部表現を活用して、計画中の探索プロセスを能動的に誘導する連続的な価値関数を学習できるかどうかです。

2. 手法：V-VLAPS

著者は、学習された価値ヘッドを MCTS のスコアリングルールに統合する VLAPS の拡張である**V-VLAPS（Value-Guided Vision-Language-Action Planning and Search）**を導入します。手法は以下の 3 つの段階で構成されます。

2.1. データ収集とターゲットの定義

訓練データは、計画なしで LIBERO の卓上操作タスクにおいて、凍結された事前学習済み VLA（Octo）をロールアウトすることで構築されます。

• ロールアウト: VLA は観測と指示に基づいて行動チャンクを生成します。エピソードはタスクの成功またはタイムアウトで終了します。
• 報酬構造: スパースな終端報酬が使用されます（成功で $R=1$、失敗/タイムアウトで $R=0$）。
• 価値ターゲット: 各意思決定ステップ $t$ において、モンテカルロ価値ターゲット $G_t$ が、割引率 $\gamma=0.99$ で終端報酬を逆方向に伝播させることで計算されます。エピソードが成功した場合、$G_t = \gamma^{T-t}$ となり、そうでない場合は $G_t = 0$ となります。
• 再バランス: ターゲット分布はゼロ（失敗したエピソードと成功したエピソードの初期ステップ）に強く偏っているため、ゼロ値のビンからダウンサンプリングを行い、非ゼロ値のビンの合計サイズと一致させることでデータが再バランスされます。

2.2. 価値ヘッドの訓練

軽量な価値ヘッドが、VLA の潜在状態からこれらのモンテカルロリターンを予測するように訓練されます。

• アーキテクチャ: 3072 個の ReLU ユニットを持つ単一の隠れ層を備えた 3 層の MLP です。入力として 768 次元の Octo 読み出しベクトルを受け取り、スカラー値の推定値を出力します。
• 訓練目的: モデルは、予測値とモンテカルロターゲットとの間の平均二乗誤差（MSE）を最小化します。基盤となる Octo VLA のパラメータは凍結されたままにされ、価値ヘッドのみが訓練されます。
• 一般化: 価値ヘッドは、タスクごとの 10 個の初期状態のうち 4 つで訓練され、評価時に残りの 6 つの未観測初期状態への一般化能力がテストされます。

2.3. MCTS への統合

学習された価値は、ノード選択スコアを変更することで VLAPS 探索手順に統合されます。

• スコアリングルール: 標準的な VLAPS スコアは VLA の事前分布と訪問回数の探索を組み合わせます。V-VLAPS は、学習された価値項 $Q_\theta$ を追加します。
  $$\text{SCORE}(v, a_i) = \lambda_V Q_\theta(v, a_i) + U_{\text{VLAPS}}(v, a_i)$$
  ここで、$Q_\theta(v, a_i)$ は行動チャンク $a_i$ に起因する後続状態の価値推定値であり、$\lambda_V$ は固定係数（1 に設定）です。
• メカニズム: MCTS の拡張中に、シミュレータは行動チャンクを後続状態までロールアウトし、Octo 読み出しを計算して価値ヘッドに照会します。この値は、予測されるリターンが高い分岐への選択をバイアスします。

3. 主要な貢献

1. 能動的な価値誘導: 本論文は、受動的な失敗検出にのみ使用されていた VLA 特徴プロービングの概念を、能動的な探索誘導へと拡張します。VLA 表現は二値の成功予測だけでなく、連続的な価値推定も支え得ることを示しています。
2. 軽量な拡張: この手法は、計画プロセスへのオーバーヘッドを最小限に抑えつつ、探索行動を大幅に変化させる、小規模で訓練可能な価値ヘッド（約 240 万パラメータ）を導入します。
3. 実証的検証: 5 つの LIBERO スイート全体でアプローチが評価され、探索予算が MCTS に価値の区別が可能なより深い状態に到達することを許容する場合に、価値誘導計画が性能を向上させることを実証しました。

4. 実験結果

この手法は、反応型 Octo VLA と価値ヘッドなしの VLAPS という 2 つのベースラインに対して、5 つの LIBERO スイート（Object, Spatial, Goal, 10, 90）で評価されました。2 つの探索予算（600 秒：デフォルト、1800 秒：拡張）がテストされました。

• デフォルト予算（600 秒）: V-VLAPS と VLAPS はほぼ同様に動作し、すべてのスイートで平均**87.4%**の成功率でした。
  • 分析: 失敗分析により、ほとんどの失敗が「ルートレベルのタイムアウト」であることが判明しました。困難なタスクでは、探索が最初の意思決定ステップで時間予算を消耗しました。この段階では、候補となる分岐は完了から遠く離れており、値の推定値はゼロに近く、分離が弱くなります。その結果、価値ヘッドは分岐間を効果的に区別できませんでした。
• 拡張予算（1800 秒）: ツリーをより深く探索する時間が与えられると、V-VLAPS は VLAPS を上回りました。
  • 集計: V-VLAPS は**91.6%を達成し、VLAPS は88.4%**でした。
  • 特定の改善: 改善はLIBERO-Object（+6 パーセントポイント、93% 対 87%）とLIBERO-10（+4 パーセントポイント、85% 対 81%）に集中していました。
  • ケーススタディ: LIBERO-Object タスク 7 において、V-VLAPS は 1800 秒で 85%（17/20）の成功率を達成し、VLAPS の 65%（13/20）を上回りました。
• 天井効果: LIBERO-Spatial や LIBERO-Goal などのスイートは、600 秒の予算ですでに天井に近い性能（≥90%）を示しており、価値ヘッドや延長された時間による改善は最小限でした。

5. 意義と主張

本論文は、VLA 表現は反応制御や事後監視に有用であるだけでなく、価値誘導計画の基盤となり得ると主張しています。

• レジーム依存性: 著者は、価値ヘッドの有用性がレジームに依存することを強調しています。価値信号が弱く区別不可能なルート近傍の状態を超えるのに十分な探索予算がある場合に最も効果的です。
• 相補性: 価値ヘッドは VLA の事前分布を置き換えるものではなく、それを補完します。これは、探索が模倣事前分布だけでなく、基盤となる報酬構造が決定的要因となる状態に到達した際に、方策事前分布の偏りを修正するメカニズムを提供します。
• 控えめな範囲: 著者は、改善が「価値誘導によるランキングのための余地」が残っているタスクに限定されることを指摘し、主張を控えめに行っています。また、単一の VLA バックボーン（Octo）の使用、オフポリシーな訓練データ（誘導なしのロールアウトで訓練）の使用、モデルパラメータに対する訓練データセットの小ささなどの限界を認めています。

結論として、V-VLAPS は、学習された価値関数による VLA 誘導 MCTS の拡張が、探索アルゴリズムが分岐のランキングに価値信号を活用するのに十分な計算予算を持っている場合、長期的なタスクの成功率を向上し得ることを示しています。