技術的概要：VLA-ATTC

問題定義

視覚言語行動（VLA）モデルは、事前学習された世界知識を活用することで、具象的操作における顕著な汎化能力を実証しています。しかし、その意思決定プロセスは通常、熟考を欠く高速で直感的な推論（システム 1）によって支配されています。単純なシナリオでは十分であるものの、この反射的な戦略は、より深い考察を必要とする複雑または曖昧な状況において、最適でない、あるいは壊滅的な失敗を引き起こすことがよくあります。

熟考を導入しようとする既存の試みは、以下の決定的な限界に直面しています：

• 逐次熟考（例：Chain-of-Thought）： 高コストな微調整、手間のかかるデータ注釈を必要とし、行動中心のモデルにテキスト推論を生成させることで、行動性能を低下させる傾向があります。
• 並列熟考： 現在の手法は往々にして、すべてのシナリオに無差別に熟考を適用するため、莫大な計算コストを伴います。さらに、これらは不安定な絶対行動スコアリング機構や大規模な外部クリティックモデルに依存しており、これらは訓練やスケーリングが困難です。

核心的な課題は、ベースモデルを変更することなく、必要に応じてのみトリガーされ、計算オーバーヘッドを最小化し、堅牢かつ軽量な評価機構を利用する、強力かつ適応的な熟考プロセスを VLA モデルに付与することです。

手法：VLA-ATTC フレームワーク

著者は、VLA モデルに 3 つの中核コンポーネントを通じて適応的な熟考を備え付ける、プラグアンドプレイ型のフレームワークであるVLA-ATTC（Adaptive Test-Time Compute）を提案します。

1. 不確実性ベースの「認知的クラッチ」

不要な計算を回避するため、このフレームワークはベース VLA の生成の不確実性を監視する「認知的クラッチ」を採用します。

• メカニズム： 各タイムステップにおいて、モデルは同一の視覚言語コンテキストを使用しつつ、異なるランダムシードを用いて 2 つの行動候補を生成します。
• 指標： 不確実性は、2 つの行動シーケンス間の**動的時間伸縮（DTW）**距離を用いて定量化されます。高い DTW スコアは高い分散（不確実性）を示し、低いスコアは一貫性（自信）を示します。
• トリガー： 不確実性スコアが事前定義された閾値（$\tau$）を超えた場合、システムは反射的実行からテスト時計算（TTC）熟考フェーズへ切り替わります。そうでない場合、初期行動を直ちに実行します。

2. 効率的な並列熟考フェーズ

トリガーが発動すると、フレームワークは高価な視覚言語モデル（VLM）エンコーディングを再実行することなく、優れた行動を見つけるために TTC フェーズに入ります。

• 償却計算： VLM バックボーンは、コンテキスト埋め込みを生成する単一の「プレフィル」操作を実行します。このコンテキストは共有され、行動ヘッドを介して $N$ 個の候補行動チャンクを並列にバッチ生成するために使用されます。これにより、複数の候補をサンプリングする際の限界コストが大幅に削減されます。
• トーナメント選択： 行動を絶対的にスコアリングする代わりに、フレームワークはトーナメント方式の選択プロセスを使用します。候補をペアリングし、軽量な**相対行動クリティック（RAC）**モデルが各ペアの勝者を決定します。この反復的なペアワイズ比較は、単一の最適行動が残るまで続行されます。

3. 相対行動クリティック（RAC）モデル

RAC は、不安定な絶対値推定を相対的選好学習に置き換えるように設計された、軽量なトランスフォーマーベースのモデルです。

• 入力表現： 2 つの行動候補、それらの差分、現在の固有受容感覚状態、およびタスクに関連するコンテキストを入力とします。
• 階層的コンテキスト条件付け： RAC は、プレフィル段階中に VLM の生特徴から高レベルのセマンティック情報を抽出する学習可能なクエリートークンを利用します。
• マルチブランチアテンション： アーキテクチャは、各レイヤーで 3 つの情報源を融合します：
  1. RAC 自身の機能に対する自己アテンション。
  2. VLM の生特徴に対するクロスアテンション。
  3. 学習可能なゲーティングパラメータによって変調された、抽出されたクエリ特徴に対するクロスアテンション。
• 出力： モデルは、行動 $A$ が行動 $B$ よりも好ましいかどうかを示す確率を出力し、フォカルロスを用いて訓練されます。

4. 自動化されたデータキュレーションパイプライン

手動注釈なしに RAC を訓練するために、著者は条件付きフローマッチングを活用した自動化パイプラインを導入します：

• 原理： フローマッチング生成の品質は、ODE 積分ステップ数（$N_{steps}$）に依存します。
• プロセス： 与えられた状態に対して、システムは同一の事前学習済み VLA から「高品質」な行動（高 $N_{steps}$）と「低品質」な行動（低 $N_{steps}$）を生成します。
• 結果： これにより、明確な品質の違いを持つ大規模な選好ペア（例：エキスパート対最適未満）のデータセットが作成され、人間のデータ収集の必要性が排除されます。

主要な貢献

1. VLA-ATTC フレームワーク： ベースモデルの微調整なしに、VLA モデルが不確実なシナリオで効率的なテスト時熟考を適応的にトリガー可能にする、新規のプラグアンドプレイ型フレームワーク。
2. 相対行動クリティック（RAC）： 反復的なペアワイズ比較を通じて最適行動を特定する、軽量かつ堅牢なモデル。これにより、従来の絶対スコアリング手法の精度と効率のボトルネックを克服します。
3. 自動化データパイプライン： フローマッチングのステップ操作を用いて既存のデータセットから直接高品質な選好ペアをキュレーションする、スケーラブルな手法。手間のかかる手動注釈を回避します。
4. 実証的検証： 実時間制御周波数を維持しながら顕著な性能向上を実証する広範な実験。

実験結果

このフレームワークは、LIBERO-LONGベンチマークと実世界のAgilex Piper Armで評価されました。

• 性能向上：
  • LIBERO-LONG において、VLA-ATTC は SOTA モデル PI0.5 の失敗率を50% 以上削減しました（成功率を 90.6% から 95.4% に向上）。
  • 実世界のタスクにおいて、VLA-ATTC は PI0 の成功率を**17.3%**向上させました（46% から 63.3%）。
  • Robomonkey などの既存の熟考手法を一貫して上回りました。
• 効率性：
  • このフレームワークは、実ハードウェア上で20.8 Hzという高い制御周波数を維持しました（ベースラインは 23.3 Hz）。
  • 無差別な並列熟考手法（例：1.5 Hz の Robomonkey）と比較して著しく高速であり、「認知的クラッチ」によるオーバーヘッドの最小化の有効性を証明しています。
• アブレーション洞察：
  • 不確実性閾値： 閾値を 80 パーセンタイルに設定することが最適であることが判明しました。これは困難な状態が希薄であり、クラッチがそれらを効果的にターゲットにしていることを確認しました。
  • 候補数： 候補数が増えるほど性能は向上しましたが、$N=16$ が利益とコストの間の最良のバランスを提供しました。
  • RAC アーキテクチャ： 学習可能なクエリや行動差分入力などの主要コンポーネントを除去すると、一貫して性能が低下し、マルチブランチアテンション設計の必要性が検証されました。
  • 不確実性推定： DTW を通じて 2 つの候補のみ（$N=2$）を比較するだけで、最小限の計算コストで人間の専門家ランキング（89.2% の一致）に匹敵することができました。

意義と主張

本論文は、VLA-ATTC が現在の VLA モデルの静的な「万能型」推論パラダイムに根本的に挑戦すると主張しています。計算リソースを必要に応じてのみ動的に割り当てることで、このフレームワークは、反射的行動の速度と熟考推論の堅牢性の間に戦略的なバランスを達成します。

著者は、この研究が具象的 AI における適応的計算の決定的な価値を実証していると強調しています。これは、物理的ロボットタスクに必要な実時間応答性を犠牲にすることなく、複雑な問題解決のためにリソースを戦略的に割り当てることができる知的エージェントの開発に向けた新たな方向性を開くものです。この手法は、複雑なシナリオにおける意思決定の堅牢性を高めつつ、展開において計算的に実行可能な実用的な解決策として提示されています。