技術的サマリー：Premover – 指示が完了する前に行動することで実現する高速な視覚・言語・動作制御

問題定義

現在の視覚・言語・動作（VLA）ポリシーは、通常、ユーザーの完全な指示がロボットが計算を開始する前に利用可能であるという仮定の下で評価されます。しかし、実世界での展開において、ユーザーはリクエストを入力または発話するのに数秒を要します。この「ストリーミング接頭辞」の期間中、VLA ポリシーはアイドル状態となり、大きな遅延ギャップが生じます。LIBERO などのベンチマークでは、この入力間隔は総インタラクション時間の約 39% を占め（エピソードあたりの平均アイドル時間は約 17.7 秒）、その割合は甚大です。

既存の効率化研究は、指示を受信した後の推論遅延の削減（例えば、早期退出ゲートやトークンプルーニングによる）に焦点を当てています。これらの手法は、ユーザー入力中のアイドル時間を解決していません。核心的な課題は、安全性や成功率を損なうことなく、この間隔を計算に活用することです。不完全な指示に基づいて过早に行動することは、ロボットを誤ったターゲットにコミットさせるリスクがあり、一方、完全な指示を待つことは遅延のメリットを放棄することになります。

手法：Premover

Premover は、フローズンな VLA バックボーン（実験では特に $\pi0.5$）の上に動作するように設計された軽量モジュールです。アイドル状態の入力間隔を有用な事前計算に変換するために、フォーカスマップとアクションレディネスゲートという 2 つの結合コンポーネントを導入します。

1. 視覚・言語フォーカスマップ

最初の課題は、部分的な指示（例：「ケチャップを掴んで…」）が与えられたとき、どこに注意を向けるかを決定することです。行動模倣を通じて訓練されたフローズンなバックボーンは、しばしば参照対象の特定ではなく、背景領域全体に注意を分散させてしまいます。

• メカニズム: Premover は、フローズンなバックボーンの中間層に、2 つの小さな学習可能な投影ヘッド（画像パッチ用と言語トークン用）を接続します。これらのヘッドは、隠れ状態を共有潜在空間にマッピングします。
• 計算: 画像パッチ埋め込みと現在のストリーミング言語トークンとの間のコサイン類似度を計算します。トークン系列全体での最大類似度が、パッチごとの確率スコアを生成し、フォーカスマップを形成します。
• 監督: このマップは、クラスバランスの取れた二値交差エントロピー（BCE）損失を用いて、シミュレータでレンダリングされたターゲット物体のセグメンテーションマスクにより監督されます。
• 注入: フローズンなバックボーンを再訓練することなく影響を与えるため、フォーカスマップは、次の推論ステップ（$t+1$）における画像トークンの再重み付けに使用されます。フロアスケールパラメータ $\alpha$ は、フォーカスマップと一様重みの間で補間し、指示に関連する領域を増幅しつつ、障害物回避などのシーンの文脈を保持します。

2. アクションレディネスゲート

2 つ目の課題は、部分的な指示がいつ行動するのに十分な情報を持っているかを決定することです。

• メカニズム: システムは、フォーカスマップの集中度に基づいてアクションレディネススコア（$r_t$）を計算します。これは、上位 K パッチの平均確率と大域平均確率との差を測定します。高いスコアは、接頭辞が特定のターゲットを局所化していることを示し、低いスコアは注意が分散していることを示します。
• 決定ロジック: 学習可能なスカラー閾値 $\tau$ がゲートとして機能します。ポリシーは、$r_t \geq \tau$ の場合のみアクションを実行します。
• 監督: 閾値は、現在の接頭辞にターゲット物体が出現したかどうかを示す二値ラベルを用いて訓練されます。決定を微分可能にするため、温度スケーリングされた BCE 損失が適用されます。

訓練

両方のコンポーネントは、単一のフォワードパスで共同して訓練されます。バックボーンのパラメータはフローズンのまま保持され、勾配は 2 つの投影ヘッドとレディネス閾値のみを通過します。これはバックボーンの総パラメータの 1% 未満を構成するため、大規模な再訓練なしで効率的な適応を可能にします。

主要な貢献

1. アイドル時間の再定義: 本論文は、ユーザー入力間隔を死んだ時間ではなく計算に利用可能な資源として再定義し、ポリシーがストリーミング接頭辞に視覚的注意を接地させるレジームを提案しています。
2. 軽量アーキテクチャ: Premover は、フローズンな VLA に最小限の学習可能パラメータ（2 つの投影ヘッドと 1 つのスカラー）を追加することでこれを達成し、事前学習済み重みを完全に保持します。
3. 二重コンポーネント設計: どこに焦点を当てるか（フォーカスマップ）といつ行動するか（レディネスゲート）の問題を明示的に分離し、早期実行と安全性の間のトレードオフに対処します。
4. ストリーミング評価プロトコル: 著者は、標準的なタイピング速度（52.24 WPM）と同期したリアルタイムトークン到着をシミュレートするストリーミング評価プロトコルを導入し、標準的な完全プロンプトベースラインよりも現実的な遅延指標を提供します。

実験結果

この手法は、$\pi0.5$ バックボーンを使用して、LIBEROスイート（Spatial, Object, Goal, LIBERO-10）およびVLA-arena（Level-1 スイート）で評価されました。

• 成功率: Premover は、LIBERO において完全プロンプトベースラインの成功率（95.1% 対 95.0%）と同等の性能を示し、「Naive Premoving」（すべてのトークンに対して即座に行動し、66.4% に崩壊する手法）を大幅に上回ります。VLA-arena では、完全プロンプトの 33.0% に対して 30.9% の成功率を維持しますが、Naive Premoving は 27.0% まで低下します。
• 遅延削減:
  • LIBERO において、Premover は平均エンドツーエンドのウォールクロック時間を34.0 秒から 29.4 秒に削減します（13.6% の削減）。
  • VLA-arena において、ウォールクロック時間を約 10.3% 削減します。
• アブレーション研究:
  • レディネスゲートのみが、Naive ストリーミングに対して成功率を 21.9 ポイント回復させ、过早な行動を防止する上でその決定的な役割を実証しています。
  • フォーカスマップはさらに 6.7 ポイントを追加し、ダストラクターの曖昧さ解消を改善します。
  • フロアスケール $\alpha$ は広範な値の範囲でロバストであり、ターゲットの増幅とシーンの文脈保持のバランスを取るために $\alpha=0.2$ が最適として選択されました。

意義と主張

本論文は、Premover が効率的で応答性の高い実世界 VLA アプリケーションに向けた重要な一歩であると主張しています。その主な意義は、以下の点を示すことにあります：

1. ユーザー入力時間は資源である: 完了を待つのではなく、タイピング間隔中に計算を実行することで遅延を削減できます。
2. 軽量な変調で十分である: 早期接地を可能にするために複雑な再訓練は不要です。小さなモジュールがフローズンなポリシーを効果的に変調してストリーミング指示に対処できます。
3. ゲーティングによる安全性: 学習されたレディネス基準により、システムは、Naive な早期実行に伴う壊滅的な失敗モードを伴わずに早期に行動できます。

著者は限界を認め、フォーカスマップの監督は現在、シミュレータでレンダリングされたマスク（実ロボットでは直接利用不可）に依存しており、投影ヘッドはベンチマークごとに訓練されゼロショット転送されないことを指摘しています。今後の課題として、オープンボキャブラリー検出器を通じた実ロボットへの接地の実現や、ユーザーの修正など非単調な接頭辞ダイナミクスへの対応が提案されています。