技術要約：アクション・トークン介入による自己回帰型視覚・言語・行動（VLA）ポリシーのステアリング

1. 問題提起

RT-2、OpenVLA、$\pi^0$といった視覚・言語・行動（VLA）ポリシーは、大規模な視覚・言語の事前学習とロボットの軌跡データを組み合わせることで、強力な汎化性能を示してきました。しかし、これらのシステムは、物理世界における言語のグラウンディング（接地）、長期的な推論の実行、およびリアルタイムでの適応において、依然として根強い課題に直面しています。失敗の多くは、人間であれば即座に認識して修正できるような、軌跡レベルの小さなエラーに起因しています。

自律的なガイダンスのための既存のインターフェースには、以下の二極化が見られます：

• 言語プロンプティング： 柔軟ではあるものの、言語はきめ細かなリアルタイムの軌跡修正には適していません。
• 完全なテレオペレーション（遠隔操作）： 直接的な制御は、ポリシーが学習した自律的な器用さやタスクの事前知識を排除してしまいます。

核心となる課題は、ユーザーがポリシーの学習された能力を上書きしたり、再学習を必要としたりすることなく、ロールアウト（実行）中にロボットの挙動に影響を与える方法を確立することです。

2. 手法：トークン・ステアリング（TS）

著者らは、アクション・トークン空間への直接的な介入を通じて、自己回帰型VLAポリシーをステアリングする推論時手法である**トークン・ステアリング（TS）**を提案しています。TSは、基礎となるVLMアーキテクチャを変更することなく、追加の学習やファインチューニングを必要としません。

コアメカニズム

TSは、トークン化されたアクション生成（具体的には $\pi^0$-FAST モデル）の離散的かつ自己回帰的な構造を利用します。TSは低レベルの制御信号を置き換えるのではなく、ユーザーが生成したステアリング・トークンを自己回帰的なアクション・シーケンスに直接注入します。その後、ポリシーはこの修正されたプレフィックス（接頭辞）を条件として、残りの軌跡を自己回帰的に補完します。

プロセスは主に以下の3つのステップで構成されます：

1. 入力エンコーディング： 低次元のユーザー入力 $u \in \mathbb{R}^6$（例：キーボードによる方向指示）を、デカルト速度ベクトル ($v_{cart}$) に変換します。
2. 運動学的な変換： デカルト速度を逆運動学を用いてロボットの関節速度 ($\dot{q} = J(q)^\dagger v_{cart}$) に変換します。
3. トークンの注入： 関節速度をアクション・ホライゾンに合わせてパディングし、離散コサイン変換（DCT）を用いて周波数領域に変換した後、Byte-Pair Encoding（BPE）によってFASTトークンとしてトークン化します。これらのトークンのサブセット（開始インデックス $b$ とウィンドウサイズ $w$ によって定義）が、ポリシーの自己回帰バッファ内の対応するトークンを置き換えます。その後、ポリシーは修正されたプレフィックス、視覚的観測、言語指示、およびロボットの状態に基づいて、残りのシーケンスを生成します。

トークン化戦略

この手法は、ロボットの軌跡を周波数領域で表現するFASTトークン化に依存しています。

• 軌跡は周波数順の係数に分解されます。
• 低周波トークンは、粗いグローバルな軌跡構造をエンコードします。
• 高周波トークンは、微細な動きの精緻化をエンコードします。
  この階層構造により、TSは初期のトークンを編集することでグローバルな意味内容に影響を与えつつ、局所的な滑らかさを維持することができます。

3. 主な貢献と知見

本論文は、DROIDロボットプラットフォームを用いた実験から得られた3つの主要な知見を提示しています。

1. 自律性を維持した制御可能なステアリング： 部分的なトークン注入により、ポリシーが滑らかで時間的に一貫性があり、動的に実行可能な軌跡を生成する能力を維持したまま、制御可能なステアリングが可能になります。ポリシーは学習された器用さを保持し、ユーザーの入力をハードな上書きではなく、ガイドとして使用します。
2. 周波数依存の影響： 低周波のFASTトークンを編集することは、グローバルな軌跡の意味（例：移動の方向）に対して不釣り合いに大きな影響を与える一方で、高周波トークンの編集は主に局所的な精緻化に影響を与えます。低周波トークンの注入は、著しく高いステアリング成功率をもたらします。
3. グラウンディング失敗の修正： TSは、ユーザーが「グラウンディングの失敗」（言語に基づいて誤った物体を選択した場合）を修正し、ベースラインの自己回帰型VLAが実行できない長期的な状態依存タスクを完了することを可能にします。

実験結果

著者らは、2つの家庭内操作タスクにおいてTSを評価しました：

• タスク1：引き出しの閉鎖（配置後）

  • ベースライン： $\pi^0$-FAST の成功率は 10.0% でした。
  • TS適用時： 成功率は 72.5% に向上しました。
  • 効率性： 中央値の完了時間は74.0秒から42.0秒に短縮されました。
  • 観察： ユーザーはグリッパーを引き出しを閉じるための最適な位置へと導くことができ、その間、ポリシーが微細な動作の詳細を処理することで、激しい衝撃を防ぐことができました。

• タスク2：状態を考慮したオブジェクト・スワッピング（物体の入れ替え）

  • ベースライン： 自律ポリシーは、メモリと状態追跡の欠如により、成功率 0% を記録しました。
  • TS適用時： 成功率は 93.8% に向上しました。
  • 観察： ユーザーはステアリングを通じて、高レベルのタスクロジック（スポンジの状態と位置の追跡）を管理し、ポリシーは器用な操作を実行しました。

堅牢性とエントロピー

本研究では、分布外（OOD）のトークンを注入することで「エントロピーの崩壊」（ポリシーの多様性の喪失）が起こるかどうかを調査しました。結果として、トークン注入直後にはエントロピーが一時的に低下するものの、すぐに回復することが示されました。ポリシーは、ランダムに配置されたブロックに対してグリップの向きを調整するなど、多様なダウンストリームのアクションを生成する能力を保持しており、これはTSが自律的な適応性を破壊することなく、軌跡生成をバイアスさせていることを示しています。

4. 重要性

本論文は、自己回帰的なアクション・トークン空間は単なる圧縮された軌跡表現ではなく、推論中の人間によるロボット行動の制御可能な意味的インターフェースとして機能すると主張しています。

• アクセシビリティ： 軽量で直感的なステアリング（例：キーボードや、将来的にはブレイン・コンピュータ・インターフェース）を可能にすることで、完全なテレオペレーションが困難な身体的制約を持つ人々へのアクセシビリティを広げます。
• ゼロショットの適用可能性： TSは再学習なしに完全に推論時のみで作動するため、異なるタスクや環境に対して即座に適用可能です。
• 人間とロボットの相互作用： このインターフェースは、ユーザーが高レベルの意図（方向や修正）を提供し、VLAが低レベルの器用さを処理するという「シェアード・オートノミー（共有自律）」モデルを可能にし、消費者環境における安全性とタスク成功率を向上させる可能性があります。

著者らは、拡散ベースの手法と比較して自己回帰モデルに固有の推論レイテンシに関する制限についても言及していますが、TSがアーキテクチャの変更なしに、ファウンデーションモデルへのリアルタイムな介入を実現する新しいメカニズムを提供していることを強調しています。