技術要約：自己回帰型方策によるリアルタイム実行

1. 問題提起

大規模なVision-Language-Action (VLA) モデルをロボティクスに導入する際、決定的なボトルネックとなるのが推論レイテンシである。基盤モデルに固有の巨大なパラメータサイズは、「考えてから動く」（同期推論）パラダイムにおいて、ロボットの重大な待機時間（アイドルタイム）を引き起こす。この停止中、ロボットは環境の変化に反応できず、反応性とタスク完了速度の両方を犠牲にすることになる。

近年の研究では、リアルタイム実行（非同期推論または「動きながら考える」）への取り組みが進んでいるが、その多くは拡散ベースの方策（並列デコーディング）に焦点を当ててきた。一方、自己回帰型の方策（逐次デコーディング）は、収束速度や指示追従の汎用性において利点があるものの、リアルタイム実行の研究からは概ね除外されてきた。これは、その逐次的な性質により通常は高いレイテンシ（$\delta_{t,H}$）が発生し、ロボットが停止することなく継続的にアクションを受け取り続けなければならない非同期制御の厳格なタイミング要件を満たすことが困難であるためである。

核心となる課題は、トークンごとの生成に伴う変動的かつしばしば高いレイテンシにもかかわらず、自己回帰型の方策がその固有の利点を損なうことなく、リアルタイムで動作できるようにすることである。これにより、ロボットが連続的なアクションのストリームを確実に受け取れるようにする。

2. 手法

著者らは、4つの主要な技術的調整を通じて、自己回帰型の方策によるリアルタイム実行を可能にするフレームワークである$\pi_0$-REALFASTを提案している。

A. アクションホライズンとトークン化の分離

著者らは、アクションチャンキング戦略を再定義した。アクションホライズン $H$ 全体を一度にトークン化するのではなく、$H = 2m$ と設定し、以下の2段階でトークン化を行う：

1. コンディショニング・プレフィックス（条件付け接頭辞）： すでに実行済み、またはキューに入っている最初の $m$ 個のアクションを、プレフィックス（$T_m(A_{0:m})$）としてトークン化する。
2. 予測： プレフィックスと現在の観測に基づき、次の $m$ 個のアクション（$T_m(A_{m:2m})$）を予測する。
   これにより、1回の推論ステップでデコードすべきトークン数が減少し、次の実行可能なチャンクを生成するために必要なレイテンシ $\delta_{t,m}$ が直接的に低減される。

B. レイテンシ境界のための制約付きデコーディング

ロボットが決して停止しないことを保証するためには、システムは「次のチャンクをデコードする時間（$\delta_{t,m}$）」が「コントローラーが現在のチャンクを消費する時間（$d_m \cdot \Delta t$）」を超えないようにしなければならない。

• 問題： 自己回帰モデルにおけるトークン長は変動するため、レイテンシの予測が困難である。
• 解決策： 著者らは、デコーディングプロセスを動的計画法（DP）を用いた有界な「小銭問題（coin change problem）」としてモデル化し、制約付きデコーディングを実装している。
  • 特定のトークンシーケンス長 $L$ が、最大ステップ数 $B$ 以内で有効にデトークナイズ可能かどうかを判断するためのDPテーブルを事前計算する。
  • 推論中、レイテンシの境界を違反する（すなわち、$B$ ステップ以内にデトークナイズできないシーケンスにつながる）トークンのロジットをマスクアウトする。
  • これにより、デコーディングプロセスが厳格なレイテンシ境界 $\delta'$ 内で完了することを保証し、$d_m \le m$ を担保する。

C. マルチ・トラジェクタリ・デコーディング

推論とアクション消費の間のレイテンシ・ギャップによって生じる「アイドル」時間を最大限に活用するため、著者らはマルチ・トラジェクタリ・デコーディングを採用している。

• モデルは $N$ 個の候補トラジェトリ（例：$N=4$）を並列に生成する。
• プレフィックス（KVキャッシュ）は共有されているため、計算オーバーヘッドは軽微である。
• 最良のトラジェトリを尤度に基づいて選択することで、最悪のレイテンシ境界を増大させることなく、タスク成功率を向上させる。

D. 非同期推論ループ

システムは非同期に動作する：

1. クライアント（ロボットコントローラー）は、アクションキュー（AQ）を維持する。
2. サーバー（方策）は、AQのプレフィックスを条件として次の $m$ 個のトークンをデコードする。
3. デコーディングが完了すると（境界内で）、新しいチャンクがAQに追加される。
4. ロボットはAQからアクションを継続的に実行し、方策が次のチャンクを計算中であっても、停止が発生しないようにする。

3. 主な貢献

1. 自己回帰型リアルタイム実行の実現可能性： 本論文は、自己回帰型の方策が非同期制御には遅すぎるとされる仮定に異を唱え、それらがリアルタイム実行を実現できることを示した。
2. レイテンシ保証付きデコーディング： 動的計画法による制約付きデコーディングの導入は、非同期設定においてロボットの停止を防ぐための前提条件である、厳格なレイテンシ境界を保証する。
3. 性能最適化： 低減されたトークンホライズン（$m$）とマルチ・トラジェクタリ・デコーディングの組み合わせにより、自己回帰型の方策は、リアルタイムシナリオにおいて同等レベルのフローマッチング（拡散）方策を上回る性能を発揮する。
4. 外部レイテンシへの堅牢性： 推論頻度（$d_m$）が適切に管理されている限り、ネットワークやセンサなどの外部レイテンシが変動しても、高い成功率を維持する。

4. 実験結果

著者らは、シミュレーションおよび実世界の環境の両方において、$\pi_0$（フローマッチング）および $\pi_0.5$（FASTトークナイザを用いたフローマッチング）を含むベースラインに対して、$\pi_0$-REALFAST（$\pi_0$-FASTからファインチューニングされたもの）を評価した。

• シミュレーション環境 (LIBBIRO):

  • $\pi_0$-REALFASTは、すべてのタスクカテゴリ（Spatial, Object, Goal, Long）において、リアルタイム・アクションチャンキング（RTC）を備えた$\pi_0$を一貫して上回った。
  • より大規模なデータセットで訓練された$\pi_0.5$と同等の性能を達成した。
  • 本研究は、$d_m \le m$（推論頻度をアクション消費率よりも低く設定することを許容する）を強制することが、$\pi_0$で見られたような厳格な $d_m = m$ の同期よりも堅牢であることを強調した。

• 実世界環境 (DROID):

  • ゼロショットの卓上操作タスクにおいて、$\pi_0$-REALFASTは同期型の$\pi_0$-FASTベースラインを大幅に上回った。
  • $\pi_0$を凌駕し、$\pi_0.5$に匹敵する性能を示した。
  • 定性的分析： 同期推論は、オーバーシュート（軌道の途中で調整できないこと）による衝突をしばしば引き起こすが、$\pi_0$-REALFASTはリアルタイムで軌道を調整して衝突を回避することに成功しており、頻繁なアクション更新の決定的な価値を示した。

• アブレーション研究:

  • 制約付きデコーディング： 制約付きデコーディングを除去すると性能が低下し、その信頼性における必要性が確認された。
  • 訓練ステップ： モデルは急速に（6kステップ以内に）ピーク性能に達し、これは自己回帰型の方策の高速な収束特性と一致している。
  • マルチ・トラジェクタリ： $N$（トラジェトリ数）を増やすと成功率が向上し、アイドル計算時間を活用する有用性が検証された。

5. 意義と主張

本論文は、自己回帰型の方策は、特定のアーキテクチャおよびデコーディング戦略を通じて推論レイテンシを管理できる限り、リアルタイムのロボット制御において競争力があり、実行可能な選択肢であると主張している。

• トレードオフの再評価： 著者らは、分野が（反応性を確保するために）反応性を高める目的で、方策の堅牢性と汎用性を犠牲にして推論レイテンシを削減することに偏重してきたと論じている。彼らの結果は、多少高くても「有界な」レイテンシを、自己回帰型の汎用能力と組み合わせることで、これらの能力を欠いた低レイテンシの方策よりも優れた展開結果が得られることを示唆している。
• ネイティブサポート： これらの知見は、自己回帰型の方策を、拡散ベースのアプローチの二次的なものとして扱うのではなく、リアルタイム実行をネイティブにサポートするように事前学習することを動機付けるものである。
• 限界： 著者らは、現在の実験が単腕の比較的静的な卓上環境に限定されていることを謙虚に述べている。両腕操作や高度に動的なタスクへ拡張するには、より多くのトークンをデコードする必要があり、さらなるアーキテクチャの革新（例：投機的デコーディング）を必要とする厳格なレイテンシ制約が課されることになる。

結論として、本研究は、非同期推論、トークン化ホライズンの調整、および制約付きデコーディングを用いることで、自己回帰型の方策が、その優れた指示追従性と収束特性を活用しながら、リアルタイムのロボット展開において拡散ベースの対応物と同等、あるいはそれを上回る性能を発揮できることを確立している。