技術的概要：ビジョン・ランゲージ・アクションモデルにおける非同期推論手法の理解

1. 問題定義

ビジョン・ランゲージ・アクション（VLA）モデルは、視覚的観測と言語指示を動作にマッピングする汎用ロボット制御のパラダイムとして登場した。現代の VLA ポリシーは、推論コストを均質化し、累積誤差を低減するために、単一のフォワードパスで $H$ 個の将来の動作シーケンスを予測する「アクションチャンキング」を頻繁に採用する。しかし、大規模な VLA モデルは、高い推論レイテンシ（数十から数百ミリ秒）に悩まされている。

同期実行では、ロボットは推論中に停止し、制御頻度が推論レートで制限されるため、高速反応を要するタスクには非現実的である。単純な非同期実行は、推論と実行を分離し、チャンクが到着するごとに新しいものへ切り替える。しかし、これにより以下の 3 つの失敗モードが生じる：

1. チャンク境界の非連続性：新しいチャンクは、既にロボットにコミットされた動作と互換性が欠ける。
2. 観測の陳腐化：新しいチャンクは、$d$ ステップ前の観測（$d$ は制御ステップにおける推論遅延）に基づいて条件付けられる。
3. オープンループの劣化：コミットされた動作は、チャンクの寿命期間中の環境変化に適応できない。

これらの問題を緩和するために IT-RTC、TT-RTC、VLASH、A2C2 の 4 つの手法が提案されているが、これらは互換性のないコードベース、異なるベースポリシー、および異なる評価プロトコルで開発されており、直接的な比較は不可能であった。

2. 手法

著者らは、4 つの手法を調和されたライブラリ、データセット、およびベースポリシーの下で統合するために、2 つの統一コードベース（JAX/Flax による bt-kinetix と PyTorch/LeRobot による bt-libero）を開発した。これらの手法は以下のベンチマークで評価された：

• Kinetix：10 の動的環境を持つ 2 次元連続制御スイート。MLP-Mixer ポリシー（$H \in \{16, 30\}$）を使用。
• LIBERO：SmolVLA（$H=50$）を使用した 7 自由度操作ベンチマーク。

評価では、推論遅延（$d$）を最大 20 制御ステップまで掃引し（ローカル GPU から 4G 経由のクラウド推論に至るまでの実世界展開シナリオをシミュレート）、評価を行った。

比較された 4 つの手法

1. IT-RTC（トレーニングフリーガイダンスによる推論時残差補正）：フローマッチングガイダンスを用いたトレーニングフリーのアプローチ。新しいチャンクの最初の $d$ 個の動作を既知の制約として扱い、残りの $H-d$ 個の動作を、疑似逆行列ガイダンス項を用いてノイズ除去プロセス中に「インペイント」する。再トレーニングは不要だが、ノイズ除去ステップごとにバックワードパス（VJP）が必要となり、ステップあたりの FLOPs が 3 倍になる。
2. TT-RTC（トレーニング時遅延シミュレーションによるトレーニング時残差補正）：トレーニングプロセスを修正し、ポリシーを動作プレフィックスに基づいて条件付けるようにする。ポリシーは、コミットされたプレフィックスが与えられた場合、陳腐化していないポストフィックス動作のみを予測するように学習する。トレーニング中はマスクされた損失とノイズのない正解プレフィックスを使用する。これは推論オーバーヘッドをゼロとし、IT-RTC のドロップイン代替となる。
3. VLASH（ビジョン・ランゲージ・アクション状態認識条件付け）：既知の過去の動作を用いて実行時のロボットの将来状態を推定することで、観測の陳腐化に対処する。ポリシーは、陳腐化した観測ではなく、この「ロールフォワード」された状態に基づいて条件付けられる。時間オフセットトレーニング拡張を採用する。
4. A2C2（補正ヘッドによる非同期動作補正）：オープンループの劣化をターゲットとする。各制御ステップで実行される軽量な補正ヘッドをトレーニングし、ベースポリシーの陳腐化した動作に対する残差調整（$\Delta a$）を出力する。このヘッドは、最新の観測、ベースポリシーの特徴、およびチャンク内時間特徴に基づいて条件付けられる。他の手法と組み合わせ可能である。

3. 主要な貢献

1. 統一コードベース：4 つの手法を調和された依存関係で統合する bt-kinetix と bt-libero の作成により、初めて体系的な比較を可能にした。
2. 体系的ベンチマーク：異なるチャンクサイズ（$H$）と遅延（$d$ は最大 20）を有する 2 つの異なるベンチマーク（Kinetix と LIBERO）における包括的な評価。エッジサーバーやクラウド推論など、実世界展開に関連する領域を網羅。
3. 実践的洞察：トレーニングコスト、推論オーバーヘッド、分布外（OOD）遅延一般化性の間のトレードオフの分析。

4. 結果

Kinetix 結果（MLP-Mixer、$H=16, 30$）

• 性能：A2C2 はほぼすべての遅延において最高絶対解決率を達成し、$d=8$ まで 90% 超の解決率を維持した。TT-RTC は最も堅牢なトレーニングベース手法であり、異なる $d_{max}$ 選択に対して安定性を示し、OOD 遅延に対して良好に一般化した。
• IT-RTC：低遅延では競争力があったが、長いチャンク（$H=30$）と高い遅延（$d > 8$）では急激に劣化し、プレフィックスからポストフィックスへの比率が増大するにつれて線形 VJP 近似が失敗することを示唆した。
• VLASH：微調整遅延範囲 $[0, d_{max}]$ によって支配されるトレードオフを示した。より広い $d_{max}$ は高遅延の堅牢性を向上させたが、低遅延の精度を損なった。
• TT-RTC vs VLASH：TT-RTC は $d_{max}$ の選択にほとんど影響されなかったのに対し、VLASH は予想される展開遅延に合わせて $d_{max}$ を慎重に調整する必要があった。

LIBERO 結果（SmolVLA、$H=50$）

• 順位の変化：Kinetix と比較して、高遅延において順位が逆転した。A2C2 は高遅延（$d \ge 4$）において最強の手法となり、他手法に対して約 10 ポイントの差を維持した。
• IT-RTC & TT-RTC：プレフィックスからポストフィックスへの比率の増加（より長いチャンクサイズ $H=50$ に起因）に伴い、両者とも大幅に劣化した。IT-RTC は $d=8$ を超えるとベースラインに近い性能まで崩壊した。TT-RTC は Kinetix では安定していたが、LIBERO では精度が大幅に低下した。
• VLASH：より広い $d_{max}$（8, 16）を持つ変種は、遅延 across 驚くほど安定していた。注：著者は、LIBERO における VLASH の結果は、状態/動作次元の不一致により、展開可能な変種の上限として機能する真の将来状態（特権情報）に依存していることを強調している。
• レイテンシ：TT-RTC は単純なベースラインのウォールクロックレイテンシと一致した。IT-RTC は約 16% のレイテンシ増加を伴った。A2C2 の残差ヘッドは、直列実行において約 1.8% のレイテンシを追加した。

コスト分析

• 推論オーバーヘッド：IT-RTC は逐次的なノイズ除去ループの FLOPs を 3 倍にする。A2C2 は実行ホライズン $s$（例：LIBERO では 50 ステップ）に比例してオーバーヘッドを蓄積するため、大規模モデルではチャンクあたり IT-RTC よりも高価になるが、その残差ヘッド自体は軽量である。
• トレーニングコスト：TT-RTC は modest な微調整（Kinetix ではベースコストの約 25%）を必要とする。VLASH と A2C2 は、より広範なトレーニングまたは再トレーニングを必要とする。
• 損益分岐点：LIBERO において、TT-RTC の一回限りのトレーニングコストが IT-RTC の反復的な推論オーバーヘッドを上回る損益分岐点は、約 290 万エピソードである。

5. 意義と主張

本論文は、単一の手法がすべての設定で優位性を占めることはなく、最適な選択は特定の展開制約（チャンクサイズ、予想遅延、再トレーニングの実現可能性）に依存すると主張する：

• 再トレーニングが不可能で遅延が低い場合：IT-RTC は妥当なドロップインソリューションである。
• 微調整が可能でチャンクが短い場合：TT-RTC は、ゼロの推論オーバーヘッドと堅牢な OOD 一般化性を持つ、ほぼ無料の修正を提供する。
• 長いチャンクを持つ VLA 設定（例：SmolVLA）の場合：A2C2 は高遅延に対して最も信頼性の高い選択であり、他の手法と自然に組み合わせることができる。
• VLASH：正確な前方状態モデルが利用可能で、微調整時に展開遅延範囲が既知であれば、強力な選択肢である。

著者らは、体系的な比較がこれらの手法間のトレードオフを明確にし、将来の VLA 設計および展開戦略に情報を提供すると結論付けている。また、LIBERO における VLASH のオラクル将来状態への依存や、固定整数遅延の仮定といった限界を明示的に指摘し、実世界の可変レイテンシ条件は、TT-RTC や A2C2 のような遅延認識型手法をさらに有利にする可能性があると示唆している。