技術要約: FlashVLA

問題提起

フロー・マッチング（例：$\pi0.5$）に基づく視覚・言語・行動（VLA）モデルは、実世界のロボットへの展開において、極めて深刻なボトルネックに直面している。それは、高い推論レイテンシと不安定な非同期実行である。

• レイテンシ: フロー・マッチング型VLAにおけるアクションのデコーディングには、単一の観測条件のもとで、複数の逐次的なデノイジング・ステップ（例：1チャンクあたり10ステップ）を必要とする。プロファイリングの結果、アクションのデコーディングだけで、ステップあたりの推論時間の約75%を消費しており、制御ループを停滞させていることが判明した。
• 非同期の不一致: レイテンシを隠蔽するために、非同期推論では予測と実行をオーバーラップさせる。しかし、これによりモデルは「古い」観測から予測を行うことを余儀なくされる。ロボットは、モデルが一度も見ていない状態に基づいてアクションを実行するため、ルックアヘッド・ホライゾン（先読み期間）とともに増大する時間的なミスマッチが生じる。
• ジレンマ: 既存のソリューションは、これらの問題を個別に解決している。効率的な推論手法（圧縮やプルーニング）は、ステップあたりのコストを削減するが、チャンク境界での停滞を排除することはできない。非同期手法（将来状態の条件付け）は、ミスマッチを修正しようとするが、補助的な予測器やアーキテクチャの変更を必要とし、ルックアヘッドが長い場合には再びミスマッチを増幅させる可能性がある。

著者らは、共通の根本原因を**「孤立」**であると特定している。現在のフロー・マッチング型VLAは、純粋なノイズから各アクション・チャンクを孤立してデコードしており、現在の観測のみを条件としている。これが、すべてのデノイジング・レイテンシを単一のステップに集中させ、将来のチャンクがこれから合流しようとしている軌道について情報を得られない状態に陥らせている。

手法: FlashVLA

FlashVLAは、アクション・チャンクを孤立させるのではなく、共同でデコードするストリーミング・アクション・デコーディング・フレームワークを導入する。これは、フロー・マッチング型VLAモデルに対するドロップイン形式の修正として設計されており、軽量なアーキテクチャ変更とファインチューニングのパスのみを必要とする。

1. チャンク単位の自己回帰定式化

すべてのデノイジング・パスを単一のチャンクに捧げる代わりに、FlashVLAは、ずらされたノイズレベル（$\tau_1 < \tau_2 < \dots < \tau_N$）で保持される$N$個のアクション・チャンクからなるストリーミング・バッファ（$B_t$）を維持する。

• ずらされたノイズ: バッファには、ほぼクリーンなチャンク（実行準備完了）から、純粋なノイズのチャンク（将来の実行用）まで、スペクトラムが含まれている。
• 共同進行: 単一のフォワード・パスによって、バッファ内のすべてのチャンクを1つのデノイジング・ステップ分だけ前進させる。ウォームアップ期間の後、システムはステップごとに1つの実行可能なチャンクを出力する。これにより、$N$個のデノイジング・ステップを時間軸にわたって分散（アモルタイズ）させ、ステップあたりのレイテンシを最大20倍削減する。
• チャンク単位の因果的アテンション: モデルは、後続（よりノイズの多い）チャンクが先行（よりクリーンな）チャンクにアテンションを向けるが、その逆は行わないという因果的マスクを適用する。これにより、将来の状態をデコードするモデルが、バッファ内にある近接実行中の軌道を暗黙的に条件付けることが可能になる。これにより、明示的な将来状態予測器なしに非同期の連続性を回復する。

2. ストリーミング推論アルゴリズム

推論プロセスは2つのフェーズで動作する：

• コールドスタート: バッファは、$N-1$個のパディング・チャンクと1つのガウス・サンプルで初期化される。システムは、ロボットが安全なデフォルト・アクションを実行している間に、バッファを充填するために$N-1$ステップの推論を実行する。このオーバーヘッドはエピソード全体を通じて分散される。
• 定常ストリーミング: バッファはキューとして機能する。各ステップで全チャンクを前進させ、最もクリーンなチャンクを取り出して実行し、残りのチャンクをシフトさせ、新しい純粋なノイズ・チャンクを追加する。
• システム最適化: 完全なレイテンシの恩恵を実現するため、著者らは推論ステージをCUDA Graphsにコンパイルし、カーネル・フュージョンとPyTorchのmax-autotuneを適用して、カーネル起動のシリアル化を排除している。

3. マルチ・バッファ共同ファインチューニング

学習済みのVLAは、チャンクを孤立してデノイズするように訓練されている。これらをストリーミング・パラダイムに適応させるため、著者らはパッキング訓練戦略を提案する：

• 単一の観測に対するすべての可能なバッファ構成（コールドスタートから定常状態まで）を、単一の訓練サンプル内にパッキングする。
• アテンション・マスクがサンプル内の異なるバッファ構成を分離し、観測エンコーディングを共有しながら、モデルが任意の有効なバッファ・プレフィックスを扱えるように学習することを保証する。
• ロスはすべてのバッファ構成にわたって合計され、モデルに、任意のノイズレベルにおいて、任意の有効な履歴を条件としてチャンクをデノイズすることを教え込む。

主な貢献

1. 統一されたソリューション: FlashVLAは、チャンク・デコーディングの構造的仮定を「孤立」から「共同デコーディング」へと変更することで、推論レイテンシと非同期の不一致の両方に同時に対処する。
2. ストリーミング機構: ずらされたノイズレベルを持つストリーミング・バッファとチャンク単位の因果的アテンションを導入し、1回の推論ステップにつき1つの実行可能なアクションを可能にしつつ、軌道の連続性を暗黙的に維持する。
3. 効率性: 本手法は、ステップあたりのアクション・デコーディング・レイテンシ（アモルタイズ後）を20倍削減し、非同期設定において最大2.43倍のエンドツーエンドの高速化を実現する。
4. 長期間タスクへの恩恵: ストリーミング・バッファに備わったチャンクレベルのメモリ（将来のチャンクが洗練された過去のチャンクにアテンションを向ける仕組み）により、明示的なメモリ・モジュールなしで、長期間のタスクにおける性能が大幅に向上する。

実験結果

著者らは、LIBERO（シングルアーム）、RoboTwin 2.0（バイマニュアル）、および実世界のFrankaタスクにおいて、$\pi0.5$、VLASH、StreamingVLA、およびRealtime-VLAと比較評価を行った。

• 非同期性能: 1ステップの遅延があるLIBEROにおいて、FlashVLAは平均成功率を96.9%から97.8%に向上させると同時に、ステップあたりの時間を53.8 msから22.1 msへと短縮した（2.43倍の高速化）。また、遅延 $d=1$ から $4$ の範囲で高い成功率（97.5–98.3%）を維持し、ルックアヘッドが増加すると著しく低下するベースラインを上回った。
• レイテンシと反応速度: FlashVLAは、すべての構成において最低の推論レイテンシを達成した（例：3ビューにおいてRTX 5090で20.3 ms）。これにより、$\sim$50 Hzのポリシー更新を継続的に可能にした。FASTERベースラインと比較して、初回アクションまでの時間（TTFA）を1.7倍、反応時間（TTR）を1.6倍短縮した。
• 長期間タスク: RoboTwin 2.0において、FlashVLAは長期間のタスクで劇的な改善を示し、$\pi0.5$と比較して成功率を36.6ポイント向上させた（53.0%から89.6%へ）。これは、暗黙的なチャンクレベルのメモリによるものである。
• 汎用性: 本手法は他のアーキテクチャ（SmolVLA, LingBot-VLA）にも効果的に転移し、推論レイテンシを1.95倍から2.81倍削減しながら、タスク品質を維持または向上させた。

意義と主張

本論文は、FlashVLAがフロー・マッチング型VLAの展開における根本的な転換を象徴していると主張している。アクション・チャンクを孤立したバッチとしてではなく、連続的で因果的に接続されたストリームとして扱うことで、低レイテンシ推論と時間的一貫性の間のトレードオフを解消する。

• 実世界での実現可能性: 本システムは、単一のGPU上で $\ge$30 Hzでのスムーズな非同期実行を可能にする。これは、高容量のフロー・マッチング・モデルにおいては以前は困難であった閾値である。
• 構造的な単純さ: このソリューションは、複雑な補助的予測器や大規模なデータセットによる再学習に依存せず、構造的な変更（共同デコーディング）と標準的なファインチューニング手順に基づいている。
• スケーラビリティ: パフォーマンスの向上はタスクのホライゾンとともにスケールしており、この手法が、時間的一貫性が極めて重要となる複雑で長時間の操作タスクに特に適していることを示唆している。