Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

技術要約：クローズドループ走行のための非同期高速・低速ビジョン・ランゲージ・アクション（VLA）推論

問題提起

大規模ビジョン・ランゲージモデル（VLM）は、エンドツーエンドの自動運転に指示追従性とシーン推論をもたらしました。しかし、その高い推論レイテンシは、クローズドループ走行（通常20 Hz、すなわち50 msのティック）に求められる制御レートとの根本的な対立を生じさせます。LMDriveのような既存のエージェントは、シミュレーションのティックをスキップすることでこれを解決しています。具体的には、モデルは交互のティックで実行され、その間は前回のコマンドがリプレイされます。この「フレームスキッピング」のアプローチは、車両が最新の観測を無視した状態で、50〜100 ms前の古い決定に基づいて行動することを意味します。著者らは、これがアーキテクチャ上の制約であり、根本的な制約ではないと主張しています。なぜなら、指示の理解や時間的集約は緩やかに変化する一方で、現在のフレームから軌道をマッピングすることは高速に行える必要があるからです。

手法

本論文では、重いVLMの推論を高速な制御ループから分離する、**高速・低速非同期アーキテクチャ（Fast-Slow Asynchronous Architecture）**を提案しています。

1. システムの分解:

   • 低速システム（バックボーン）: LMDriveに基づく凍結された7B LLaMAバックボーンが、低頻度（例：$K=4$ ティックごと）でナビゲーション指示と視覚履歴を処理する低速システムとして機能します。極めて重要な点は、このバックボーンがシーンの定常的な表現として、各層のキー・バリュー（KV）キャッシュを公開することです。バックボーンは、インクリメンタルなフォワードパスを通じて新しい視覚トークンをこのキャッシュに追加し、特定の無効化イベント（指示の変更、エピソードの終了、またはウィンドウ上限）が発生したときにのみ、キャッシュ全体を再構築します。
   • 高速システム（アクション・エキスパート）: 軽量な337Mパラメータのトランスフォーマーが、高速システムとして機能します。これは、すべてのシミュレーションティック（20 Hz）で動作します。エキスパートは、現在のカメラフレームとエゴ状態トークン（過去の予測や速度を含む）を処理しながら、バックボーンのキャッシュされたKV状態に対してクロスアテンションを行います。そして、単一のフォワードパスで5つのウェイポイントを回帰します。バックボーンはエキスパートのトークンにアテンションを向けることは決してなく、これによりエキスパートが動作しているかどうかにかかわらず、キャッシュが同一であることを保証します。

2. 停滞性を考慮した学習（Staleness-Augmented Training）:
   デプロイメント時、キャッシュは現在の世界の状態から最大で$K$ティック分遅れるため、エキスパートは「停滞したコンテキスト」に基づいて動作することを学習する必要があります。著者らは、トレーニング中に**ランダムな停滞性（randomized staleness）**を導入しています。各サンプルに対し、ランダムな遅延$\delta$が適用され、エキスパートに見えるバックボーンのプレフィックスがフレーム$j-\delta$で終わるようにマスクされます。これにより、エキスパートは、古いシーンの要約と新鮮なティックごとの証拠を融合させることを強制され、非同期デプロイメントの現実における学習分布と一致させることができます。

3. 非同期デプロイメント:
   エージェントは、バックボーンのキャッシュを可変の状態として保持します。毎$K$ティックごとに、低速システムがキャッシュを更新します。毎ティック、高速システムは既存のキャッシュと現在のフレームを読み取って制御を生成します。これにより、システムは、ティックごとの計算コストが履歴の長さに依存することなく、20 Hzで新鮮な制御を発行することが可能になります。

主な貢献

1. 非同期高速・低速推論スキーム: VLMバックボーンを、キャッシュされインクリメンタルに更新されるコンテキスト提供者へと変貌させ、すべてのティックごとの計算を軽量なエキスパートに移譲する、新しいアーキテクチャ。
2. 停滞性を考慮した学習: 非同期デプロイメントで見られるキャッシュのラグを明示的にシミュレートし、エキスパートが古いコンテキストを補完できるようにする学習戦略。
3. 測定されたレイテンシを伴う初のクローズドループ評価: レイテンシが単に記録されるだけのオープンループ・ベンチマークを超え、コンシューマー向けハードウェア（RTX 3090 Ti）上で完全な制御レートを実現した、初のファスト・スローVLAパラダイムのデモンストレーション。

実験結果

CARLA（Town 05）におけるLangAuto-Shortベンチマークでの評価、および未知のタウンへのゼロショット転移：

• ルート完了率: フレームスキッピングのベースラインと比較して、ルート完了率を**37.0%から94.0%**に向上させた。
• ドライビングスコア: 28.8から32.9に改善。
• 要因のアブレーション解析:
  • エキスパートの質: 同じエキスパートをベースラインの10 Hz（フレームスキッピング）のレートで実行すると、ドライビングスコアが34.0に向上し、エキスパート自体が意思決定の質を向上させていることが示された。
  • 制御の新鮮さ: 10 Hzから20 Hz（毎ティック新鮮な制御）へ移行することで、ルート完了率は82.1%から94.0%に増加し、ルートの逸脱は半分以下に減少し、赤信号違反は3分の1に減少した。
• レイテンシ: レガシーな手法（フル再計算）はステップあたり89〜169 msを要し、50 msの予算を超過する。提案手法は、履歴の長さに依存せず、一定のティックあたり32 msのコスト（32.4 msのモデル計算量）を維持し、50 msの予算内に余裕を持って収まっている。
• オープンループ精度: エキスパートは、ウェイポイントのL1誤差を0.123（凍結されたバックボーンヘッド）から0.031へと、ほぼ4分の1に減少させた。
• ゼロショット転移: Town 05のみで学習したエキスパートは、Town 01で84.3%、Town 02で**94.4%**の完了率を達成し、ベースライン（それぞれ40.5%および30.7%）を大幅に上回った。
• 限界: 学習中に未知であったTown 03の長いルートにおいて、システムはルートの85.4%を完了したが、密集した交通や長期的なハザード交渉に関する学習データの不足により、安全性に関する問題（衝突、赤信号違反）が発生した。

意義と主張

本論文は、VLMベースの走行におけるレイテンシの問題は、アーキテクチャの問題であり、根本的な問題ではないと主張しています。重い推論を行うコンポーネントと、高速で反応的なコンポーネントを分離することで、システムは以下を実現しています：

• 新鮮な制御: 大規模モデルの推論能力を犠牲にすることなく、すべてのシミュレーションティックに対して反応する能力。
• スケーラビリティ: ティックごとのコストが履歴の長さに依存しないため、推論時間を増やすことなく長期的な推論が可能。
• パフォーマンスの向上: より優れたアクションエキスパートと、ティックごとの新鮮さの組み合わせにより、フレームスキッピングを用いる最先端のベースラインと比較して、ルート完了率と安全性の指標（逸脱や違反の減少）が劇的に向上。

著者らは、本システムはシミュレーションにおける顕著な改善を示しているものの、あくまで短いルートで学習されたシミュレーション研究であることを強調しています。長期的なハザード交渉における本アーキテクチャの成功は、アーキテクチャ自体ではなく学習データに依存していると警告しており、システムはまだ実際の道路への配備には適していないとしています。