DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

提供された論文に基づき、DriveStack-VLAに関する詳細な技術要約を以下に記します。

問題提起

既存のVision-Language-Action (VLA) 運転モデルは、大規模な事前学習済みVision-Language Model (VLM) の世界知識と推論能力を活用して、マルチビュー画像と言語コマンドから運転軌道を予測します。しかし、これらのモデルは**運転指向の空間的知能（driving-oriented spatial intelligence）**の欠如という課題を抱えています。現在のアプローチは主に、視点に依存するパースペクティブ画像のトークンと言語的な事前知識にポリシーを依存しており、精密な運動計画に必要なメトリックな幾何学構造やトップダウンのシーン構造を明示的にエンコードできていません。

この制限は、以下の2つの主要な領域において顕著に現れます：

1. 脆弱な視覚幾何学（Weak Visual Geometry）： ポリシーが堅牢な幾何学的表現ではなく、2Dの外観キューに依存しているため、エキスパートによるデモンストレーションにおける知覚的なカバレッジのギャップに対して脆弱になります。
2. 知覚の不整合（Perceptual Misalignment）： 合成画像やラスタライズされた画像は、よりクリーンな幾何学構造や多様な反事実的（counterfactual）な状況を提供できますが、それらを実画像と直接混合するとドメインギャップが生じます。既存の手法は、実ドメインと合成ドメインの両方において、アクションデコーダが同じ計画に関連する手がかり（例：車線、エージェント）に注意を向けることを保証することに失敗することが多いです。

手法：DriveStack-VLA

著者らは、大規模なVLMバックボーン（具体的にはQwen3-VL-4B）に基づいた、統合された3段階の学習フレームワークであるDriveStack-VLAを提案しています。このフレームメントは、幾何学的、データセット、および軌道サンプリングのボトルネックに対処するために、マルチモーダルLLMプランナーと強化されたビジュアルスタックを統合しています。

1. 二重の視覚モデリング・コンポーネント
空間的なグラウンディングを強化するために、モデルは2つの特定のメカニズムを採用しています。

• BEV DeepStack Injection: 著者らは、"DeepStackスタイル"の接続を用いて、Bird-Eye-View (BEV) 表現をLLMデコーダに直接注入しています。BEVエンコーダ（BEVFormerに基づく）がトップダウンの特徴マップを抽出し、それがトークンへと投影され、特定のデコーダレイヤーでパースペクティブカメラのトークンと結合されます。これにより、LLMに長距離のコンテキストに対する安定したメトリックな幾何学的事前知識を提供します。
• Render-Teacher Alignment: ラスタライズされた画像の利点を、ドメインシフトを導入することなく活用するために、著者らはラスタライズされた画像を「教師」モダリティとして扱います。彼らは、以下の2つの損失を通じて、実画像の知覚的焦点とラスタライズ画像の知覚的焦点を一致させます。
  • Masked Camera-Token Alignment: レンダリングに導かれたソフトマスクが、特徴量アライメント中に背景トークン（ラスタライズ画像では黒くなっていることが多い）の重みを減らすことで、モデルが前景のエージェントや車線に集中するようにします。
  • Action-to-Vision Attention Distillation: 実画像のパスにおけるアクション・トークンから視覚トークンへのアテンション分布を、ラスタライズ画像のパスから蒸留し、モデルがクリーンな合成データと同様に、実画像内の安全に直結する手がかりに注意を向けるように強制します。

2. 三段階の学習パイプライン

• ステージ1：教師あり微調整 (SFT): 上述の二重視覚モデリング・コンポーネントを用いてアクターを訓練します。モデルは、マルチビュー画像、指示、およびエゴステートからアクション・トークンを生成することを学習します。
• ステージ2：強化学習による微調整 (RFT): サンプリングされる軌道の品質を向上させるために、著者らはGroup Relative Policy Optimization (GRPO) を適用します。ポリシーは、運転報酬（衝突回避、安全マージン、走行可能領域への適合性を評価）とフォーマット報酬（アクション・トークンの厳格なデコーダブル性を確保）からなる結合報酬に基づいて更新されます。
• ステージ3：スコアリングと精緻化 (Self-Critic): 候補となる軌道をランク付けし、最適なものを条件付きで精緻化するための軽量なクリティック・モジュールを訓練します。
  • Scoring Head: LLMの最終層の隠れ状態を再利用して、候補となる軌道の品質スコアを出力します。
  • Refinement Head: 最良の候補スコアが閾値を下回る場合、このヘッドは軌道を精緻化するための有界な残差（residual）を予測します。これにより、推論時における低速な「生成・批評・書き換え」の反復ループを回避します。

主な貢献

1. DriveStack-VLAフレームワーク: 幾何学的グラウンディング、データセットのカバレッジ、および軌道サンプリングに同時に対処する、統合されたVLA運転フレームワーク。
2. BEV DeepStack Injection: トップダウンの幾何学的事前知識をLLMデコーダに直接埋め込み、長距離計画の安定性を向上させる新しい手法。
3. Render-Teacher Alignment: 実画像とラスタライズ画像の間で視覚的アクションのアテンションを一致させる技術であり、ドメインの不整合に苦しむことなく、合成による幾何学的拡張の恩恵をモデルに受けさせる。
4. 軽量なSelf-Critic: 余剰なテキスト生成や複雑な推論ループなしに、軌道のランキングと条件付き精緻化を可能にするモジュール。

実験結果

著者らは、実ログ駆動およびシミュレーションによるクローズドループのベンチマークの両方でDriveStack-VLAを評価しました。

• NAVSIMv1: RFTを用いて91.6 PDMS（Predictive Driver Model Score）を達成し、従来のすべてのVLMベースの手法を上回り、新たなSOTA（State-of-the-Art）を樹立しました。
• NAVSIMv2: ヒューマン・ペナルティ・フィルターを有効にした状態で91.0 EPDMS（Extended Predictive Driver Model Score）を達成し、両方の評価設定において新たなSOTAを確立しました。
• Bench2Drive (Closed-Loop): 運転スコア79.49および成功率**56.36%**を達成し、RFTを必要とせずに複雑な都市部シミュレーションへの強力な転移性を実証しました。
• Navhard: この困難なアウトオブディストリビューション（OOD）シナリオを含むベンチマークにおいて、堅牢なパフォーマンス（34.9 EPDMS）を維持しました。

意義と主張

本論文は、DriveStack-VLAが、大規模言語モデルの推論能力と、自動運転の厳格な空間的要求との間のギャップを正常に埋めたと主張しています。BEV特徴量を注入し、実データと合成データの間の知覚的焦点を一致させることで、モデルは従来のVLAアプローチにおける「脆弱な視覚幾何学」という限界を克服しています。著者らは、彼らの手法がオープンループ（NAVSIM）およびクローズドループ（Bench2Drive）の両方のベンチマークにおいて、定量的な最高水準の結果を達成したことを強調しており、適切な幾何学的グラウンディングとアライメント戦略を備えていれば、統一されたVLAアーキテクチャが安全に直結する計画タスクを効果的に処理できることを検証しています。