技術サマリー：MindVLA-U1

問題定義

自動運転は、モジュール型パイプラインからエンドツーエンドの統合へと進化してきた。ビジョン・トゥ・アクション（VA）モデルは、センサー入力を連続的な軌道にマッピングすることで最先端の計画品質を達成してきたが、明示的かつ検査可能な意味論的推論を欠いている。このギャップを埋めるため、言語ベースの理解を組み込んだビジョン・ランゲージ・アクション（VLA）モデルが提案された。しかし、既存の運転用 VLA は、一貫して計画品質において VA モデルに劣っている。

著者らは、この性能ギャップが VLA パラダイム固有の限界ではなく、先行研究におけるインターフェースレベルの設計失敗に起因すると主張する：

1. 不整合なアクションインターフェース：多くの VLA は、軌道を離散的な言語トークンとしてデコードしており、センチメートルレベルの制御には不適切な精度の下限を課しているか、または、アクションコンテキストが VLM の自己注意に影響を与えることを防ぐ、個別のアクションエキスパートを使用している。
2. 非効率的な時間モデリング：先行モデルはしばしば、固定長のビデオ・アクションチャンクとして運転を処理しており、境界での不連続性や、複数フレーム入力に対する冗長なトークン処理を引き起こしている。
3. 測定可能な言語制御の欠如：ほとんどの運転用 VLA では、推論時に言語機能が事実上休眠状態（VLM 重みを持つ VA として実行）であり、言語意図から連続的なアクション生成への明示的かつ測定可能な経路が存在しない。
4. 硬直的な計算リソース：標準的な VLA バックボーンは、通常の運転瞬間であっても高い推論コストを課し、高速/低速の実行モードを可能にするメカニズムを欠いている。

手法：MindVLA-U1

MindVLA-U1 は、これらのインターフェース問題を解決するために設計された、初の統合ストリーミング VLA アーキテクチャとして提示される。

1. 統合共有バックボーン

中核的な革新は、ビジョン、自己状態、言語、メモリ、およびノイズを含むアクショントークンを単一のフォワードパスで共同処理する単一の VLM バックボーンである。

• デュアルヘッド出力：モデルは、自己回帰（AR）言語トークン（オプション）とフローマッチング（拡散スタイル）の連続アクション軌道を同時に生成する。
• 連続アクション：以前の離散トークンアプローチとは異なり、アクショントークンはビジョンおよび言語トークンとともにすべてのトランスフォーマー層を流れる。薄いフローマッチング MLP がアクション位置における速度場を読み取り、連続的な制御精度を維持する。
• 共有重み：両方のモダリティは同じトランスフォーマー重みを共有し、シーンに根ざした特徴が競合するのではなく、構成されることを保証する。

2. ストリーミングパラダイム

運転の時間的性質を、冗長な計算なしに処理するために：

• フレームごとの処理：モデルは、固定長のビデオチャンクではなく、個々のフレームのストリームとして運転を処理する。
• ストリーミングメモリ：バウンドされた先入れ先出し（FIFO）チャネルが、フレーム間でコンパクトで学習されたメモリ表現（$m_i$）を運ぶ。このメモリは、Q-Former スタイルの伝播トランスフォーマーを介してエンドツーエンドで更新される。
• 運動整合：メモリトークンは、読み取り時に現在の自己姿勢に対して運動整合され、車両が移動する際の空間的一貫性を保証する。これにより、VLM が冗長な複数フレームのビデオトークンに注意を向ける必要がなくなる。

3. 言語からアクションへの橋渡し（Intent-CFG）

言語推論を実行可能にするため、著者らは**意図分類器フリーガイダンス（Intent-CFG）**メカニズムを導入する：

• 言語ヘッドは、次のトークン予測を通じて、運転意図トークン（例：「直進」、「左折」）を予測する。
• この意図トークンは埋め込まれ、アクション MLP の時間埋め込みに加えられる。
• 推論中、モデルは 2 つのフォワードパス（予測された意図 $z$ に条件付けられたもの、および無条件 $\emptyset$）を実行する。速度場は CFG を使用して混合される：
  $$v_{cfg}(x_t, t) = v_\theta(x_t, t; \emptyset) + s (v_\theta(x_t, t; z) - v_\theta(x_t, t; \emptyset))$$
• これにより、言語側の意図が連続的な軌道生成のための制御可能な信号へと変換される。

4. MoT による高速/低速実行

アーキテクチャは柔軟な計算割り当てをサポートする：

• アテンションマスキング：アテンションマスクを構成することで、システムは 4 つの推論順序（例：vqa_first、action_only）をサポートする。action_only パスは言語トークンを物理的に除外し、反射的な速度を実現する。
• スパースミクスチャ・オブ・トランスフォーマー（MoT）：バックボーンは、グローバルアテンションプールを共有する並列エキスパートグループ（コンテキスト：ビジョン/言語；アクション：メモリ/自己/アクション）に分割可能である。これにより、アクショングループは統合表現を維持しつつ、高速推論のために独立して実行可能となる。

5. データとトレーニング

• データセット：**Waymo Open Dataset End-to-End（WOD-E2E）**でトレーニングされた。
• MindLabel：自動ラベリングパイプラインが、シーンに根ざした VQA ペアと、運転意図に条件付けられた「夢想された」代替軌道を生成し、生ログに欠ける言語および好意的な監督を提供する。
• トレーニング目的：共有バックボーン上での AR 損失（言語用）とフローマッチング損失（アクション用）の共同最適化。

主要な結果

WOD-E2E ベンチマークで評価：

• 計画品質：MindVLA-U1 は、RL 事後トレーニング後に検証セットで**8.20 のレーターフィードバックスコア（RFS）**を達成し、経験豊富な人間ドライバー（8.13 の GT RFS）を上回った。公式テスト分割では、RFS 7.87 を達成し、すべての先行 VA および VLA 手法を上回った。
• 精度：連続的なアクション精度を維持しつつ、先行手法に対して大幅なマージンで最先端の平均変位誤差（ADE）を達成した。
• スループット：高速推論パス（アクションのみ）は、マッチングされたスケールで約 16 FPSを達成し、RAP-DINO（約 18 FPS）などの強力な VA ベースラインと同等でありながら、自然言語インターフェースを維持している。
• 言語制御：Intent-CFG メカニズムは、アクション拡散を正常に誘導した。異なる意図に条件付けると、質的に異なり、意味論的に一貫した機動が生成され、言語からアクションへの測定可能な因果経路が実証された。
• スケーリングとデカップリング：実験により、計画品質（RFS）は構造的に VLM の言語品質からデカップリングされていることが示された。VLM の言語生成能力が低下した場合でも（例：インストラクションチューニングを行わないベースモデルを使用）、共有バックボーンが有効なシーン表現を学習していれば、Intent-CFG の制御性は有効であり続ける。

意義と主張

本論文は、自動運転における VLA と VA の性能ギャップは、パラダイムの限界ではなく、主にインターフェースの問題であると主張する。MindVLA-U1 は以下のことを実証する：

1. 統合アーキテクチャ：意味論的推論と連続制御は、精度を犠牲にすることなく、単一のフォワードパス内で共存可能である。
2. ストリーミング効率：長期的な計画は、高コストな複数フレームアテンションではなく、効率的なメモリ伝播を通じて達成可能である。
3. 実行可能な言語：言語意図は CFG を介して制御信号に直接変換可能であり、「言語をサイドタスクとする」ことから「言語を制御メカニズムとする」ことへと移行する。
4. 展開の妥当性：単一の統合モデルが、審議的（低速）および反射的（高速）な運転モードの両方をサポートでき、以前 VLA の展開を妨げていたスループットギャップを埋めることができる。

著者らは、MindVLA-U1 を完全自動運転（L4）への一歩として位置づけ、自然言語インターフェースや制御精度を犠牲にすることなく VLA-VA ギャップを埋められることを検証した。また、オープンループ評価（WOD-E2E はログデータ）への依存、単一ベンチマークへの焦点、VLA スケーリング則およびクローズドループトレーニングに関するさらなる研究の必要性といった限界も認めている。