技術概要：MAPLE – エンドツーエンド自動運転のための潜在多エージェントプレイ

1. 問題定義

エンドツーエンド（E2E）自動運転は、知覚、予測、計画を単一の学習モデルに統合することを目指しています。最近のビジョン・言語・アクション（VLA）モデルは、言語に基づいて運転行動を接地させることで堅牢性を向上させてきましたが、重要な限界を抱えています。すなわち、これらは主にログ記録された運転データに対する教師あり微調整（SFT）を用いて、オープンループ方式で訓練されていることです。

このアプローチは、周囲の交通エージェントを非反応的とみなし、実世界の運転に内在するクローズドループ相互作用をモデル化できていません。その結果、これらのモデルは以下の点で困難に直面します：

• 共変量シフト： 実証された軌道からのわずかな逸脱が時間とともに累積し、計画の失敗を招きます。
• スパースなラベル： 真の軌道は可能な行動空間のごく一部しか捉えておらず、長尾シナリオに対する堅牢な方策の学習を制限します。
• シミュレーションの限界： 既存のクローズドループ訓練手法は、記号的表現（バウンディングボックス、マップ）で動作する外部シミュレーター（例：CARLA）に依存しています。スケーラブルである一方で、これらのシミュレーターは E2E モデルに対してピクセルレベルで実行するには計算コストが高く、かつ実世界データとの視覚的忠実度の不一致にしばしば悩まされます。

核心的な課題は、高コストで忠実度の低いピクセルレベルシミュレーターに依存することなく、E2E プランナーに対するスケーラブルでクローズドループな多エージェント訓練を可能にすることです。

2. 手法：MAPLE フレームワーク

著者らは、VLA モデルの潜在空間内で自車および複数の反応的エージェントの挙動を完全にシミュレートするフレームワーク、MAPLE（Latent Multi-Agent Play）を提案します。これにより、ピクセルレベルシミュレーションの計算負担を回避しつつ、クローズドループかつ多段階の相互作用を支援します。

アーキテクチャ

MAPLE はマルチモーダル LLM バックボーン（Qwen2.5-1.5B-VL）を基盤として構築され、以下の構成を含みます：

• エンコーダー： 多視点画像とマップ特徴を処理するためのビジョンエンコーダーおよびマップエンコーダー。
• 潜在トークン： エージェントは、ダイナミクス（位置、速度、加速度）、タイプ、マップセグメント、交通状態を符号化するコンパクトな潜在トークンとして表現されます。
• ヘッド：
  • アクション計画ヘッド： 自車および反応的エージェントのトークンを軌道ウェイポイントにデコードする変分オートエンコーダー（VAE）。
  • 運動予測ヘッド： 背景エージェント（非反応的）の将来軌道を回帰する MLP。
  • 将来状態予測： トークン空間を安定化させるためにエージェントの次の状態を予測するように訓練されたヘッド。

訓練パイプライン

このフレームワークは 3 つの明確な段階で動作します：

段階 1：事前学習

VLA バックボーンは、安定した潜在トークン表現を学習するために補助タスクで事前学習されます：

• 3D 物体検出、マップセグメンテーション、エージェント運動予測、および信号機セグメンテーション。
• 将来状態予測： 現在の状態（$S_t$）に基づいて次の状態（$S_{t+1}$）を予測し、離散ラベル（タイプ、マップセグメント、交通状態）のクロスエントロピーと連続ダイナミクスの$\ell_1$回帰を組み合わせた損失関数を最小化します。

段階 2：多エージェントロールアウトによる教師あり微調整（SFT）

この段階では、潜在空間内で自己回帰的なシナリオロールアウトを導入します：

• 多エージェントロールアウト： 自車と、相互作用する可能性のある反応的エージェントのサブセットを、時間範囲 $T$ にわたって共同でロールアウトします。背景エージェントは回帰によって予測されますが、計画ヘッドによって制御はされません。
• プロセス： 各ステップにおいて、モデルは現在のトークンとシナリオ記述に基づいて将来のトークンを予測します。これらのトークンは軌道にデコードされ、次のステップの入力としてフィードバックされます。
• 目的： 自車および反応的エージェントの真の軌道を用いてモデルを教師ありとし、ロールアウト範囲全体にわたって計画損失と運動予測損失を最小化します。

段階 3：事後学習における強化学習（RL）

長尾イベントに対処し、多様な行動を促すため、SFT モデルを**グループ相対方策最適化（GRPO）**を用いて微調整します。報酬構造は、安全性、進行、多様性を促進するように設計されています：

1. グローバル報酬（$G_t$）： 衝突のないロールアウトを促進し、シーンレベルの違反を罰します。
2. 車両固有報酬（$r_t$）： ルートの完了を促進し、安全でない行動（例：低い衝突までの時間）を罰します。
3. 多様性報酬（$D_t$）： 異なる運転行動（例：保守的 vs 攻撃的な合流）を促進する新規コンポーネントです。これは、異なるプランナー間での行動記述子（加速度、ジャーク、TTC、車線中心化など）のペアワイズ$\ell_1$距離を計算します。これにより、方策の崩壊を防ぎ、ログデータに存在しない明確で安全性に関わるシナリオの生成を促します。

3. 主要な貢献

1. シミュレーター不要な多エージェントロールアウト： 著者らは、VLA の潜在空間内で自車と反応的エージェントを共同で進化させるメカニズムを導入しました。これにより、外部シミュレーターやピクセルレベルレンダリングなしに、訓練中のクローズドループかつ多段階の相互作用が可能となり、計算コストが大幅に削減されます。
2. 多様性認識型 RL： 論文は、RL 段階内で明確に異なるエージェント行動を促進する多様性報酬を提案しています。これにより、より豊かな多エージェント相互作用と、RL 微調整でよく見られるモード崩壊に対処するより堅牢なクローズドループ方策が実現されます。
3. 最先端のパフォーマンス： このフレームワークは Bench2Drive ベンチマークにおいて新しい最先端の結果を達成し、複雑な多能力シナリオ全体で運転スコアと堅牢性の大幅な向上を実証しました。

4. 実験結果

実験は、Bench2Driveベンチマーク（CARLA ベース）で行われ、訓練に 950 クリップ、検証に 50 クリップを使用し、220 ルートにわたるクローズドループ評価を実施しました。

• パフォーマンス： MAPLE は運転スコア（DS）85.2（幾何学的経路監督付きでは 88.3）を達成し、SimLingo（85.1）、DiffRefiner（87.1）、ORION（77.7）を含む既存のすべての手法を上回りました。
• 多能力： モデルは、合流、追い越し、緊急ブレーキ、譲歩、交通標識の処理などの複雑な都市行動において一貫した改善を示し、平均多能力スコア70.6%（監督付きでは 73.2%）を達成しました。
• アブレーション研究：
  • ロールアウト戦略： 事前学習、SFT、RL 段階全体でのフルロールアウトは、ベースラインに対して運転スコアを 12.3 ポイント向上させました。
  • マルチプランナー対シングルプランナー： 反応的エージェントに複数の異なるプランナーを使用する（マルチエージェントプレイ）ことは、シングルプランナーのベースラインを上回り、DS を 4.8 ポイント、成功率を 7.7 ポイント向上させました。
  • 多様性報酬： 多様性報酬の有効化は、最良の結果を達成するために不可欠であり、方策の崩壊を防ぎ、相互作用のリアリズムを向上させました。

5. 意義と主張

本論文は、MAPLE が「反応的環境」のギャップを解決することで、エンドツーエンド自動運転を進展させるスケーラブルかつ効果的なアプローチであると主張しています。その意義は以下の点にあります：

• スケーラビリティ： 潜在空間で動作することにより、ピクセルレベルシミュレーターの禁止的な計算コストと視覚的忠実度の問題を回避し、大規模 VLA モデルに対するクローズドループ多エージェント訓練を実行可能にします。
• 堅牢性： 多様性認識型 RL メカニズムにより、モデルはログデータの分布を超えた行動を学習でき、長尾および相互作用シナリオにおける安全性を向上させます。
• 実用性： このフレームワークは推論時に「除去可能」であり、複雑な多エージェントロールアウトは訓練中のみ使用され、展開時には追加のオーバーヘッドを発生させません。

著者らは限界を認め、潜在ロールアウトは物理シミュレーションの高精度なダイナミクスを欠く可能性があり、現在の実験は Bench2Drive ベンチマークに限定されていると指摘しています。しかし、このフレームワークは、堅牢でデータ効率的かつ安全な E2E 自律システムに向けた重要な一歩を提供すると位置付けています。