技術概要：SparseWorld

問題定義

エンドツーエンドの自動運転における既存のワールドモデルは、通常、密なシーン表現（完全な視覚観測の予測や密な鳥瞰図占有マップなど）に依存しています。これらは効果的ですが、高い計算コストを要し、冗長な情報を生成するため、現実世界のリソース制約のあるアプリケーションへの展開を妨げています。さらに、人間の運転手は自然と重要な要素（主要な交通参加者と道路構造）の将来状態に焦点を当て、シーン全体の外観には注意を向けません。現在の手法はこのインスタンス中心の効率性を活用できておらず、密な生成のオーバーヘッドなしにシーンの重要なレイアウトのみを予測し、計画を強化する軽量なワールドモデルの必要性が生じています。

手法

SparseWorld は、インスタンスレベルの将来予測と運動計画の洗練のために設計された、軽量かつ視覚中心のワールドモデルです。これはインスタンス認識型エンドツーエンド運転フレームワーク（SparseDrive や VAD など）にシームレスに統合され、以下の 3 つの連続する段階で動作します。

1. Sparse Dreamer による将来予測

中核コンポーネントであるSparse Dreamer (SPD) は、自己回帰的なロールアウトを実行し、密な表現ではなく、密な表現で将来のマップ要素と周囲のエージェントを予測します。

• インスタンスメモリキュー (IMQ): 過去のインスタンスと予測された将来のインスタンスのキャッシュを維持します。
• グローバルインスタンスアライメント (GIA): 自己運動補償と固有の速度調整を用いて現在のアンカーを粗い将来位置に投影し、座標変換エラーを軽減します。
• SparseWorld デコーダ: 過去のインスタンスと現在の動作条件（速度、軌道、操舵）を入力とする自己回帰トランスフォーマーです。以下を採用します：
  • 時間的クロスアテンション: 運動プランナーの提案から導出された時間的および相対的位置埋め込みを注入し、空間知覚を強化します。
  • 動作条件付きクロスアテンション: 動作条件を（フーリエ埋め込みを通じて）符号化し、将来のシナリオの制御可能な生成を可能にします。
• 将来運動プランナー (FMP): 予測された将来のインスタンスを用いて将来の動作条件を推論し、自己回帰ループを閉じます。

2. 運動計画の洗練

予測された将来のインスタンスは、ベースラインの運動予測と軌道計画の洗練に使用されます。

• 運動予測: 運動予測器は、（過去のものだけでなく）将来のインスタンス特徴を用いて時空間コンテキストを集約し、より正確で多様な運動パターンを実現します。
• 軌道計画: 自車の特徴は、将来のインスタンス特徴と相互作用することで強化されます。
  • 安全性重要損失 (SCL): 訓練中に、エージェントの幾何学（サイズ、向き）と将来の軌道を明示的にモデル化する新しい損失関数を用いて、モデルを低リスクの経路へ誘導します。
  • 適応的軌道選択 (ATS): 推論中に、システムは 3 つの候補軌道（ベースライン、将来生成、SCL 洗練）を評価します。衝突検出と安全性重要損失に基づいて最も安全なオプションを選択し、安全性を確保するために調整ベクトルを適用します。

主要な貢献

1. SparseWorld フレームワーク: 密なシーンではなく、エージェントとマップレイアウトといった密な将来インスタンスを予測する、軽量で視覚中心のワールドモデルの導入。これにより効率が大幅に向上します。
2. 運動計画の洗練: 将来予測を活用して運動予測と軌道計画の両方を洗練する新しい戦略。これには、訓練用の安全性重要損失と、リアルタイムの安全性保証のための適応的軌道選択モジュールが含まれます。
3. Sparse Dreamer アーキテクチャ: 将来のシーンの進化を正確に予測するための、グローバルインスタンスアライメントと、結合された時間的・空間的アテンション機構を備えた SparseWorld デコーダを特徴とする専用モジュール。

実験結果

著者らは、SparseWorld をnuScenesデータセット（オープンループ指標用）とBench2Driveベンチマーク（クローズドループ指標用）で評価しました。

• インスタンス予測: SparseWorld は、将来のインスタンス予測において最先端のパフォーマンスを達成します。nuScenes において、2 秒の時間範囲でベースラインの 3D 検出性能の**82.8%とオンラインマッピング性能の86.4%**を維持し、「コピー＆ペースト」および「投影」ベースラインを大幅に上回ります。
• 運動予測: SparseDrive（SparseWorld-S）と統合された場合、この手法はエンドツーエンド予測精度（EPA）で0.488を達成し、見逃し率（MR）を0.128に削減します。VAD-Tiny（SparseWorld-V）では、EPA が0.619に向上し、MR は0.113となります。
• オープンループ計画: SparseWorld-S は nuScenes で0.05%の衝突率を達成し、SparseDrive ベースラインと比較して37.5% の削減を実現し、新たな最先端を確立しました。
• クローズドループ計画: Bench2Drive において、SparseWorld-S は48.95の運転スコア（DS）を達成し、SparseDrive ベースラインに対して9.9% の改善を示し、成功率を**9.1%**向上させました。
• 効率性: SparseWorld は、密なワールドモデルよりも著しく効率的です。占有マップや画像ベースのジェネレーターが数百ミリ秒とギガバイト単位のメモリを必要とするのに対し、SparseWorld は4GBのメモリのみを使用して70msで 4 フレームのインスタンスレベルシーンを生成します。

意義と主張

本論文は、SparseWorldがワールドモデルの理論的利点と現実世界の自動運転の実際的な制約との間のギャップを成功裡に埋めたと主張しています。密なシーン表現から密でないシーン表現へ移行することで、このモデルは重要な要素に焦点を当てる人間の認知的焦点を模倣し、計算オーバーヘッドを削減しながら安全性を向上させます。

著者らは、彼らのインスタンス中心のアプローチが、密な表現よりも効率的であるだけでなく、下流の計画に対してより効果的であると主張しています。将来のインスタンス予測の統合により、計画モジュールはより忠実度高く「先を見通す」ことを可能にし、より安全で堅牢、かつ衝突を起こしにくい軌道をもたらします。この研究は、軽量なワールドモデルが既存のエンドツーエンド自動運転システムの性能を大幅に向上させる強力なプラグインモジュールとして機能し得ることを実証しています。