🤖 AI

OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

OmniV2Xは、クロスアテンション注入と大規模な単一エージェントデータによる事前学習を活用することで、既存の手法と比較して計算コスト、データ要件、および通信帯域幅を大幅に削減しつつ、最先端の性能を実現する、車車間・路車間（V2X）協調走行のための生成基盤モデルである。

原著者： Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Juntong Peng, Juanwu Lu, Yupeng Zhou, Can Cui, Yaobin Chen, Ziran Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが車を運転しているところを想像してみてください。通常、あなたの車は自分自身の「目」（カメラやセンサー）に完全に頼って道路を見ています。しかし、あなたと同じように、車にも死角があります。もし大きなトラックが、歩道から飛び出してくる歩行者の視界を遮ってしまったら、車は手遅れになるまでその人を見つけることができないかもしれません。

ここで「OmniV2X」の登場です。これは、車が互いに「会話」をし、交通インフラ（スマートな街灯など）とやり取りすることで、角の先まで見通せるようにする、非常にスマートで協力的な運転アシスタントのようなものです。

論文では、OmniV2Xについて、以下のシンプルな概念に分解して説明しています。

1. 旧来の方法：大量のデータを統合しようとすること

従来の手法は、車が自分が見ている非常に詳細な3Dマップを互いに送り合うことで、この問題を解決しようとしていました。

比喩： 自分の一日の出来事を記録した500ページのフォトアルバムを、友人に郵送して秘密を共有しようとするようなものです。これは時間がかかり、コスト（データ通信量）も高く、もし友人があなたとは異なるカメラを使っていた場合、その写真は意味をなさなくなるかもしれません。
問題点： これには膨大なインターネット帯域幅が必要であり、処理に多くのコンピュータパワーを要します。また、データが完璧に一致していない場合には非常に脆弱です。

2. OmniV2Xの方法：「スマートチャット」アプローチ

OmniV2Xはゲームのルールを変えます。重い3Dマップを送る代わりに、運転を「物語（ストーリーテリング）のタスク」として扱います。

比喩： フォトアルバムを郵送する代わりに、あなたの車は中央の「脳」に対して、標準化された短いテキストメッセージを送信します。そのメッセージには、「20メートル先に左へ移動している車がいる」や「横断歩道の近くに歩行者がいる」といった内容が含まれます。
仕組み： 車の「脳」（Generative Foundation Planner）は、高度に訓練された作家のようなものです。この「脳」は、個々の車の膨大な走行データ（何百万冊もの本に相当）を読むことで、優れた「運転の物語（安全な運転方法）」を書く方法をすでに学習しています。そして、道路からこれらの短いテキストメッセージ（V2Xトークン）を受け取ると、それを自分が書いている物語に単に追加し、次の動きを判断するのです。

3. なぜこれほど効率的なのか

論文では、この新しいシステムの3つの主要な強みを強調しています。

データ節約（「1%のルール」）：
通常、道路からの助けを得て車に運転を教えるには、膨大な量の新しいデータが必要です。OmniV2Xは非常にスマートなので、通常の10%未満のデータ量を使用して、協調的な運転を学習することができます。これは、新しいトピックを理解するために学校を最初からやり直すのではなく、すでに数学をマスターしている生徒が、新しい章を数章読むだけで理解できるようなものです。
帯域幅節約（「小さなテキストメッセージ」）：
重い3Dマップではなく、シンプルで標準化されたメッセージを送信するため、他の手法が必要とするインターネット帯域幅の1%未満しか使用しません。これは、500ページのPDFを送るのと、素早いテキストメッセージを送るの違いのようなものです。
スピードの達人：
このシステムは驚異的に速く（最大毎秒29回）、スーパーコンピュータを必要としません。重い3Dの数値を計算する必要がないため、より小さく安価なハードウェアでも動作可能です。

4. ミスや現実世界への対処法

研究者たちは、厳しい条件下でこのシステムをテストしました。

ノイズの多いデータ： もしGPSが少しズレていたり、カメラが車を見逃したりしたらどうなるでしょうか？このシステムは堅牢です。受け取った情報が多少「曖昧」であったり遅延していたりしても、安全に運転を続けることができます。
実世界のテスト： 彼らは、隠れた歩行者がいる駐車場でテストを行いました。車の後ろから歩行者が現れたとき、OmniV2Xは（V2Xメッセージによる「追加の目」を使用して）早期に彼らを察知し、スムーズに減速して衝突を回避しました。

まとめ

OmniV2Xは、自動運転車が協力するための新しい方法です。複雑な3D画像を統合しようとする（遅くて高価な）代わりに、道路からのシンプルで標準化された更新情報を聞き取り、即座に最も安全な経路を判断する「生成型」の脳を使用します。これは、従来のメソッドよりも高速で、安価であり、学習に必要なデータ量もはるかに少なくて済みます。

技術要約: OmniV2X

問題提起

エンドツーエンド（E2E）自動運転システムは、本質的に自己中心的な知覚に制約されており、特に物理的な遮蔽によって視認性が制限される複雑な都市環境においてその傾向が顕著である。車両・路車間通信（V2X）による協調走行は、インフラストラクチャの共有を通じて知覚を拡張する解決策を提供するが、既存のエンドツーエンド協調手法には3つの系統的なボトルネックが存在する：

高い通信オーバーヘッド: 高密度な鳥瞰図（BEV）特徴量やモデル固有の中間表現の送信は、膨大な帯域幅を必要とし、異なるコネクテッド・自動運転車両（CAV）間での標準化を阻害する。
データの希少性: インフラストラクチャとの同期コストが高いため、現実世界の協調データセットは限られており、堅牢なマルチエージェントモデルを一から学習させることは困難である。
計算およびアライメントの硬直性: 現在のアプローチは、厳格な時空間特徴融合に依存しており、徹底的な3Dバウンディングボックスの教師あり学習と精密なキャリブレーションを必要とする。これにより、エゴ車両とインフラストラクチャのパイプライン間に強い結合が生じ、計算コストの高騰とスケーラビリティの低下を招く。

手法

OmniV2Xは、硬直的な空間特徴融合から、条件付き生成シーケンスモデリングへのパラダイムシフトを提案する。マルチエージェントの特徴量を共有された空間グリッドにマージする代わりに、本フレームワークは、異種混合の入力を生成プランナーのための独立したコンテキストシーケンスとして扱う。

アーキテクチャ

システムは主に3つのコンポーネントで構成される：

独立したコンテキスト・トークナイゼーション:
- 視覚的コンテキスト: 凍結されたDINOv3-ViTバックボーンを使用して前方視覚特徴量を抽出する。これらは明示的な3D投影（BEV）なしに統一された隠れ空間へと投影され、2D潜在シーケンスから運動学的変位を直接学習するようにマップされる。
- ナビゲーション・コンテキスト: 高レベルのコマンド（例：「左折」）を学習済み埋め込みを通じてエンコードする。この際、エゴ車両の状態（速度やステアリング）は除外されており、これはモデルが些細な速度外挿ポリシーを学習してしまうのを防ぐためである。
- V2Xインフラストラクチャ・コンテキスト: SAE-J3224準拠のセンサーデータ共有メッセージ（SDSM）を処理する。検出されたオブジェクトは、13次元の状態ベクトル（位置、寸法、方位、速度、クラス）として表現され、軽量なTransformerを介してエンコードされる。
- シーケンス構築: すべてのモダリティは独立して正規化され、学習可能なセグメント埋め込みと共に結合され、統一された条件付きシーケンス $C$ を形成する。
生成的基盤プランナー:
- コアエンジンは、連続的な変位生成に最適化されたRectified Flow Transformerである。
- ターゲット: モデルは絶対座標ではなく、ステップごとの位置変位を予測する。これにより、偽の空間相関やルートの記憶を防ぐ。
- 条件付けメカニズム: コンテキスト長（ $L$ ）が軌跡ホライゾン（ $H$ ）を大幅に上回るという計算上のボトルネックに対処するため、OmniV2Xは**クロスアテンション注入（Cross-Attention Injection）**を採用している。生成されるウェイポイントは自己アテンション（ $O(H^2)$ ）を実行し、コンテキストシーケンスに対してはクロスアテンション（$O(LH) $）を介してクエリを行う。これにより、標準的なプレフィックス条件付けの二次関数的な$ O(L^2)$ の複雑さを排除し、エッジハードウェアでのリアルタイム推論を可能にする。
2段階の学習パイプライン:
- ステージ1（事前学習）: モデルは大規模なシングルエージェントデータセット（nuPlan）で事前学習され、一般的な走行運動学と基礎的な走行プライア（事前知識）を学習する。
- ステージ2（適応）: モデルは協調データセット（DAIR-V2X-Seq）でファインチューニングされる。入力が統一されたシーケンスであるため、V2Xトークンを事前学習済みのコンテキストに単に付加するだけで、アーキテクチャの変更なしに極めて効率的な転移学習が可能となる。

主な貢献

スケーラブルなV2Xフレームワーク: OmniV2Xは、硬直的な時空間融合を回避し、異種混合の入力を独立したコンテキストシーケンスとして扱う。この設計により、共有された特徴空間を必要とせずに、SAE規格に準拠したV2Xメッセージのシームレスな統合が可能になる。
データ効率の高い知識転移: ドメインが安定した特徴空間を活用することで、モデルはシングルエージェントの走行から協調シナリオへの知識転移を実現する。これにより、ターゲットとなるV2Xデータセットの10%未満を使用するだけで、ゼロからの学習と比較して大幅な性能向上を達成する。
推論の効率性: 高価な高密度BEV特徴量のエンコーディングを排除する。通信帯域幅は標準的なSDSMを用いて1.4 kBPS未満に抑えられ、推論時にはわずか550 MBのGPUメモリを消費し、エッジデバイス上で最大29 FPSを実現する。
包括的な評価: 本論文は、DAIR-V2X-Seqベンチマークにおける広範な検証、生成モデルの型の切除実験（アブレーションスタディ）、位置推定ノイズやレイテンシに対する堅牢性テスト、および実世界でのフィールドテストの結果を提供している。

実験結果

DAIR-V2X-Seqベンチマークによる評価において、OmniV2Xは最先端の性能を示した：

計画精度: 平均L2誤差 0.86m を達成（従来の最高精度であるUniMM-V2Xの1.49mと比較）し、平均衝突率を 0.06% に低減した。
通信効率: 通信帯域幅を 1,408 BPS まで削減した。これは特徴量ベースの手法（約 8.09 × 10⁵ BPS を送信）と比較して 574倍以上 の削減である。
リソース効率: 推論に必要なGPUメモリは 550 MB であり、これはUniMM-V2X（6,483 MB）が必要とするメモリの 8.5%未満 である。
データ効率: V2Xデータセットのわずか 1% でファインチューニングした場合でも、事前学習済みモデルは0.89mのL2誤差を達成し、データを100%使用してゼロから学習したモデル（1.56m）を上回った。
堅牢性: 位置推定ノイズ（最大1.0m/0.1rad）やV2Xレイテンシ（500ms）の下でも高い堅牢性を維持し、実世界のフィールドテストにおける遮蔽イベントも正常に処理した。

重要性と主張

著者らは、OmniV2Xが、マルチエージェントの知覚を硬直的な空間アライメントから切り離すことで、エンドツーエンドの協調走行の新しいパラダイムを確立すると主張している。その重要性は以下の点にある：

、豊富なシングルエージェントデータを効果的に活用することで、協調走行の「データの希少性」というボトルネックを克服すること。
通信帯域幅と計算メモリフットプリントを劇的に削減することで、実用的かつリアルタイムな展開を可能にすること。
SAE通信規格に準拠した、標準化されスケーラブルなフレームワークを提供し、異なる車両およびインフラストラクチャモデル間の相互運用性を促進すること。

本論文は、現在の性能は模倣学習のボトルネック（人間のドライバーデータへの依存）によって制限されているものの、提案された生成的基盤プランナーは、シングルエージェント走行と協調走行の間の溝を埋めることに成功しており、安全性が極めて重要なリアルタイムV2Xオートノミーへの実行可能な道筋を示すものであると結論付けている。