🤖 AI

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

本論文は、共通の潜在トークンシーケンスと共同圧縮戦略を通じて、異種混合の運転制御とマルチビュー幾何学を統合する、LLMによって振付されたマルチエージェント・ワールドモデルであるDRIVE-CHOREOを導入し、最先端の整合性を達成するとともに、自動運転タスクに対する顕著なダウンストリームの有用性を実証するものである。

原著者： Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに道路のビデオを見せることで、車の運転を教えようとしていると考えてください。ロボットは一度に3つのことを理解する必要があります：ドライバーが何を言っているか（言語）、車や道路がどこにあるか（幾何学）、そしてカメラが実際に何を見ているか（ピクセル）です。

長い間、AI研究者たちはこれら3つをいかにスムーズに連携させるかに苦心してきました。それはまるで、バイオリニストは楽譜を読み、ドラマーはポッドキャストを聴き、歌手は即興で歌っている中で、指揮者がいないオーケストラを指揮しようとするようなものです。その結果、多くの場合、ひどい演奏になってしまいます。車が突然テレポートしたり、カメラ間で空の色が変わったり、あるいはロボットが信号機を無視したりといったことが起こるのです。

この論文では、この混乱を解決するために、**「マスター・フィルム・ディレクター（名監督）」**として機能する新しいシステム、OMNIDRIVEを紹介しています。その仕組みを、シンプルな概念に分解して説明します。

1. 問題点：「バラバラ」なクルー

現在の自動運転ビデオ用AIモデルは、「何であるか」（言語）と「どこにあるか」（マップ）を、「どのように見えるか」（ビデオ）から別々に扱っています。

問題点： ビデオがほぼ完成した後に、これらの別々のパーツを無理やり貼り合わせようとします。これは、映画がすでに始まってから、映画のスクリーンに地図を貼り付けようとするようなものです。その結果、「ドリフト（漂流）」が発生します。例えば、左側のカメラには木が見えているのに、右側のカメラには建物が見えていたり、車が不自然に跳ねたりといった現象です。

2. 解決策：「3エージェント制」のディレクター

OMNIDRIVEは、このバラバラな「接着剤」の代わりに、ビデオ生成の「前」および「最中」に協力して働く、3つの特化したAIエージェント（大規模言語モデルによって駆動）によるチームを採用しています。これを映画制作のクルーと考えてください。

アーキテクト（脚本家）： 「夜の雨の街を走行する」といった単純なプロンプトを与えると、アーキテクトはそれをWORLDSCRIPTと呼ばれる厳格で構造化された台本へと翻訳します。これには、天候、自車（エゴカー）が進む方向、そして他の車両の位置が正確にリストアップされます。
カートグラファー（美術設定）： このエージェントは、台本に基づいて「設計図」または疎なマップを描きます。ビデオ全体を描くのではなく、道路の線、車線、そして他の車を囲むボックスを描くだけです。テキストを、カメラの角度に一致した視覚的なマップへと変換します。
オーディター（品質管理検査官）： ビデオが生成されている間、このエージェントは異なるカメラの映像を監視します。もしフロントカメラには赤い車が見えているのに、サイドカメラには青い車が見えている場合、オーディターは「おい、一致していないぞ！」と叫び、システムに即座に修正を指示します。

3. 秘訣：「潜在的共同圧縮（Latent Co-Compression）」

これは、この論文における最もテクニカルでありながら、極めて重要な革新です。通常、AIは車の6つのカメラを、それぞれ別々の窓から一つずつ覗き込むように個別に見ています。

OMNIDRIVEは異なるアプローチを取ります。6つのカメラからのビデオと、カートグラファーによる「設計図」を取り込み、AIがビデオ生成を開始する前に、それらすべてを一つの長いデータ・ストリップへと縫い合わせます。

例え話： 6つの異なるパズルピースを持っていると想像してください。それらを塗った後に組み合わせようとするのではなく、まず最初に、それらすべてを一つの大きなボードにテープで貼り付けてしまうのです。その後、ボード全体を一度に塗ります。それらがボード上で物理的に繋がっているため、塗料（ビデオ）は隙間やエラーなく、自然に一つのカメラから次のカメラへと流れていきます。
結果： AIは、6つの個別の2D画像としてではなく、単一の統合された3Dオブジェクトとして世界を「認識」します。これにより、もし車が左側にいるならば、それは右側にも、あるべき場所に正確に存在することになります。

4. 結果：完璧に整合した映画

言語、マップ、そしてビデオが最初の手順からすべて「振り付け（コレオグラフィ）」されているため：

ゴースト現象の解消： 車がカメラ間で消えたり、テレポートしたりすることがなくなります。
完璧な一貫性： 照明や影が6つのカメラ間で完璧に一致します。
実世界での活用： この論文は、もし自動運転車の脳をOMNIDRIVEが生成したビデオのみで訓練すれば、その車は実世界の映像だけで訓練された車よりも、実際に現実世界でより良く走行できることを示しています。

まとめ

OMNIDRIVEは、自動運転ビデオ生成のための**「スーパー・コンダクター（超伝導体／総指揮者）」**のようなものです。言語、マップ、カメラが互いに言い争うのを放置するのではなく、それらを同じテーブルに着かせ、同じ言語を話し、完璧に同期して動くように強制します。その結果、非常にリアルで一貫性のある、実際の車に安全な運転を教えることができるほどのシミュレーションが実現するのです。

技術要約: OMNIDRIVE

1. 問題提起

自動運転の世界モデル（World Models）は、高忠実度で制御可能なマルチビュービデオの生成を阻害する、2つの持続的かつ未解決の緊張関係に直面しています。

不均質な制御注入 (Heterogeneous Control Injection): 既存のシステムは、根本的に異なる制御モダリティを統一することに苦慮しています。幾何学的キュー（HDマップ、3Dボックス、カメラポーズ）はピクセルグリッドに空間的に固定されていますが、意味的キュー（自由形式のテキスト、天候、スタイル）はグローバルに拡散しています。従来のアプローチでは、通常、別々のブランチ（例：幾何学のためのControlNet、テキストのためのクロスアテンション）を移植しますが、これらは拡散プロセスが事後的に両者を調和させようとするまで、互いに断絶したままとなります。
事後的マルチビュー融合 (Post-Hoc Cross-View Fusion): ほとんどの手法は、個々のカメラビューを別々の3D VAEを用いて独立して圧縮し、その後クロスビューアテンションを通じてのみ融合します。これは、カメラローカルな潜在変数（Latents）を生み出し、それらがグローバルな3D幾何学的認識を欠く原因となります。その結果、個々のビューの品質指標（FID）が競争力のあるレベルであっても、クロスビューのドリフト、フォトメトリックなちらつき、オブジェクトのテレポートといった問題が永続的に発生します。

著者らは、これら両方の失敗の根本原因は、言語、幾何学、およびピクセルを潜在トークンレベルで整合させる「共有された記号的インターリンガ（共通言語）」の欠如にあると主張しています。

2. 手法

OMNIDRIVEは、制御可能なマルチビュービデオ生成を、マルチエージェントシステムによってオーケストレートされ、新しい圧縮戦略を通じて統一された「潜在的なコレオグラフィー（振付）」の問題として再定義します。

A. LLMによるコレオグラフィー・マルチエージェント・システム

単一のプロンプト・トゥ・エンコーダー・パイプラインではなく、OMNIDRIVEは、単一の位置認識型トークンシーケンスを共同で作成する3つの特化したQwen2.5-VLエージェントを採用しています。

ARCHITECT (設計者): 自由形式のユーザープロンプトを、構造化されたWORLDSCRIPT (JSON) に解析します。このスクリプトは、グローバルな状態（天候、時刻）、エゴの軌跡、エージェントリスト（クラス、位置、挙動）、および道路トポロジーをエンコードします。出力は意味的トークン ( $C_{sem}$ ) として埋め込まれます。
CARTOGRAPHER (地図製作者): WORLDSCRIPTを空間的に固定された幾何学へと接地（グラウンディング）させます。各カメラおよび各タイムステップに対して、疎なレイアウト画像（ラスタライズされたHDマップ、投影された3Dボックス、エゴリボン）をプログラム的にレンダリングします。これらのレイアウトは、視覚的トークンと全く同じ位置インデックスを共有する幾何学的トークン ( $C_{geo}$ ) としてエンコードされます。
AUDITOR (監査役): 学習中、このエージェントはデコードされたマルチビューのクロップとWORLDSCRIPTを消費し、カメラペア間の構造化された批判（一貫性スコアおよび失敗モードのタグ）を生成します。これらはレビュー・トークン ( $C_{rev}$ ) として埋め込まれ、補助的な教師信号を提供します。

B. 潜在的共同圧縮 (Latent Co-Compression)

クロスビューの一貫性の問題を解決するために、OMNIDRIVEは独立したカメラごとのエンコーディングに代わり、統一されたプロセスである潜在的共同圧縮を導入します。

ビュー・タイム置換 ( $\Pi$ ): 6台のカメラ $\times$ 時間のビデオキューブを、時間次元が $\tilde{t} = (n-1)T + t$ と定義される擬似的な時系列ストリームへとフラット化します。この置換は、RGBビデオとCARTOGRAPHERの幾何学的レイアウト画像の双方に同一に適用されます。
統合3D VAE: 単一の3D VAE（汎用ビデオで事前学習済み）が、置換されたテンソルをエンコードします。この置換は計量保存的かつ直交的であるため、エンコーダーのリプシッツ定数を維持します。
ビュー・ブロック認識パディング (VBP): 畳み込みの受容野が異なるカメラビューをまたいでしまうこと（これにより無関係な空間コンテキストが混ざることを防ぐため）を防ぐために、学習可能なマスキング演算子が適用されます。これにより、時間カーネルが異なるビュー間からではなく、同じ瞬間の情報のみを集約することを保証し、カメラ間の分散を低減しますえます。
共有ノイズエンドポイント: 同一の物理的瞬間に捕捉されたビューについては、フローマッチング定式化におけるノイズエンドポイント ( $z_1$ ) を共有し、フォトメトリックな分散をさらに低減します。

C. コレオグラフされた生成 (MM-DiT)

共同圧縮された潜在変数はパッチ化され、エージェントによって作成されたトークン ( $C_{sem}, C_{geo}, C_{tmp}, C_{rev}$ ) と結合されて、統一されたシーケンス $S$ を形成します。

位置スキーマ: 幾何学的トークン ( $C_{geo}$ ) は、視覚的トークン ( $X$ ) と同じ3D位置インデックス $(\tilde{t}, i, j)$ を共有し、ピクセルレベルの幾何学的接地を強制します。意味的トークンはオフセットされ、時間的トークンは正弦波状です。
バイアス付きアテンション: マルチモーダル・アテンション・メカニズムに制御可能なバイアスが適用され、特にスカラーゲイン $\gamma_{geo}$ を通じて、視覚的トークンと幾何学的トークン ( $X$ と $C_{geo}$ ) の間のアテンションを強化します。これにより、マルチブランチのクロスアテンションを、明示的な位置整合を持つ単一のセルフアテンション・メカニズムへと収束させます。

D. 学習と推論

損失関数: モデルは、Conditional Flow Matching ( $L_{CFM}$ ) に加え、非物理的な潜在変数のジャンプを罰する等変性認識スムーズネス項 ( $L_{sm}$ )、およびビュー間の速度の不一致をクリティックの一貫性スコアと整合させるAUDITOR損失 ( $L_{rev}$ ) を用いて学習されます。
推論: 生成は、整流フローODEソルバー（Heunステップ）を介して行われます。AUDITORは、テスト時にオプションで呼び出すことができ、中間サンプルをスコアリングし、一貫性スコアが閾値を下回った場合に単一の洗練ステップをトリガーします。

3. 主な貢献

OMNIDRIVEアーキテクチャ: 言語理解、幾何学的レイアウト、およびピクセル生成を、単一の位置認識型トークングリッドへと統一する、初のマルチエージェント・ドライビング・ワールドモデル。
潜在的共同圧縮: ビュー・タイム置換戦略により、カメラ間の3D制約を共有3D VAE内のローカルな畳み込み依存関係へと変換し、事後の融合を不要にする新しい手法。
LLMによるコレオグラフィー・コンディショニング: 3つの特化したエージェント（ARCHITECT, CARTOGRAPHER, AUDITOR）が、トークンレベルで視覚グリッドに結合されたコンディショニングシーケンスを作成するフレームワーク。これにより、きめ細かく分離された制御が可能になる。
最先端のパフォーマンス: マルチビューの一貫性と制御可能性においてnuScenesデータセット上の新ベンチマークを確立。

4. 実験結果

nuScenes検証セット（6カメラ、32フレーム、880×1280解像度）で評価：

品質と一貫性: OMNIDRIVEはFVD 45.7 およびマルチビュー一貫性スコア (PC) 65.6% を達成し、MagicDrive-V2 (FVD 64.8, PC 62.8%) や UniMLVG などのベースラインを大幅に上回りました。エピポーラ・フォトメトリック誤差 (EPC) をランナーアップと比較して約28%削減しています。
制御可能性: 生成されたデータにおいて、BEV mAP 21.55 および mIoU 18.87 を達成し、他のすべての手法を凌駕しました。
ダウンストリームの有用性: OMNIDRIVEが生成した2万個の合成クリップのみで学習された検出器（BEVFormer-S）は、実際のnuScenes検証データに対して 36.8 mAP および 44.0 NDS を達成しました。これは、実データのみで学習されたベースラインに対して +2.4 NDS の向上を示しており、合成コーパスの高い有用性を証明しています。
効率性: OMNIDRIVEは品質とレイテンシのパレート最適線上で動作し、クリップを 9.6秒 で生成します（UniMLVGより2.4倍高速）。また、メモリ使用量も抑えられています。

5. 意義と主張

本論文は、OMNIDRIVEがドライビング・ワールドモデルにおける忠実度と制御可能性の長年のトレードオフを解決することを主張しています。記号的言語、レンダリングされた幾何学、およびピクセル潜在変数が完全に整合した座標フレームを共有する「共有された記号的インターリンガ」を確立することで、システムは以下を可能にします。

真の制御可能性: ユーザーはWORLDSCRIPTの単一のフィールド（例：天候、軌跡）を入れ替えることで、他の属性に影響を与えることなくターゲットとなる属性のみを変更でき、きめ細かく分離された制御を実現します。
幾何学的接地: 共同圧縮アプローチにより、幾何学的制約が潜在レベルで尊重されることが保証され、独立したエンコーディング・スキームに共通する「クロスビューのドリフト」や「オブジェクトのテレポート」を防ぎます。
実用的な有用性: 生成されたデータは単に視覚的に妥当であるだけでなく、機能的に価値があり、実世界のデータで学習されたダウンストリームの知覚モデルの性能を直接向上させます。

著者らは、OMNIDRIVEを、断絶された制御ストリームを超えて、統一されたエージェント調整型の生成プロセスへと移行する、「真の制御可能性」に向けた基礎的なステップとして位置付けています。