DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

本論文は、自動運転における生成ワールドモデルの進捗を測定し、視覚的リアリズム、軌道の妥当性、時間的整合性、制御性を包括的に評価する初のベンチマーク「DrivingGen」を提案し、既存モデルの課題とトレードオフを明らかにしたものである。

要約

この論文は、**「自動運転のための『未来を予知する映画生成 AI』を、どうやって正しく評価するか」**という新しい基準（ベンチマーク）「DrivingGen」を紹介するものです。

まるで、自動運転のテストドライバーが、実際に道路に出る前に「もしもこんな状況になったらどうなるか？」をシミュレーションする必要があるように、AI も未来の映像を生成して練習する必要があります。しかし、これまでその練習用シミュレーションが「本当に上手いのか」を測るものが不十分でした。

この論文を、日常の言葉と少し面白い比喩を使って解説します。

---

🎬 1. 背景：自動運転の「未来予知」シミュレーター

自動運転の車は、ただカメラで前を見るだけでなく、「1 秒後、5 秒後に何が起きるか」を予測して運転します。これを**「世界モデル（World Model）」と呼びます。
最近の AI は、テキストや画像から「未来の動画」を生成する能力が非常に高くなりました。これを自動運転に応用すれば、「雪が降る夜に、突然子供が飛び出してきたらどうなるか？」**といった、実際に事故を起こす前に安全にシミュレーションできます。

でも、問題は**「そのシミュレーションが本物そっくりか、それともただのファンタジーか」**を見分けるのが難しかったことです。

📏 2. 今までの問題点：「見た目が綺麗」だけではダメ

これまでの評価基準には、大きな欠陥がありました。

• 映画の批評家すぎる： 今の評価は「映像が綺麗か（FVD など）」だけを測っていました。でも、自動運転にとって重要なのは「映像の美しさ」ではなく**「物理法則が守られているか」**です。
  • 例え話： 映画が 4K で超綺麗でも、車が壁をすり抜けたり、信号機が突然消えたりしていたら、それは自動運転の練習には使えません。
• 天気や場所が偏っている： 既存のデータは「晴れた昼間の都会」ばかり。でも、現実の運転は「雨の夜」や「雪道」も含まれます。
• 動きの整合性がない： 生成された動画の中で、他の車が突然消えたり、急に姿を変えたりする「バグ」があっても見逃されていました。

🚗 3. DrivingGen（ドライビング・ジェン）の登場

この論文では、**「自動運転用シミュレーションの『国家試験』」**のような新しい基準「DrivingGen」を提案しました。

🌍 ① 多様な「練習用コース」

従来の試験は「晴れた昼間のコース」だけでしたが、DrivingGen は以下のような多様なシチュエーションを含みます。

• 天気： 大雨、雪、霧、砂嵐。
• 時間： 夜明け、真夜中、夕暮れ。
• 場所： 北米、アジア、ヨーロッパなど、世界の様々な地域。
• 状況： 歩行者が待っている交差点、急な割り込み、渋滞など。
  これにより、AI が「どんな状況でも動けるか」を本気で試します。

📊 ② 4 つの「採点項目」

ただ「綺麗か」だけでなく、4 つの視点で厳しく採点します。

1. 分布（Distribution）： 「本物の道路風景に似ているか？」
   • 本物のデータと、AI が作ったデータの統計的な違いを測ります。
2. 画質（Quality）： 「自動運転のカメラにとって見やすいか？」
   • 単に綺麗かどうかではなく、**「点滅する電灯のチラつき」や「動きのブレ」**など、自動運転のセンサーが誤作動しそうな要素をチェックします。
3. 時間的整合性（Temporal Consistency）： 「時間が経っても変じゃないか？」
   • 登場人物の消失チェック： 動画の中で、他の車や歩行者が「突然消えたり、突然現れたり」していないか？（自動運転にとって、車が突然消えるのは致命的なミスです）。
   • 動きの滑らかさ： 車がジグザグに動いたり、止まったりしないか？
4. 制御の忠実度（Trajectory Alignment）： 「指示通り動いたか？」
   • 「右に曲がって」と指示したら、本当に右に曲がっているか？AI が勝手に曲がってしまっていないか？

🏆 4. 実験結果：「絵が上手い AI」と「運転が上手い AI」の葛藤

14 種類の最新の AI モデルをテストしたところ、面白い結果が出ました。

• 一般の動画生成 AI（映画会社のような存在）：
  • 強み： 映像が非常に美しく、映画のようなクオリティ。
  • 弱み： 物理法則を無視している。車が壁をすり抜けたり、動きがおかしい。
• 自動運転特化 AI（プロの運転手のような存在）：
  • 強み： 車の動きや軌道が非常にリアルで、物理法則を守っている。
  • 弱み： 映像の画質が少し荒かったり、不自然な部分があったりする。

結論： 「映像が綺麗」な AI と「運転が安全」な AI は、まだ両立していません。このベンチマークは、**「両方の能力を兼ね備えた、本当に使える自動運転 AI」**を作るための道しるべになります。

🌟 まとめ

この論文は、**「自動運転の未来をシミュレートする AI を、単なる『動画生成ツール』としてではなく、『安全な運転手』として評価するための新しいルールブック」**を作ったという点で画期的です。

これにより、開発者は「映像が綺麗だから OK」ではなく、「物理法則を守り、どんな天気でも安全に動けるか」を追求できるようになります。これが実現すれば、より安全で信頼性の高い自動運転車が、現実世界に登場する日が近づくでしょう。

技術概要

DrivingGen: 自律運転における生成型ワールドモデルのための包括的ベンチマーク

技術サマリー（日本語）

本論文は、ICLR 2026 にて発表された「DrivingGen」という、自律運転分野における生成型ワールドモデル（Video World Models）を評価するための初の包括的ベンチマークを提案するものです。

1. 背景と課題

生成型ビデオモデルは「ワールドモデル」としての役割を果たし、複雑なシーンの時間的進化をモデル化することでエージェントが未来を想像することを可能にします。自律運転においては、この技術を用いて「ドライビング・ワールド・モデル」を開発し、拡張されたシミュレーション、安全なコーナーケースのテスト、合成データ生成などを実現しようとする動きが加速しています。

しかし、既存の評価手法には以下の重大な限界がありました：

• 評価指標の不足: 既存のベンチマークは一般的なビデオ生成の指標（FVD など）に依存しており、安全性に直結する画像の歪みやゴースト、センサーアーティファクトなどの「運転特有の要因」を捉えきれていない。
• 軌道の妥当性評価の欠如: 生成された動画の背後にある車両の軌道（Ego-motion）が物理的に可能か、自然かという点が定量化されていない。
• 一貫性の欠如: 時間的な一貫性や、周囲のエージェント（歩行者や他車）の出現・消滅の論理性が評価されていない。
• 制御性の無視: 与えられた自己車（Ego）の軌道条件（Conditioning）に対して、生成された動画がどの程度忠実に従っているか（制御性）が評価されていない。
• データ多様性の欠如: 既存のデータセット（nuScenes など）は晴天・昼間の都市部データに偏っており、悪天候、夜間、多様な地理的・文化的な交通状況が不足している。

2. 提案手法：DrivingGen

DrivingGen は、上記のギャップを埋めるために設計された、多様なデータ分布と新規評価指標を備えた包括的なベンチマークです。

2.1 データセットの構築

DrivingGen は、400 サンプル（2 つのトラック各 200 サンプル）からなる評価用データセットを構築しました。

• Open-Domain Track: 多様な未見の運転シナリオに対する一般化能力を評価。インターネット上の動画ソースから収集し、天候（雨、雪、霧、洪水、砂嵐）、時間帯（夜、夕暮れ）、地理的領域（北米、欧州、アジア、アフリカなど）をバランスよくカバーしています。
• Ego-Conditioned Track: 指定された自己車の軌道指令に対する制御性を評価。Zod, DrivingDojo, COVLA, nuPlan, WOMD などの既存オープンソースデータセットから収集し、自己車の軌道指令と動画生成の整合性を測ります。

2.2 新規評価指標（4 つの次元）

DrivingGen は、動画と軌道の両面から以下の 4 つの次元でモデルを評価します。

1. 分布（Distribution）:
   • FVD (Fréchet Video Distance): 生成動画と実動画の分布距離。
   • FTD (Fréchet Trajectory Distance): 新規指標。軌道の分布距離を評価するために、Motion Transformer (MTR) のエンコーダを用いて軌道を潜在空間にマッピングし、距離を計算します。
2. 品質（Quality）:
   • 主観的品質: CLIP-IQA+ 等を用いた人間の知覚に合わせた評価。
   • 客観的品質（運転特有）: IEEE P2020 標準に基づく「変調抑制確率（MMP）」を用い、PWM によるフリッカや照明のちらつきを評価。
   • 軌道品質: 乗り心地（ジャーク、横加速度、ヨーレート）、運動性（静止しすぎないか）、曲率（不自然な急カーブがないか）を総合評価。
3. 時間的一貫性（Temporal Consistency）:
   • 動画一貫性: 光フローに基づいて適応的にダウンサンプリングを行い、静止画のような動画による高得点化を防ぎつつ、シーンレベルの一貫性を評価。
   • エージェント一貫性: YOLOv10 と SAM2 を用いて個々のエージェントを追跡し、外観（色、テクスチャ）の急激な変化を評価。
   • 異常消失の検出: エージェントが物理的にありえない理由（突然消えるなど）で消えるかを、VLM（Vision Language Model）を用いて判定。
   • 軌道一貫性: 速度と加速度の時間的な安定性を評価。
4. 軌道整合性（Trajectory Alignment）:
   • ADE (Average Displacement Error): 入力軌道と生成軌道の点ごとの誤差。
   • DTW (Dynamic Time Warping): 軌道全体の形状と輪郭の整合性を評価。

3. 実験結果と知見

14 種類の最先端モデル（一般ビデオモデル、物理ベースモデル、運転特化モデル）をベンチマークした結果、以下のようなトレードオフと課題が明らかになりました。

• 視覚的品質と物理的整合性のトレードオフ:
  • 一般の生成モデル（Kling, Gen-3 など）は視覚的に非常に美しく、分布も実データに近いですが、車両の運動が物理法則に反したり、軌道が不自然だったりする傾向があります。
  • 運転特化モデル（Vista, DrivingDojo など）は軌道の制御性や物理的妥当性は高いですが、画像の画質やアーティファクトの面で一般モデルに劣ります。
  • 結論: 現時点では、高画質かつ物理的に整合性のある軌道を持つモデルは存在せず、これが今後の研究の重要なフロンティアです。
• 軌道制御の限界:
  • 自己車の軌道指令を与えても、多くのモデルが指令通りに移動できず、ADE や DTW の誤差が大きいです。これは生成動画のアーティファクトによる SLAM 復元の失敗や、モデル自体の運動生成能力の不足が原因です。
• 単一指標の限界:
  • FVD などの分布指標だけでは、停止・発進のジッターや、エージェントの突然の消失といった「安全上の致命的な欠陥」を見逃すことが示されました。DrivingGen の多角的な評価により、これらの隠れた失敗モードが浮き彫りになりました。

4. 意義と将来展望

DrivingGen は、自律運転における生成型ワールドモデルの開発において、以下の点で重要な意義を持ちます。

• 統一評価フレームワークの確立: 視覚的リアリズム、物理的妥当性、時間的一貫性、制御性を統合的に評価する初の標準的な枠組みを提供します。
• 研究の方向性の指針: 現在のモデルが「見た目は良いが物理的に破綻している」あるいは「物理は正しいが画質が劣る」という課題を明確に示し、今後の研究が解決すべき優先順位を提示します。
• 実用化への貢献: 信頼性が高く、制御可能で、実世界に展開可能なドライビング・ワールドモデルの開発を促進し、大規模なシミュレーションや安全な意思決定を支援します。

将来の課題:

• データセットの規模拡大（現在の 400 サンプルから長尾のシナリオをさらに網羅）。
• 閉ループ（Closed-loop）シミュレーションの評価への拡張。
• 多視点カメラや LiDAR、HD マップなどのマルチモーダルデータへの対応。
• 反事実的推論（Counterfactual Reasoning）の評価（例：「馬に乗った宇宙人が道路を渡る」などの非現実的エッジケースへの対応）。

DrivingGen は、そのデータセットと評価コードを公開しており、再現性のある研究と、より現実的な運転シミュレーションの発展を促進する基盤となっています。