DrivingGen: A Comprehensive Benchmark for Generative Video World Models in Autonomous Driving

本文提出了 DrivingGen，这是首个针对自动驾驶生成式世界模型的综合基准，通过构建涵盖多样化场景的数据集和一套包含视觉真实感、轨迹合理性、时序一致性及可控性的新评估指标，解决了现有评估方法的局限性并揭示了当前模型的优劣权衡。

要点

这篇论文介绍了一个名为 DrivingGen 的新项目，你可以把它想象成自动驾驶领域的"米其林指南"或者"驾考模拟器考官"。

在自动驾驶的世界里，科学家们正在开发一种超级 AI，它不仅能“看”路，还能像人类一样“想象”未来：如果我现在踩油门，下一秒周围的车会怎么动？如果突然下雨，路面会变成什么样？这种能预测未来的 AI 被称为"生成式驾驶世界模型"。

但是，问题来了：怎么知道这些 AI 想象得对不对、好不好呢？

以前的测试方法就像是用“尺子”去量“味道”——不够准确。这篇论文就是为了解决这个问题，建立了一套全新的、更严格的考试标准。

以下是用大白话和比喻对这篇论文的解读：

1. 以前的考试哪里“偏科”了？

在 DrivingGen 出现之前，测试这些 AI 主要看两点，但都有大毛病：

• 只看“长得像不像”：以前的测试只关心生成的视频画面清不清晰、美不美（比如像不像电影大片）。但这就像只评价一辆车的油漆亮不亮，却不管它引擎会不会爆炸。在自动驾驶里，如果 AI 生成的画面很美，但车突然“瞬移”或者撞墙了，那就是致命的。
• 题目太简单：以前的测试数据大多是大晴天、白天、在熟悉的美国或中国城市拍的。这就像只让司机在空旷的练习场考驾照，一旦遇到暴雨、大雾、或者半夜在非洲的土路上开车，这些 AI 就彻底懵圈了。

2. DrivingGen 是什么？（全新的“驾考中心”）

DrivingGen 是一个全方位的自动驾驶 AI 考场，它做了两件大事：

A. 搞了一套“地狱难度”的题库（数据集）

以前的题库太“温室”了，DrivingGen 专门收集了各种极端和复杂的场景：

• 天气：不仅有晴天，还有暴雨、大雪、大雾，甚至沙尘暴和洪水。
• 时间：不仅有白天，还有深夜、黄昏和黎明。
• 地点：不仅限于几个大城市，而是覆盖了全球各地（北美、欧洲、亚洲、非洲等），因为不同地方的交通规则和路况完全不同。
• 路况：不仅有畅通无阻，还有行人乱穿马路、车辆强行加塞、交通大堵塞等“极限挑战”。

比喻：以前的考试是“晴天练车”，DrivingGen 直接把你扔进“台风天 + 深夜 + 陌生山路 + 行人乱窜”的混合地狱里，看你的 AI 能不能活下来。

B. 发明了一套“多维度的评分表”（评估指标）

以前只给视频打个“好看分”，现在 DrivingGen 给了四个维度的打分，就像给司机考科目一、科目二、科目三和科目四：

1. 分布真实性（像不像真的？）：
   • 生成的视频和真实世界的视频在统计规律上像不像？（比如车的速度分布、路的弯曲程度是否合理）。
2. 画质与感官质量（看着舒不舒服？）：
   • 不仅要看清晰度，还要看有没有频闪（像老式电视那样闪烁）、有没有模糊。这对自动驾驶摄像头非常重要，因为闪烁会让机器“眼花”。
3. 时间连贯性（会不会“穿帮”？）：
   • 场景连贯：车开过去，路边的树会不会突然消失？
   • 物体连贯：前面的行人会不会走着走着突然“瞬移”或者凭空消失？以前很多 AI 生成的视频里，人走着走着就“蒸发”了，这在现实中是不可能的，DrivingGen 专门抓这种 bug。
4. 轨迹控制力（听不听话？）：
   • 这是最关键的。如果你告诉 AI：“请沿着这条线开”，它生成的视频里的车真的沿着这条线开吗？还是说它自己乱开？这就像教练说“向左打方向盘”，车却向右拐了，这是绝对不行的。

3. 他们发现了什么？（考试结果）

作者用这套新标准测试了 14 种最先进的 AI 模型，发现了一个有趣的"不可能三角"：

• 通用型大模型（比如 Sora 类的）：
  • 优点：画面美得像电影，光影效果绝了。
  • 缺点：物理定律不管用。它们生成的车可能会像幽灵一样穿墙，或者突然加速到超音速，完全不符合物理常识。
• 专用型驾驶模型（专门练过开车的）：
  • 优点：开车很稳，轨迹符合物理规律，不会乱飞。
  • 缺点：画质比较糙。生成的视频看起来有点模糊，或者像低分辨率的监控录像，不够“逼真”。

结论：目前还没有一个模型能既像电影一样美，又像老司机一样稳。这就是未来需要突破的地方。

4. 为什么这很重要？

想象一下，如果我们要用 AI 来训练自动驾驶汽车，而 AI 生成的训练数据是“假”的（比如车会飞、人会消失），那么训练出来的真车在现实中就会出大事故。

DrivingGen 的作用就是：

• 当裁判：公平地告诉科学家，谁的模型更靠谱。
• 当指南针：指出现在的模型哪里不行（是画质不行，还是物理规律不行），让未来的研究有方向。
• 当安全网：确保未来的自动驾驶系统是在真实、安全、多样的数据上训练出来的，而不是在“温室”里长大的。

总结

这篇论文就像是为自动驾驶 AI 建立了一个全真模拟的“魔鬼训练营”和“严格考官”。它不再只看 AI 画得漂不漂亮，而是看它懂不懂物理、能不能应对恶劣天气、听不听话。只有通过了 DrivingGen 的考试，AI 生成的世界模型才能真正用来指导未来的自动驾驶汽车上路。

技术摘要

1. 研究背景与问题 (Problem)

背景：
视频生成模型作为“世界模型”的一种形式，在人工智能领域取得了巨大进展，能够模拟复杂场景的时间演化。在自动驾驶领域，这催生了驾驶世界模型（Driving World Models），即能够根据初始场景和条件（如文本提示、驾驶动作）预测自车（Ego）及周围智能体（Agents）未来轨迹的生成式模拟器。这类模型对于可扩展的仿真、安全测试（Corner Cases）和合成数据生成至关重要。

现有挑战与局限性：
尽管研究活动日益活跃，但该领域缺乏一个严谨的基准来衡量进展和指导优先级。现有评估存在以下主要缺陷：

1. 视觉保真度不足： 通用视频指标（如 FVD）忽略了自动驾驶中至关重要的成像因素（如传感器伪影、眩光、运动模糊等），这些因素直接影响安全性。
2. 轨迹合理性缺失： 很少量化生成视频背后的轨迹是否自然、动力学可行且安全。
3. 时空一致性被忽视： 现有基准多关注场景级一致性，忽略了**智能体级（Agent-level）**的一致性（如智能体突然消失、外观突变），这在驾驶仿真中会严重破坏真实感。
4. 可控性评估缺失： 对于基于自车轨迹条件（Ego-conditioned）的生成，缺乏对生成运动是否忠实遵循输入轨迹的评估。
5. 数据多样性不足： 现有数据集（如 nuScenes）严重偏向晴朗白天的城市场景，缺乏极端天气（雨、雪、雾）、夜间、不同地理区域及复杂交互场景的覆盖。

---

2. 方法论 (Methodology)

DrivingGen 提出了一个全面的基准，包含多样化的评估数据集和多维度的评估指标体系。

2.1 基准数据集 (Benchmark Dataset)

为了克服现有数据的偏差，DrivingGen 构建了一个包含 400 个样本 的评估数据集，分为两个轨道：

• 开放域轨道 (Open-Domain Track)： 200 个样本，源自互联网视频，涵盖全球多个地区、多种天气（雨、雪、雾、沙尘暴、洪水）、不同时间段（黎明、白天、黄昏、夜晚）及复杂交互场景（如行人过街、车辆加塞）。旨在评估模型在未见场景下的泛化能力。
• 自车条件轨道 (Ego-Conditioned Track)： 200 个样本，聚合自五个开源驾驶数据集（Zod, DrivingDojo, COVLA, nuPlan, WOMD），覆盖欧洲、中国、日本、美国等地。每个样本包含前视 RGB 图像、场景描述和可选的自车轨迹指令。旨在评估模型对给定轨迹指令的可控性。

数据分布特点：

• 天气/时间： 刻意平衡了正常天气/白天（<60%）与极端条件（雪 13.1%，雾 12.6%，夜间/黄昏 50%）。
• 地理覆盖： 涵盖北美、东亚、欧洲、中东、拉美、南亚及撒哈拉以南非洲。
• 驾驶行为： 包含密集交通、突发切入、行人等待等复杂交互。

2.2 评估指标体系 (Evaluation Metrics)

DrivingGen 提出了四大维度的指标，涵盖视频和轨迹：

1. 分布 (Distribution)：

   • FVD (Fréchet Video Distance)： 评估生成视频与真实视频在分布上的相似性。
   • FTD (Fréchet Trajectory Distance)： 新提出的指标，利用 Motion Transformer (MTR) 的编码器将轨迹映射到潜在空间，评估生成轨迹分布与真实轨迹分布的距离。

2. 质量 (Quality)：

   • 主观图像质量： 使用 CLIP-IQA+ 评估符合人类感知的质量。
   • 客观图像质量： 引入 MMP (Modulation Mitigation Probability) 指标（基于 IEEE P2020 标准），检测 PWM 引起的频闪，这对自动驾驶感知至关重要。
   • 轨迹质量： 提出复合指标，包含舒适度（加加速度、侧向加速度、横摆角速度）、运动性（避免静止）和曲率（避免锯齿状路径）。

3. 时间一致性 (Temporal Consistency)：

   • 视频一致性： 基于光流自适应下采样，计算 DINOv3 特征相似度，避免静态视频获得虚高分数。
   • 智能体一致性： 使用 YOLOv10 检测并 SAM2 跟踪智能体，计算其外观特征的时序一致性。
   • 智能体异常消失检测： 利用视觉语言模型 (VLM, Cosmos-Reason1) 判断智能体消失是自然的（遮挡/移出视野）还是非物理的（突然消失）。
   • 轨迹一致性： 评估速度和加速度随时间的稳定性。

4. 轨迹对齐 (Trajectory Alignment)：

   • ADE (Average Displacement Error)： 衡量生成轨迹与输入指令轨迹的点对点距离。
   • DTW (Dynamic Time Warping)： 衡量轨迹的整体轮廓和形状差异，允许非线性时间对齐。

---

3. 主要贡献 (Key Contributions)

1. 首个综合基准： 提出了 DrivingGen，这是自动驾驶领域首个针对生成式世界模型的综合基准，填补了缺乏严谨评估框架的空白。
2. 多样化数据集： 构建了包含极端天气、夜间、全球地理区域及复杂交互的 400 样本数据集，显著优于现有偏向晴朗白天的数据集。
3. 驾驶专用指标： 引入了一系列新指标，特别是针对驾驶场景的轨迹分布 (FTD)、物理合理性、智能体级一致性以及异常消失检测，解决了通用指标无法捕捉驾驶安全关键因素的问题。
4. 大规模基准测试与洞察： 对 14 个最先进的模型（包括通用视频模型、物理世界模型、专用驾驶模型）进行了评估，揭示了当前技术的权衡与局限。

---

4. 实验结果与洞察 (Results & Insights)

论文对 14 个模型进行了评估，包括 7 个通用视频模型（如 Kling, Gen-3, Wan, CogVideoX）、2 个物理世界模型（Cosmos-Predict）和 5 个专用驾驶模型（Vista, DrivingDojo 等）。

关键发现：

• 明显的权衡 (Trade-offs)：
  • 闭源通用模型（如 Kling, Gen-3）在视觉质量和整体排名上领先，生成的画面逼真，智能体行为稳定，极少出现异常消失。
  • 专用驾驶模型在轨迹准确性（低 ADE/DTW）和物理合理性方面表现较好，能更好地遵循指令，但在视觉保真度上存在明显缺陷（如伪影、纹理重复）。
  • 结论： 目前没有任何单一模型能同时实现高视觉保真度和精确的物理一致性轨迹。
• 轨迹对齐差距巨大： 即使在有自车轨迹条件的情况下，模型生成的视频在 SLAM 重建后的轨迹与输入指令仍存在显著误差（ADE/DTW 较高）。这归因于生成视频中的伪影影响 SLAM 重建，以及模型本身运动生成能力的不足。
• 单一指标的局限性： 仅依赖 FVD 等分布指标会掩盖模型的失败模式（如视频分布接近但存在抖动、身份漂移或非物理消失）。DrivingGen 的多维指标成功揭示了这些隐藏问题。

---

5. 意义与未来展望 (Significance & Future Work)

意义：
DrivingGen 为自动驾驶世界模型的开发提供了一个统一、可复现的评估框架。它强调了视觉真实感、物理一致性和可控性之间的复杂关系，指明了未来研究的方向：即如何打破“视觉好但物理假”或“物理准但画面差”的僵局，推动可靠、可部署的驾驶世界模型发展，从而支持更安全的仿真、规划和决策。

局限与未来工作：

• 数据规模： 目前 400 个样本可能无法覆盖所有长尾场景，未来计划扩展至数千个片段。
• 闭环仿真： 当前基准主要评估开环预测质量。未来将探索将生成模型集成到交互式模拟器（如 CARLA）中进行闭环评估。
• 多模态与下游任务： 计划扩展至多视角视频和传感器数据（LiDAR, HD Map），并引入下游任务指标（如使用合成视频进行自动驾驶堆栈测试）。
• 反事实推理： 未来可评估模型对假设性事件（如“宇航员骑马过马路”）的生成能力，以测试其逻辑推理和边界情况处理。

---

总结：
DrivingGen 通过引入多样化的数据集和针对驾驶场景定制的细粒度指标，揭示了当前生成式世界模型在自动驾驶应用中的核心瓶颈。它不仅是一个评估工具，更是推动自动驾驶仿真技术向更安全、更可靠方向发展的催化剂。