MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer

这是一份关于论文 MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer 的详细技术总结。

1. 研究背景与问题 (Problem)

自动驾驶中的城市场景视频生成对于长尾场景合成、性能提升和可靠性评估至关重要。然而，现有的视频生成方法存在以下主要局限：

• 单模态限制：大多数现有方法（如 SVD, CogVideoX 及各类驾驶场景生成模型）仅专注于 RGB 视频 的生成。
• 多模态缺失：自动驾驶感知任务高度依赖多模态数据（如深度图 Depth、语义图 Semantic、3D 占据网格等）来构建对城市场景的整体理解。
• 现有解决方案的缺陷：虽然可以使用多个模型分别生成不同模态，但这增加了模型部署的复杂性，且无法利用多模态数据之间的互补线索（Complementary Cues）来提升生成质量。
• 多视图一致性挑战：直接应用通用视频生成模型难以满足自动驾驶所需的多视图时空一致性（Multi-view spatiotemporal consistency）和高可控性。

2. 核心方法 (Methodology)

作者提出了 MoVieDrive，一种基于统一扩散 Transformer 模型的多模态多视图视频生成框架。

2.1 整体架构

MoVieDrive 采用扩散模型范式，通过统一的模型同时生成 RGB、深度图和语义图等多模态多视图视频。其核心流程包括：

1. 条件输入编码 (Conditioning Inputs Encoding)：
   • 文本条件 (Text Conditions)：包括相机提示（Camera prompts，含内外参）和文本描述（Text prompts），通过交叉注意力机制注入模型，引导整体场景生成。
   • 布局条件 (Layout Conditions)：包含 2D 边界框图（Box maps）、道路地图（Road maps）和基于占据的布局图（Occupancy-based maps）。作者设计了一个统一布局编码器 (Unified Layout Encoder)，利用因果卷积残差块将这些细粒度结构信息融合，而非使用多个独立编码器。
   • 上下文参考条件 (Context Reference Conditions)：可选的初始帧条件，用于未来场景预测（类似世界模型），通过共享的 3D VAE 编码器处理。
2. 多模态多视图扩散 Transformer (Multi-Modal Multi-View Diffusion Transformer)：
   模型被分解为模态共享 (Modal-Shared) 和 模态特定 (Modal-Specific) 两部分，以平衡通用特征学习与模态特异性：
   • 模态共享组件：
     • 时序层 (Temporal Layers)：学习帧间的时间一致性，并注入文本条件。
     • 多视图时空块 (Multi-view Spatiotemporal Blocks)：包含 3D 空间注意力、3D 空间嵌入（Hash Grid）和时空注意力层。用于学习 3D 空间结构，确保多视图之间的时空一致性。
   • 模态特定组件：
     • 跨模态交互层 (Cross-Modal Interaction Layers)：每个模态的 Latent 作为 Query，其他模态的 Latent 作为 Key 和 Value 进行交叉注意力计算。这使得模型在生成特定模态内容时，能利用其他模态的互补信息，保持跨模态对齐。
     • 投影头 (Projection Heads)：将 Latent 映射回各模态的噪声预测空间。
3. 训练与推理：
   • 使用 DDPM 噪声调度器进行训练，目标是最小化预测噪声与真实噪声的 MSE。
   • 推理时采用 DDIM 采样器和 Classifier-Free Guidance 来平衡多样性与条件一致性。

2.2 数据准备

在 nuScenes 数据集上，由于缺乏真实的多模态 Ground Truth，作者利用预训练模型（Depth-Anything-V2 生成深度图，Mask2Former 生成语义图）构建多模态训练数据。

3. 主要贡献 (Key Contributions)

1. 首个统一的多模态多视图生成框架：提出了一种新颖的框架，利用扩散 Transformer 在单一模型中生成 RGB、深度和语义等多模态多视图驾驶场景视频，填补了现有方法的空白。
2. 创新的模型架构设计：
   • 设计了模态共享与模态特定相结合的 Transformer 结构，既利用了多模态数据的互补性，又保留了各模态的独特性。
   • 提出了统一布局编码器，有效融合了多种细粒度布局条件（框、路、占据）。
3. 卓越的性能表现：在真实世界自动驾驶数据集（nuScenes 和 Waymo）上的实验表明，该方法在视频保真度、可控性以及多模态生成质量上均超越了现有的最先进方法（SOTA）。

4. 实验结果 (Results)

实验在 nuScenes 和 Waymo 数据集上进行，对比了 DriveDreamer, MagicDrive, UniScene 等 SOTA 方法。

• 视频保真度 (Fidelity)：
  • 在 nuScenes 上，MoVieDrive 的 FVD (Fréchet Video Distance) 达到 46.8，显著优于 MagicDrive-V2 (112.7) 和 DriveDreamer-2 (55.7)。
  • 相比基线 CogVideoX + SyntheOcc，性能提升了约 22%。
• 可控性 (Controllability)：
  • 3D 目标检测 (mAP)：达到 22.7，优于所有对比方法。
  • BEV 分割 (mIoU)：达到 35.8，表现最佳。
  • 这表明生成的视频与输入的控制条件（如文本、布局）高度一致。
• 多模态生成质量：
  • 深度图质量：AbsRel 达到 0.110（越低越好）。
  • 语义图质量：mIoU 达到 37.5。
  • 消融实验证明，使用统一框架同时生成多模态数据，比“先生成 RGB 再用其他模型生成深度/语义”的级联 pipeline 效果更好。
• 其他能力：
  • 长视频生成：无需参考帧即可生成 15 秒以上的长视频，保持场景布局一致性。
  • 风格编辑：通过修改文本提示，可生成不同时间（白天/夜晚）和天气（雪/雨/沙尘）条件下的驾驶场景。
  • 跨数据集泛化：在 Waymo 数据集上同样取得了 SOTA 的 FVD 结果 (61.6)。

5. 意义与价值 (Significance)

• 推动自动驾驶数据合成：MoVieDrive 提供了一种高效、统一的方式来合成高质量的多模态自动驾驶数据，解决了多模态数据稀缺和难以获取的痛点。
• 提升感知模型训练：生成的深度图和语义图可以直接用于训练自动驾驶感知模型，且由于是在统一框架下生成，模态间具有天然的几何和语义一致性。
• 简化部署流程：相比使用多个独立模型，单一的统一模型降低了部署难度和计算成本，同时通过模态间的相互增强提升了整体生成质量。
• 通用性：该框架不仅限于自动驾驶，其“模态共享 + 模态特定”的设计思路为其他多模态视频生成任务提供了新的范式。

总结：MoVieDrive 通过引入统一的扩散 Transformer 架构和多样化的条件控制机制，成功实现了高保真、高可控且多模态一致的自动驾驶城市场景视频生成，是自动驾驶数据合成领域的重要突破。