技术摘要：AnyScene

1. 问题陈述

可靠的高级别（L4）自动驾驶的发展受到“长尾”分布的阻碍，即现有公共数据集中代表性不足的罕见且安全关键的场景。虽然可扩展的合成数据生成对于解决这一问题至关重要，但当前的方法在满足两个基本要求方面面临重大的结构性局限：精确可控性（忠实实例化用户指定的场景配置）和随处可部署性（泛化到未见过的地理区域、交通模式和任意布局）。

现有方法在以下三个关键领域存在不足：

• 直接端到端视频生成：从粗略提示生成视觉上引人入胜序列的模型，往往在不同视角和时间上存在几何不一致性，使得细粒度控制变得困难。
• 基于重建的模拟器：这些方法实现了高视觉保真度，但由于需要针对每个场景进行优化，仅限于重放记录的轨迹，缺乏生成新场景的能力。
• 现有的占用引导方法：虽然 3D 语义占用提供了一种结构化的、与视角无关的表示，但当前的流水线（例如 UniScene、InfiniCube）表现出脆弱性。它们依赖浅层的交叉注意力适配器或过度设计的三平面分解，削弱了细粒度控制，常导致代理缺失或编辑模糊。此外，它们通常以低频率（2 Hz）运行，并在结构上依赖参考帧和固定的相机阵列，从而无法从任意的鸟瞰图（BEV）输入生成全新的场景。

2. 方法论

作者提出了 AnyScene，这是一个统一的、以占用为中心的驾驶场景生成框架。该框架将过程解耦为两个阶段：从 BEV 布局生成高保真语义占用序列，以及从该占用合成多视角视频。

A. 基于 BEV 条件的可控占用生成

该阶段将任意的 BEV 布局转换为 3D 语义占用的时间序列。

• 基于 BEV 的占用 VAE：为了确保计算效率并与 2D 扩散模型兼容，作者采用了一个完全 2D 的变分自编码器。它利用 2D 轴向注意力层将 3D 占用体积转换为紧凑的 2D BEV 潜在表示。该模型使用 Focal Loss（解决类别不平衡）、Lovasz-Softmax Loss 和 KL 散度进行优化。
• 时空占用扩散 Transformer (STOccDiT)：这是核心生成模型。它联合对 BEV 布局特征和占用潜在变量进行标记化。与学习直接映射的先前方法不同，STOccDiT 采用带有因果时间注意力掩码的自回归生成过程。
  • 训练：它使用“教师强制”策略，模型接收前一帧的干净潜在变量和当前帧的噪声潜在变量，从而在并行训练的同时学习强大的条件控制。
  • 推理：模型以自回归方式生成占用，以其自身先前生成的帧为条件。这使得能够从任意、跨数据集和用户定义的 BEV 输入实现精确的、高频（12 Hz）控制。

B. 几何锚定的视角扩展 (GGVE)

该阶段直接从生成的占用序列合成时间和跨视角一致的多视角驾驶视频，无需依赖参考帧。

• 规范空间表示：生成的占用序列被视为规范的 3D 场景表示。
• 显式几何条件：对于每个相机视角，系统从占用体积渲染显式几何信号：一个语义缓冲区、一个坐标缓冲区以及相机姿态的Plücker 嵌入。
• 架构：GGVE 建立在 Wan2.1-T2V-14B 骨干网络之上，并采用 VACE 风格的 ControlNet。一个可训练的控制分支处理几何条件（缓冲区和 Plücker 嵌入），与冻结的 DiT 骨干网络并行工作。
• 自回归多视角合成：模型以自回归方式合成视频。它从前方相机开始，并逐步扩展到侧面和后方视角，使用先前生成的帧作为锚点。这允许在推理时支持灵活的相机配置（任意数量的视角和姿态），而无需重新训练。

C. 数据集：nuCraftv2

为了支持高频评估，作者引入了 nuCraftv2，这是对 nuScenes 数据集的 12 Hz 重采样。它包含同步的高分辨率 3D 语义占用、HD 地图注释和 3D 边界框。数据集构建涉及跨模态 3D 检测、每实例 3D 资产库（使用 SAM3/SAM3D）以及基于 LiDAR 的姿态重估计，以校正原始数据中的垂直偏差。

3. 主要贡献

1. 基于 BEV 条件的可控占用生成：一个由基于 2D BEV 的占用 VAE 和 STOccDiT 组成的新颖流水线。该设计通过自回归生成，实现了从任意 BEV 输入（包括跨数据集和用户定义的布局）的精确、高频控制。
2. 几何锚定的视角扩展 (GGVE)：一种将生成占用视为空间锚点的范式。通过渲染显式几何条件信号，GGVE 实现了无参考、自回归的多视角视频合成，支持任意数量的相机和姿态，克服了先前方法对参考帧的依赖。
3. nuCraftv2 基准：一个高频（12 Hz）基准，包含同步的 BEV 布局和密集语义占用，促进了高频时间模型的训练和评估。

4. 实验结果

作者在 nuCraftv2 上评估了 AnyScene，并展示了在占用和视频生成方面的最先进性能。

• 占用生成：
  • 基于 BEV 的占用 VAE 在重建精度方面优于先前的方法（例如，在相同压缩设置下，mIoU 比 X-Scene 高出 8.8%）。
  • 在生成任务中，AnyScene 在 3D 体积上实现了 19.01 的 mIoU 和 15.58 的 IoU。
  • 该模型表现出对输入条件的强遵循性，在"BEV 与布局”设置中实现了 52.45 的 mIoU 和 68.97 的 IoU，证实了对 BEV 条件的有效利用。
• 视频生成：
  • AnyScene 在所有评估的帧长（8、16 和 49 帧）上均取得了最佳的 Fréchet Video Distance (FVD) 分数，大幅优于 MagicDrive-V2 和 GenieDrive 等基线。
  • 可控性指标（mIoU 和 mAP）显著高于现有方法（例如，38.26 mIoU 对比 GenieDrive 的 30.97），表明具有更强的语义和空间控制能力。
• 泛化性与灵活性：
  • 该框架展示了对未见数据集（nuPlan、新加坡、德国、中国）以及源自 OpenStreetMap (OSM) 的自定义布局的零样本泛化能力。
  • 它支持新视角合成和任意相机阵列（例如，从 6 个视角扩展到 12 或 24 个视角），而无需重新训练。
  • 定性结果显示，通过文本提示实现了忠实的属性控制（天气、光照），并且即使在地面真值占用不完整的情况下，也能生成完整的场景结构。

5. 意义与主张

本文主张，AnyScene 代表了迈向高度可控且可“随处”部署的驾驶场景生成的重要一步。通过将预测的占用作为中心表示，该框架成功地将几何与外观解耦。这允许：

• 精确控制：能够从用户定义或跨数据集的 BEV 布局生成高保真场景的能力。
• 可扩展性：生成长序列的能力，并适应任意相机配置，而无需针对每个场景进行优化。
• 下游效用：生成的数据为下游任务（如稀疏视角 3D 重建）提供了可衡量的益处，通过提供密集的、几何一致的新视角。

作者承认了局限性，指出当前框架未建模代理的响应行为或交通流交互，因为代理是基于固定的 BEV 布局进行条件的。未来的工作旨在整合交通行为模型，并利用该框架进行闭环仿真，以生成针对特定边缘案例的数据。