技术摘要：Adaptive-WAM

问题陈述

大型视频扩散模型为自动驾驶规划提供了丰富的时空先验，但现有的世界-动作模型（World-Action Models, WAMs）通常需要承担迭代未来视频生成和 VAE 解码的全部计算成本，即使在部署仅需低维自我轨迹的情况下也是如此。目前的方法通常通过预定的骨干路径或迭代去噪循环将预测与动作耦合在一起，这造成了不必要的僵化。核心问题在于：为了做出可靠的驾驶决策，必须执行多少视频扩散模型的计算量？

作者识别了两个经常被混淆的维度：

1. 视频扩散时间步（Video Diffusion Timestep）： 控制潜在噪声水平。
2. DiT 深度（DiT Depth）： 控制评估的 Transformer 块数量。

在 NAVSIM 上的初步分析表明，规划性能对视频噪声水平（时间步）基本不敏感，但对深度表现出显著的依赖性。此外，从中间层可以解码出强有力的轨迹，且不同的深度解决了部分重叠的场景集，这表明固定深度的执行方式并非最优。

方法论：Adaptive-WAM

本文提出了 Adaptive-WAM，这是一个基于 Wan2.2-TI2V-5B 骨干网络的质量感知多出口规划器。该架构在推理过程中将视频生成过程与规划决策过程解耦。

架构与推理流程

1. 骨干网络（Backbone）： 模型利用 Wan2.2 视频 DiT。在推理期间，它处理当前前视摄像头图像和文本描述（源自地图元数据、自我车速和机动历史），并采用固定的视频噪声指数（$s^* = 17$）。在部署期间，它并不消耗真实的未来视频，也不进行完整的迭代去噪循环。
2. 多出口轨迹头（Multi-Exit Trajectory Heads）： 六个中间 DiT 块（第 5、9、15、18、22 和 30 层）作为出口点。在每个出口 $\ell$，一个投影层将隐藏表示 $h_\ell$ 转换为轨迹调节 Token，这些 Token 被输入到独立的 ReCogDrive 式 5 步轨迹扩散头中。每个头生成一个候选轨迹。
3. 质量引导的自适应路由（Quality-Guided Adaptive Routing）：
   • 一个轻量级的轨迹质量评分器（基于微调的 DINOv2-Small 编码器和 MLP）对每个解码的轨迹进行评估。
   • 评分器预测规划指标（NC, DAC, DDC, TTC, EP, Comfort）的分量而非严格的总序，因为规划奖励通常是饱和且存在平局的。
   • 决策逻辑： 系统维护一个已解码轨迹池。如果尝试过的出口中最高的预测质量得分（$\hat{q}$）超过阈值 $\eta$，则终止推理并返回最佳累积轨迹。否则，系统从缓存的隐藏状态继续执行到下一个更深的出口。
   • 如果没有任何出口满足阈值，系统默认返回最终出口（第 30 层）中的最高分轨迹。

训练策略

• 视频领域适配（Video-Domain Adaptation）： 使用 LoRA（低秩适配）对 Wan 骨干网络进行适配，同时对轨迹投影和头部进行全量优化。目标函数结合了原生视频扩散损失与所有出口的轨迹扩散损失。
• 评分器训练： 评分器在生成的轨迹上进行微调，针对评估器提供的分量目标进行软标签二元交叉熵训练。它在梯度隔离的状态下运行，以避免改变轨迹分布。
• 仅规划器的强化学习（Planner-Only RL）： 在模仿学习之后，冻结骨干网络和评分器。轨迹头使用 DiffGRPO（一种仅针对规划器的强化学习方法）进行精炼，将完整的 5 步去噪链视为单个动作。

核心贡献

1. 系统性诊断： 本文证明了驾驶规划性能对视频噪声水平具有鲁棒性，但对 DiT 深度高度敏感。研究揭示了中间特征提供了强大的规划基质，且不同深度解决了不同且非冗余的场景集。
2. 质量感知多出口架构： Adaptive-WAM 引入了一种机制，根据当前解码计划的质量动态分配骨干深度，从而避免了完整的视频生成或固定深度的执行。
3. 效率-性能权衡： 该方法在实现最先进的规划性能的同时，通过跳过“简单”场景中不必要的计算，显著降低了推理延迟。

实验结果

NAVSIM v1 和 v2

• NAVSIM v1： 自适应单轨迹规划器达到 90.8 PDMS。使用第 22 层的 64 个提案的固定出口变体达到了 92.6 PDMS，优于 DriveVA 基准。
• NASIM v2： Adaptive-WAM 达到 89.9 EPDMS，在对比的各类前视视频世界模型规划器中取得了最佳结果。
• 延迟： 在 A100 GPU 上，自适应规划器的端到端平均延迟为 170 ms。这比固定第 15 块的规划器（190 ms）快约 10%，比固定全深度的规划器（320 ms）快约 47%。

零样本迁移（Zero-Shot Transfer）

在没有目标域微调的情况下，模型迁移至 nuScenes，实现了平均 0.88 m 的 L2 误差和 0.08% 的碰撞率。该性能与 DriveVA（0.84 m, 0.06%）相当，但由于 Adaptive-WAM 避免了完整的视频生成，其推理成本大幅降低。

消融实验

• 骨干网络： 对 Wan 骨干网络进行联合 LoRA 训练至关重要；冻结骨干网络或使用单独的缓存只能恢复极小部分的性能。
• 评分器： DINOv2-Small 足以胜任质量评分器；使用 Wan 骨干特征进行评分虽然能带来微小的提升（0.03 分），但计算成本更高。
• 深度： 虽然第 15 块通常是最强的固定出口，但自适应策略通过为困难场景动态选择更深的层级，表现优于它。

意义与主张

本文声称，中间视频-DiT 特征是鲁棒的规划表示，不需要完整的图像合成即可发挥作用。通过将多深度轨迹头与具备处理平局能力的质量控制器相结合，Adaptive-WAM 展示了从大型生成式世界模型向高效、实时驾驶策略转化的可行路径。

作者强调，其方法：

• 避免了完整视频合成所需的迭代分类器无关去噪循环和 VAE 解码。
• 根据轨迹质量而非承诺单一读取深度来动态分配计算量。
• 在实现 NAVSIM 最优结果的同时，保持了比最强固定深度基准更低的平均延迟。

这项工作表明，对于自动驾驶规划而言，“世界模型”不需要完全渲染未来，它只需要计算足够的潜在特征来解码出一条可靠的轨迹。