🤖 machine learning

DISK: Dynamic Inference SKipping for World Models

本文介绍了 DISK，这是一种无需训练的自适应推理方法，它利用双分支控制器和跨模态跳过决策，在保持预测精度和视觉质量的同时，实现了自回归世界模型中轨迹扩散 2 倍和视频扩散 1.6 倍的加速。

原作者： Anugunj Naman, Gaibo Zhang, Ayushman Singh, Yaguang Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Anugunj Naman, Gaibo Zhang, Ayushman Singh, Yaguang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图逐秒预测一条繁忙高速公路的未来。你需要同时完成两件事：

画出画面： 下一帧的汽车、树木和道路看起来会是什么样子？（“视觉”部分）。
画出路径： 你的车在下一帧将会移动到哪里？（“轨迹”部分）。

在人工智能的世界里，做这件事就像是在跑一场马拉松，但每跑一秒钟，你都必须停下来进行 100 次微小而谨慎的呼吸（数学计算）。这既缓慢、昂贵，又耗能。

DISK 登场了。

这篇论文介绍了一种名为 DISK（动态推理跳过，Dynamic Inference SKipping）的新方法。把 DISK 想象成一个智能且具有适应性的副驾驶，它坐在 AI 旁边并说道：“嘿，我们现在不需要进行沉重的呼吸。让我们顺势滑行吧。”

以下是它的工作原理，使用简单的类比：

1. “平稳滑行” vs. “颠簸路面”

想象你在高速公路上驾驶。

平稳滑行： 如果你在一条空旷、笔直的道路上行驶，你的方向盘几乎不动。你不需要每毫秒都检查一次路况，你可以直接继续行驶。
颠簸路面： 如果你正接近一个急转弯、施工区或正在汇入车辆，你需要保持注意力。你需要检查后视镜，转动方向盘，并仔细计算你的速度。

DISK 正是这样做的。 它观察着 AI 的“思考过程”（背后的数学运算）。

当场景很简单时（比如在笔直的高速公路上巡航），DISK 告诉 AI：“跳过繁重的数学计算！直接复用上一次的预测结果即可。” 这节省了大量的时间。
当场景变得复杂时（比如突然的变道），DISK 会说：“停！现在进行完整的计算。”

2. “双人自行车”难题

棘手之处在于，这个 AI 有两个协同工作的“大脑”：一个负责视频（我们看到的画面），另一个负责轨迹（我们的去向）。

如果“视频”大脑因为路况看起来很无聊而跳过了一个步骤，但“轨迹”大脑却决定做一个复杂的转向，就会出现故障。车可能会在视频中突然“瞬移”，或者视频显示了一场并未发生的碰撞。

DISK 通过一个“安全门”解决了这个问题。
把“轨迹”大脑想象成驾驶员，把“视频”大脑想象成拍照的乘客。

如果驾驶员（轨迹）看到了复杂的动作并决定“努力工作”（进行完整计算），安全门会立即通知乘客（视频）：“停止跳过步骤！你也必须现在拍张照片，这样我们才能保持同步。”
然而，如果乘客看到了有趣的事物，但驾驶员只是在巡航，乘客仍然可以跳过步骤以节省时间。这让两者保持完美的同步，且不会浪费能量。

3. 结果：更快且不失质量

研究人员在庞大的驾驶场景数据集（NuPlan 和 NuScenes）上，使用高性能计算芯片（NVIDIA L40S）对该方法进行了测试。

速度提升： 通过跳过不必要的数学步骤，DISK 使轨迹预测速度提高了 2 倍，视频生成速度提高了 1.6 倍。
质量检查： 尽管跳过了大约 40-50% 的计算，但结果与缓慢的全速版本几乎完全一致。
- 车辆并没有更频繁地发生碰撞。
- 视频质量保持在高水平（你无法分辨出快速版本和慢速版本之间的区别）。
- 车辆的规划决策依然安全且准确。

核心结论

DISK 是一种**无需重新训练（training-free）**的升级方案。你不需要重新教 AI 任何知识，也不需要改变它的“大脑”。你只需要在现有的 AI 系统之上添加这个“智能副驾驶”层即可。

这就像是给超级计算机戴上了一副太阳镜，让它能够忽略路面上无聊的部分，从而将精力集中在那些有趣（且危险）的部分，使整个过程更快、更便宜，同时又不损失其安全驾驶的能力。

技术摘要：DISK – 用于世界模型的动态推理跳过技术

1. 问题陈述

自回归世界模型，特别是基于扩散 Transformer（DiT）的模型，在预测闭环驾驶中的未来场景内容和自我运动（ego-motion）方面展现了强大的能力。然而，这些模型面临着显著的推理延迟和计算成本问题。在自回归设置中，由于每一帧预测的图像和轨迹都会作为下一步的条件，成本会随时间累积。长程展开（long-horizon rollouts）需要对耦合的视觉和轨迹分支进行数千次的模型评估。

现有的加速方法无法有效解决这一特定挑战：

固定步长加速或全局步数减少会降低保真度和稳定性，尤其是在闭环展开中微小误差累积的情况下。
训练时加速器（例如一致性模型、渐进式蒸馏）需要昂贵的重新训练或蒸馏过程，这破坏了加速现有基础模型所需的“即插即用”灵活性，且不会改变其学习到的行为。
推理时适配（例如确定性公式、高阶 ODE 解算器）无法适应每一步的难度变化，并且无法协调耦合分支中的视觉与轨迹预测。
单分支优化器（例如早期退出、特征缓存）虽然优化了单个网络内的计算，但无法协调跨模态分支，从而存在导致外观与运动不同步的风险。

核心挑战在于如何在不重新训练模型或损害生成的视频与预测轨迹之间一致性的前提下，根据场景复杂度（例如：高速公路巡航 vs. 关键机动动作）动态地降低推理成本。

2. 方法论

作者提出了 DISK (Dynamic Inference SKipping)，这是一个纯粹在测试阶段运行的无需训练的自适应推理模块。DISK 通过具有跨模态跳过决策的双分支控制器，协调两个耦合的扩散 Transformer——一个用于视频（Vision DiT），一个用于自我轨迹（Trajectory DiT）。

2.1. 自适应逐步跳过

对于反向时间网格中的每个扩散步 $k$ ，控制器决定是进行新的预测还是重用缓存的预测。该决策基于局部平滑度测试：

难度代理 ( $d_k$ )： 相邻扩散步之间潜变量状态的平均绝对变化。
曲率检查 ( $\Delta_k$ )： 一个二阶有限差分准则，用于衡量潜变量演化的局部线性程度。如果潜变量的变化在局部是仿射的（低曲率），则认为该步是可预测的。
跳过决策： 如果 $\Delta_k \leq \theta \cdot d_{k+1}$ （其中 $\theta$ 是容差阈值），则跳过该步并重用缓存的预测。否则，执行完整的正向传播。

安全防护机制 (Safety Guards)： 为防止误差累积和退化行为，强制执行三个防护措施：

预热 ( $W$ )： 前 $W$ 步必须进行计算。
连续跳过上限 ( $C_{max}$ )： 限制连续跳过的次数，以防止漂移。
停滞阈值 ( $\epsilon$ )： 如果潜变量变化在数值上极小（接近于零），则强制进行计算，以防止在停滞状态下发生无限跳过。

2.2. 跨模态协调

单独跳过分支会导致外观与运动脱节。DISK 引入了一个单向安全门：

轨迹控制器监控自身的安全防护情况。如果轨迹分支遇到复杂的机动动作（触发了安全条件），则发出信号 $\sigma^{(t)}_k$ 。
单向耦合： 如果 $\sigma^{(t)}_k = 1$ ，无论视觉分支自身的平滑度测试如何，强制执行视觉分支计算。这确保了复杂的自我运动能渲染出相应的视觉变化。
非对称性： 视觉复杂度不会强制触发轨迹计算。这优先考虑了吞吐量，因为轨迹分支通常更快，同时确保较慢的视频分支不会落后于关键的机动动作。

2.3. 自回归稳定性

为了稳定长程展开，DISK 将控制器统计信息传播到自回归链中。在每个展开步骤 $s$ 之后，汇总信息（计算/跳过计数和安全比例）会被传递到下一步。通过两个分支的最大安全比例计算出一个跨模态难度得分 ( $\beta_s$ )。该得分会动态调整后续步骤的预热窗口和跳过阈值，在经历困难机动后扩大计算窗口，并在场景稳定后放宽限制。

3. 核心贡献

无需训练的自适应框架： 一种使用自适应逐步跳过决策来编排视觉和轨迹 DiT 的方法，在不重新训练或改变模型权重的情况下降低计算成本。
跨模态跳过协调： 一种通过单向安全门和控制器统计信息传播来协调视觉和轨迹分支的机制，确保长程展开过程中的运动-外观一致性。
保持前向自条件链 (Chain-of-Forward Self-Conditioning)： 该方法明确针对闭环驾驶的挑战，在跳过步骤的同时保持了自回归循环的完整性。

4. 实验结果

该方法在 NVIDIA L40S GPU 上，利用 Epona 世界模型（一个 2.5B 参数的模型），在 NuPlan 和 NuScenes 数据集的 1500 个样本上进行了评估。

4.1. 推理速度

轨迹分支 (TrajDiT)： 实现了 ~2倍的加速（每步从 ~20ms 降至 ~10ms）。
视觉分支 (VisDiT)： 实现了 ~1.6倍的加速（每步从 ~244ms 降至 ~155ms）。
整体： 在保持相同模型架构的同时，显著降低了单步总延迟。

4.2. 规划性能

开环 (Open-Loop)： DISK 保持了与基线几乎相同的 L2 位移误差（例如 L2@3s: 0.3007 vs. 0.3011）。
闭环 (Closed-Loop, NAVSIM)： DISK 在预测驾驶模型得分 (PDMS) 上取得了具有竞争力的结果。
- 基线 PDMS: 85.4
- DISK PDMS: 83.6
- 各子指标（NC, DAC, TTC, Comf, EP）仅表现出轻微下降，表明安全性与可驾驶性得到了保留。

4.3. 视觉质量

指标： FID 从 7.5 轻微上升至 12.5；FVD 从 82.8 上升至 88.1。
定性分析： 尽管指标有所变化，但视觉对比显示生成的视频与基线相比“在视觉上难以区分”，并具有高度的时间一致性。

4.4. 消融研究

阈值 ( $\theta$ )： 确定 $\theta=0.01$ 是速度提升（~2.03×）与质量之间的最佳平衡点。
最大连续跳过次数 ( $C_{max}$ )： $C_{max}=4$ 提供了最佳权衡。更高的值（如 8）虽然增加了速度，但会降低视觉稳定性（FID 12.65）。
预热 ( $W$ )： $W=3$ 足以满足需求； $W=0$ 虽然提供了相似的指标，但存在早期不稳定的风险，而 $W=5$ 则在没有质量提升的情况下降低了效率。

5. 重要性与主张

论文声称 DISK 展示了在大幅降低成本的情况下实现实际的长程视频与轨迹预测。其主要意义在于：

即插即用的高效性： 它提供了一种在无需承担高昂重新训练或蒸馏成本的前提下，加速现有基础模型的方法。
动态适应性： 与固定步长的方法不同，DISK 能根据场景复杂度分配计算资源，在简单帧上节省资源，同时在关键机动期间保持精度。
闭环可行性： 通过协调跨模态分支并传播难度统计信息，它成功保持了闭环驾驶所需的稳定性，而误差累积是闭环中的关键失效模式。

作者总结道，尽管在视觉指标（FID/FVD）上存在轻微权衡，但显著的速度提升和保留的规划准确性使得 DISK 成为降低实时自动驾驶模拟和规划流水线中能量与延迟预算的可行方案。