💻 computer science

Is Energy Guidance All You Need? Training-Free Norm Injection for Driving World Models

本文表明，通过注入可微分能量函数来引导规划轨迹，可以在无需重新训练的情况下，在采样阶段实现修正流（rectified-flow）驾驶世界模型的可控性，尽管文中也指出需要改进跨流耦合，以确保生成的视频能够忠实地遵循这些被引导的路径。

原作者： Xiyan Su, Frank Diermeyer, Markus Lienkamp

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiyan Su, Frank Diermeyer, Markus Lienkamp

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明、处于“冻结”状态的机器人艺术家，名叫“Open-Sora”。这位艺术家花了数年时间观看数百万段驾驶视频，现在它已经能够画出汽车在高速公路上疾驰的极其逼真的场景。但问题在于：这位艺术家有点叛逆。如果你要求它画一辆车在红灯前停车，它可能还是会继续行驶，因为它觉得“帅气的漂移”比“安全规则”看起来更酷。

通常情况下，要教这个机器人新规则（比如“在红灯前停车”），你需要送它回学校重新训练好几个月。这既昂贵又缓慢。

这个大问题问的是：我们能否在不送它回学校的情况下，引导这位冻结的艺术家？

魔法技巧：“能量引导”

作者们尝试了一个聪明的技巧，叫做无需训练的能量引导（training-free energy guidance）。你可以这样理解：与其重新训练机器人，不如像一个幽灵教练一样，在机器人绘画的过程中守在它身边。

设置： 机器人正在同时绘制一个未来的场景（一段视频）并规划一条汽车路径（一条轨迹）。它使用的是一种“整流流模型（rectified-flow model）”，这只是一个高级说法，意思就是它正在一步步地将一张模糊的草图变成清晰的图像。
教练的推力： 在绘画过程的每一步，教练都会观察汽车规划的路径。如果路径看起来像是要发生碰撞或违反规则，教练就会低声发出一个“推力”（一个数学上的推力），以引导汽车回到安全路径上。
结果： 他们通过要求机器人模拟一辆车为前方慢车刹车（这是一个机器人未经过训练的“反事实”场景）进行了测试。
- 好消息： 教练起作用了！机器人的规划路径发生了完美的改变。在他们的测试中，未受引导的汽车最终停在了距离目标位置 13.6 米远的地方，但受引导的汽车最终只偏离了 1.3 米。机器人成功学会了即时刹车。

情节转折：视频并没有听话

故事在这里变得有趣了。机器人本应该同时绘制视频和路径，就像两个手牵手的好朋友。作者原本希望，如果他们引导了路径，视频也会自动发生变化以与之匹配（例如，视频中的汽车实际上会减速）。

但它并没有。

尽管机器人的计划说“用力刹车”，但它画出的视频看起来与没刹车时的视频完全一样。视频里的车依然在全速疾驰。

作者怀疑问题出在机器人的大脑构造上。机器人的大脑有两个独立的思维流：一个用于视频，一个用于路径。它们通过一种特殊的“联合自注意力（joint self-attention）”机制连接在一起。作者认为，目前视频流正在忽略路径流的新指令。这就像机器人的左手（路径）在疯狂挥舞，但右手（视频）却只是在继续跳舞，完全没有注意到变化。

下一步是什么？

这篇论文并不声称已经解决了整个问题。他们证明了你可以无需重新训练就能引导计划，但他们还没有搞定如何让视频遵循那个计划。

他们提出了一个修复方案：他们需要将视频流和路径流重新路由到机器人更多的内部模块中，以便它们能更好地进行交流。如果这样做，也许视频最终会听从教练的指挥。

直到那时为止，核心结论是：我们发现了一种方法，可以瞬间教会一个冻结的驾驶机器人新的交通规则，但我们仍需教会它的眼睛去看到大脑正在规划的内容。机器人知道如何刹车，但它还没学会如何在屏幕上表现出来。

技术摘要：面向驾驶世界模型的免训练范式规范注入

问题陈述

基于大规模视频扩散骨干网络的驾驶世界模型能够生成逼真的传感器流，但在可控性方面存在严重缺陷。目前强制执行交通规范（例如遵守限速、避免碰撞）的主流策略通常需要为每个新约束微调骨干网络，或者依赖于在训练期间植入的人工构建布局（地图、边界框）。这些方法扩展成本高昂，且无法让已部署的模型在采样时添加或重新调整规则优先级。作者提出了一个核心问题：实现可控性是否一定需要训练？ 具体而言，能否仅通过采样时的干预，来引导一个冻结的（frozen）世界模型以满足驾驶规范？

方法论

本文提出了一种应用于整流流（rectified-flow）驾驶世界模型的**免训练能量引导（training-free energy guidance）**方法。

1. 模型架构

其骨干网络是一个冻结的 Open-Sora 2.0 MM-DiT（多模态扩散 Transformer）模型，通过 LoRA 进行后训练，以联合去噪以下内容：

未来视频帧（图像流）。
一个规划的自车轨迹 $x_{ego} \in \mathbb{R}^{T \times d}$ （文本流，其中 $T=40$ 帧， $d=4$ 个分量： $x, y, \theta, v$ ）。
至关重要的是，该模型在训练时并不包含智能体或地图信息，仅依赖于观测到的历史帧。

2. 免训练引导机制

作者将基于能量的引导概念适配到了整流流模型中。与其进行重训练，不如将驾驶规范作为可微能量函数 $E(\cdot)$ ，在每个采样步骤中对预测的干净自车轨迹 $\hat{x}_0$ 进行评估。

该过程包括：

单步估计： 在时间步 $t$ ，模型使用学习到的速度场 $v_\theta$ 来估计干净样本 $\hat{x}_0$ ：
$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$
能量下降： 在干净轨迹空间内进行梯度下降步骤，以最小化驾驶规范能量：
$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$
此处， $E(\hat{x}_0)$ 被定义为向反事实目标（例如模拟缓慢前车的制动目标）运动的均方误差（MSE）吸引力。
速度修正： 更新后的估计值被转换回用于采样 ODE 的速度修正：
$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$
稳定性处理： 为了防止轨迹偏离数据流形（这是免训练引导在采样早期因 $\hat{x}_0$ 不准确而产生的已知问题），每步引导修正被限制在骨干网络自身速度的一个固定倍数之内。同时使用非对称调度 $\lambda(t)$ ，在 $t=0$ 和 $t=1$ 附近将引导设为零，以避免数值不稳定并允许先验分布建立全局结构。

核心贡献

公式化表述： 作者将驾驶规范合规性建模为冻结整流流世界模型的免训练能量引导问题，证明了知识可以在采样阶段完全通过干预来实现。
实证验证： 他们展示了该方法能成功引导基于 Open-Sora 2.0 构建的自车轨迹，使其趋向于一个反事实制动目标（模拟追尾碰撞规避场景），而无需重新训练骨干网络。
架构洞察： 论文指出当前联合生成架构的一个关键局限：虽然轨迹被成功引导，但生成的视频却并未跟随被引导的轨迹。作者将其归因于当前模型中特定的跨流耦合机制（即联合自注意力机制），其中视频流未能传播由轨迹流引起的改变。

实验结果

作者在 35 个采样的片段上使用反事实制动目标对方法进行了评估：

轨迹控制： 引导对轨迹非常有效。引导后的轨迹与制动目标的平均距离为 1.3 米，而未引导（事实）的轨迹距离为 13.6 米。
视频一致性： 尽管自车轨迹发生了显著变化，生成的视频却并未反映出这一变化。引导视频与未引导视频之间的逐帧光流差异在统计上是不可区分的（变化 $\lesssim 2\%$ ，处于跨片段变化的噪声范围内）。
结果结论： “被引导的计划并未移动像素”。在当前架构下，视频流与轨迹流仍然是解耦的。

意义与主张

论文声称驾驶规范合规性不需要重训练。一个冻结的世界模型可以通过在采样时使用可微能量函数来引导其规划的自车轨迹。这为部署后的模型动态适应新规则或优先考虑安全约束提供了一条路径。

然而，作者对于目前的端到端可控性持谨慎态度。他们明确指出，视频生成尚未跟随被引导的轨迹。他们将跨流耦合（特别是其修改模型中单流块的绕过现象）视为核心障碍。论文总结道，要实现真正的端到端可控展开，需要更深层的视频与轨迹流的联合去噪，并提出将两个流都路由通过骨干网络中的单流块是实现视频与引导轨迹对齐的必要步骤。

这项工作旨在架起连接免训练引导（此前仅应用于仅轨迹模型）与可控世界模型（此前需要训练时条件化）之间的桥梁，强调了实现完全语义控制仍需填补的架构鸿沟。