💻 computer science

DriveWorld-VLA: Unified Latent-Space World Modeling with Vision-Language-Action for Autonomous Driving

DriveWorld-VLA 是一个新颖的框架，它将视觉-语言-动作（Vision-Language-Action）规划与共享潜空间中的世界模型统一起来，以实现可控的、以动作为条件的场景想象并提升自动驾驶决策能力，在 NAVSIM 和 nuScenes 基准测试中达到了最先进的性能。

原作者： Feiyang jia, Lin Liu, Ziying Song, Caiyan Jia, Hangjun Ye, Xiaoshuai Hao, Long Chen

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Feiyang jia, Lin Liu, Ziying Song, Caiyan Jia, Hangjun Ye, Xiaoshuai Hao, Long Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一辆自动驾驶汽车如何开车。目前大多数方法就像是通过展示一段完美驾驶的视频来教学生：“照着这个做。”如果学生看到红灯，他们就停下；如果看到绿灯，他们就前进。但如果发生了意料之外的情况——比如一个球滚到了街上——他们可能会惊慌失措，因为他们并没有理解事物发生的“原因”，而仅仅是学会了“做什么”。

这篇论文介绍了一种名为 DriveWorld-VLA 的新方法，它更像是赋予汽车一种在行动之前先“想象未来”的“超能力”。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：两个独立的脑区

此前，研究人员尝试结合两种类型的 AI：

“感知”脑 (VLA)： 这部分负责观察道路、识别标志并理解语言。它像是一位非常聪明的驾驶员，深谙交通规则。
“想象”脑 (世界模型)： 这部分负责模拟未来。它像是一个水晶球，会说：“如果我在这里左转，我可能会撞到那棵树。”

旧的方法是让这两个大脑独立工作。当“感知”脑询问“想象”脑时，“感知”脑会问：“如果我左转会发生什么？”“想象”脑会给出回答，但由于它们是脱节的，所以“感知”脑并不能真正从这个答案中学习。这就像是向朋友寻求建议，却忽略了对方的推理逻辑。

2. 解决方案：一个统一的心智

DriveWorld-VLA 将这两个大脑融合为一个统一的系统。它们不再是两个独立的房间，而是现在共享同一个办公室。

共享语言 (潜空间/Latent Space)： 想象汽车的大脑使用一种秘密代码。既负责“观察”的部分和负责“想象”的部分都使用同一种秘密代码。当汽车看到一名行人时，它不仅仅是看到了一张图像；它将该图像转化为这种秘密代码。随后，“想象”部分利用这段完全相同的代码来模拟接下来的情况。这意味着汽车真正理解了物理世界的规律，而不仅仅是看到了图像。

3. “如果……会怎样”的超能力

最大的创新在于 动作条件的“如果……会怎样”推理 (Action-Conditioned "What-If" Reasoning)。

你可以把它想象成一款可以在提交动作前暂停并尝试不同招式的视频游戏：

旧的方法： 汽车看到停止标志，然后停车。
DriveWorld-VLA： 汽车思考：“好吧，我有三个选择：停车、减速或加速。”
- 它会在脑海中瞬间想象出这三种选择对应的未来。
- 它看到“加速”在想象中会导致碰撞。
- 它看到“停车”会导致安全的结果。
- 然后，它选择了那条安全的路径。

它不仅仅是对“现在”正在发生的事情做出反应；它会在脑海中主动测试不同的未来，以挑选出最佳方案。

4. 他们是如何教学的（三阶段训练）

你不能直接开启这个系统并期望它能正常工作。作者通过三个步骤训练它，就像在视频游戏中升级一样：

第一阶段：学习基础知识。 汽车学习观察道路，并预测几秒钟后道路的样子，同时学习预测人类驾驶员会做出什么行为。它在学习“观察”的同时也在学习“移动”。
第二阶段：学习控制。 现在，汽车学习到它的动作会改变未来。如果它向左转向，未来的图像必须显示汽车位于左侧。它学会了如何控制自己的“水晶球”。
第三阶段：最终考试 (闭环)。 这是最重要的一部分。汽车预测一个动作，想象未来的结果，然后询问自己：“这是一个好的动作吗？”如果想象中的未来看起来很危险，它会得到一个“低分”，并学习在下次尝试不同的动作。它从自己的想象中学习。

5. 结果

论文在真实世界的驾驶数据集（如 NAVSIM 和 nuScenes）上测试了这个系统。

安全性： 它的碰撞率显著低于其他顶尖方法（在测试中碰撞率仅为 0.16%）。
效率： 它能够平稳地向前行驶，不会卡顿或表现得过于谨慎。
对比： 它击败了其他试图结合视觉与想象但未能实现紧密统一的先进系统。

总结

DriveWorld-VLA 就像是给了自动驾驶汽车一个心理演练空间。它不再只是对道路做出反应，而是不断在脑海中运行“模拟”，以测试不同的动作。通过让“观察”和“想象”的部分使用同一种语言，汽车做出了更聪明、更安全且更像人类的决策。

技术摘要：DriveWorld-VLA

问题陈述

端到端（E2E）自动驾驶已转向将视觉-语言-动作（VLA）模型与世界模型（WM）统一起来，以增强决策能力和“前瞻性想象”。然而，现有的统一尝试存在两个主要局限性：

结构隔离（解耦交互）： 将世界模型视为外部模拟器的方案无法让 VLA 内化物理定律和环境动力学，从而在潜在知识迁移方面产生了瓶颈。
缺乏因果推理（特征共享）： 共享表示的方法往往缺乏基于动作条件的因果推理。因此，它们无法进行反事实的“如果……会怎样”式的想象或长时程规划，限制了智能体仅能进行反应式而非主动式的优化。

由于潜在状态的共享不足，现有方法无法在单一架构内有效地统一未来场景演变与动作规划，从而限制了视觉想象对动作决策的影响。

方法论：DriveWorld-VLA

DriveWorld-VLA 提出了一个在表示和决策层面将 VLA 与世界模型紧密集成的统一框架。其核心创新在于将世界模型潜变量优化为决策变量，通过在共享潜在空间中的可控想象实现统一的因果推理。该系统完全在潜在空间中运行，以避免昂贵的像素级展开（rollouts）。

该框架采用了三阶段渐进式训练范式：

1. VLA 与世界模型联合训练

架构： 多模态输入（多视图图像、文本提示、历史动作和 BEV 表示）被标记化并输入到视觉-语言模型（VLM）中，具体利用 InternVL 的隐藏状态作为共享潜在空间 ( $H_t$ )。
机制： 模型从该共享表示中共同学习未来的 BEV 想象和动作预测。
- 想象： 一个去噪器根据历史记录预测未来的 BEV 状态 ( $B_{t+\Delta t}$ )。
- 动作： 一个轻量级解码器预测未来的动作 ( $A'_{t+\Delta t}$ )。
目标： 促进世界模型知识向 VLA 的转移，并为想象和规划建立一个共同的特征空间。

2. 动作可控性微调

解决的问题： 初步的协同训练缺乏对未来动作的约束，导致模型无法基于前瞻性动作来想象结果。
机制： 此阶段引入了动作条件的“如果……会怎样”推理。
- 去噪器的第二个分支采用了**扩散 Transformer（DiT）**架构。
- 它学习一个以当前 BEV 状态和真值（GT）未来动作为条件的流匹配（flow-matching）去噪过程。
- 这使得模型能够生成与候选动作序列相对应的特定未来场景，实现从外推到反事实模拟的转变。

3. 未来引导的评估与精炼

机制： 建立了一个闭环交互过程。
1. 模型预测未来动作 ( $A'$ )。
2. 这些动作作为条件，驱动生成分支产生动作条件的未来想象 ( $B'$ )。
3. 一个学习到的奖励函数评估想象的未来与实际未来之间的一致性，并分配标量分数。
优化： 动作头使用奖励加权损失 ( $L'_{act}$ ) 进行精炼，优先考虑那些会导致有利想象结果的轨迹。这实现了具备后果意识的决策。

核心贡献

统一框架： 提出了 DriveWorld-VLA，这是一个将世界模型作为连接动作与前瞻性想象的推理引擎的紧耦合系统。
特征级共享： 引入了使用 LLM 隐藏状态的共享潜在空间，用于同时进行想象和动作预测，使模型能够内化物理定律和环境动力学。
动作条件推理： 开发了一种通过“如果……会怎样”推理来生成和评估候选轨迹的机制，促进了主动的、具备后果意识的决策。
渐进式训练： 验证了一种三阶段训练范式，该范式通过顺序对齐感知、强化可控性和通过奖励反馈精炼决策，实现了稳定的联合优化。

实验结果

作者在闭环（NAVSIM）和开环（nuScenes）基准测试上对 DriveWorld-VLA 进行了评估，展示了其达到最先进水平（SOTA）的性能。

NAVSIMv1 (闭环)： 实现了 91.3 的预测驾驶模型得分（PDMS），超越了 LAW、Epona 和 DriveVLA-W0 等专门的基准模型。它实现了 99.1% 的无碰撞（NC）率和 85.9% 的自车进展（EP）。
NAVISMv2 (闭环)： 实现了 86.8 的扩展预测驾驶模型得分（EPDMS），并在可行驶区域合规性（99.1%）、行驶方向（99.6%）和车道保持（97.0%）方面表现出色。
nuScenes (开环)： 实现了平均 3 秒 碰撞率（CR）为 0.16% 以及 0.61m 的 L2 误差，在安全指标上显著优于 FSDrive 和 HERMES-p 等方法。

消融实验证实了：

三个训练阶段中的每一个都对性能有增量贡献。
渐进式训练策略优于非渐进式（同步）训练，后者会导致显著的性能下降（-7.7 PDMS）。
特征级监督（通过去噪过程）至关重要；仅依赖任务级监督会降低性能。
在初始阶段应优化 VLM 参数，而不是将其完全冻结或仅依赖预训练。

意义与主张

论文声称，DriveWorld-VLA 通过在单一架构内统一生成式想象和主动决策，代表了显著的进步。通过将世界模型潜变量优化为决策变量，该框架使 VLA 规划器能够直接从整体场景演变建模中获益。

作者强调，这种方法减少了对密集标注监督的依赖，并允许系统通过可控想象来评估候选动作如何影响未来的场景演变。结果表明，特征级共享和因果展开引导对于自动驾驶中鲁棒、安全的决策至关重要，推动该领域从反应式规划向具备长时程、后果意识优化能力的系统迈进。