💻 computer science

OmniNWM: Omniscient Driving Navigation World Models

OmniNWM 引入了一种统一的概率世界模型，通过生成对齐的全景多模态视频，同时解决了状态、动作和奖励维度的问题，通过几何动作编码实现精确的零样本轨迹控制，并从 3D 占据空间中推导出内在的稠密奖励，以进行鲁棒的闭环规划评估。

原作者： Bohan Li, Zhuang Ma, Dalong Du, Baorui Peng, Zhujin Liang, Zhenqiang Liu, Xianda Guo, Zheng Zhu, Chao Ma, Yueming Jin, Xin Jin, Hao Zhao, Wenjun Zeng

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bohan Li, Zhuang Ma, Dalong Du, Baorui Peng, Zhujin Liang, Zhenqiang Liu, Xianda Guo, Zheng Zhu, Chao Ma, Yueming Jin, Xin Jin, Hao Zhao, Wenjun Zeng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人开车。为了安全起见，你不能只给它看几段视频；你需要在计算机内部构建一个虚拟世界，让机器人在其中练习驾驶、犯错，并从错误中学习，而不会撞毁一辆真实的汽车。

这篇论文介绍了一种名为 OmniNWM 的新型“虚拟驾驶模拟器”，它比以往的版本要聪明得多。作者称其为“全知”（Omniscient）世界模型，因为它不仅是在猜测道路的样子，它还同时理解道路、车辆的运动以及其行为所带来的后果。

以下是它的工作原理，通过三个日常类比将其拆解为三个简单的部分：

1. “全能之眼”（状态/State）

问题： 旧的模拟器就像是一个戴着眼罩的人，一次只能看到一件东西。它们可能会生成一段道路视频，但如果它们试图猜测树木的距离或标志牌的颜色，这些猜测往往与视频内容不符。这就像在看一部背景随机变化的电影。

OmniNWM 的解决方案： OmniNWM 就像一位大师级的画家，在同一块画布上同时绘制四个不同版本的场景：

照片 (RGB)： 摄像头看到的画面。
地图 (语义/Semantics)： 物体是什么（例如：“那是一辆车”、“那是一条路”）。
尺子 (深度/Depth)： 物体有多远。
3D 模块 (占用/Occupancy)： 一个实体的 3D 模型（空间里是空气还是墙壁？）。

因为它是同时绘制这四种视图的，所以它们能够完美对齐。如果机器人在“深度”版本中认为一辆车在 10 米处，那么“照片”版本中的车也会呈现出正确的尺寸。这确保了虚拟世界的物理一致性。

2. “万能遥控器”（动作/Action）

问题： 在旧的模拟器中，教机器人左转就像是用一个只能控制特定品牌电视的遥控器来教它开车。如果你更换了摄像头设置（即换了一台“电视”），遥控器就会失效。机器人会感到困惑，因为它学到的是摄像头的“形状”，而不是“转向”这个概念本身。

OmniNWM 的解决方案： 作者发明了一个被称为**“归一化全景射线图”（Normalized Panoramic Ray-map）的“万能遥控器”**。

想象你有一张城市地图。无论你是从北向南看，还是从南向北看，甚至是倒过来观察，城市的布局都不会改变。
OmniNWM 将每条驾驶指令（如“左转”或“直行”）转化为这种通用的地图语言。
这意味着机器人可以在一个城市（使用一套特定的摄像头）中学习驾驶，然后立即在另一个拥有不同摄像头的完全不同的城市中驾驶，而无需重新学习任何东西。它理解的是转向的几何逻辑，而不只是摄像头的角度。

3. “天生的良知”（奖励/Reward）

问题： 通常，为了教机器人，你需要一个人类老师在它每做一个动作后说：“做得好！”或“做得不好！”。在计算机模拟中，这个老师通常是一个独立的、黑盒化的程序，它可能会出错或表现得前后不一。

OmniNWM 的解决方案： OmniNWM 给机器人赋予了一个内置的良知。

因为模拟器创建了一个完美的 3D 世界模型（即前面提到的“占用”模型），机器人可以立即检查：“我是不是撞墙了？”或者“我是不是开上人行道了？”
计算机根据物理规律自动计算“得分”（奖励）。如果机器人开进了虚拟的树木，它会受到惩罚；如果它保持在车道内，它会获得奖励。
这创造了一个闭环：机器人驾驶，世界检查其安全性，给出评分，然后机器人利用该评分来规划下一步行动。这就像玩电子游戏，游戏引擎本身就会告诉你是在赢还是在输，而不需要一个人类裁判。

为什么这很重要？

论文声称，由于 OmniNWM 结合了这三点（清晰地观察一切、理解通用运动、自动判断安全性），它可以：

驾驶时间更长： 它不会像旧模型那样在行驶几秒钟后就感到困惑或“偏离”路线。
处理新情况： 它可以驾驶在从未见过的城市中（如 nuPlan 数据集），因为它理解驾驶的通用规则，而不仅仅是它所训练的具体数据。
模拟交互： 如果机器人试图切入一辆卡车的前面，模拟器会自然地让卡车“减速”或“让行”，因为模拟器学习了真实驾驶员如何反应，而不是靠程序脚本来设定。

简而言之，OmniNWM 是一个自给自足的高保真驾驶学校，机器人可以在其中练习数小时，从自己的错误中学习，并成为一名安全的驾驶员，而无需人类时刻在旁指导，也不需要特定的摄像头设置也能正常工作。

技术摘要：OmniNWM – 全知驾驶导航世界模型

1. 问题陈述

自动驾驶世界模型旨在逼近现实环境的联合多模态后验分布，在单一概率框架内统一状态预测、动作评估和奖励分配。然而，现有方法面临三个根本性的瓶颈，阻碍了真正“全知”世界模型的实现：

状态的长程联合一致性：当前方法通常依赖单模态 RGB 视频，或将多模态传感器模拟（如深度、语义）视为独立的条件任务。这导致了“条件独立谬误”，由于自回归暴露偏差的存在，在长时程展开过程中会导致像素级对齐失效以及时间相干性快速退化。
动作的几何协变量偏移：精确的相机控制受限于运动动力学与特定传感器安装几何结构的纠缠。现有的稀疏表示（如路径点、原始相机位姿）过度拟合特定的外参标定，无法在新的数据集、相机配置或轨迹类型上实现零样本泛化。
缺乏内在奖励：有效的世界模型需要具有物理基础的奖励信号，以闭合生成与规划之间的环路。当前方法通常依赖于外部黑盒奖励模型，这些模型存在分布偏移问题，无法有效地在生成的环境中评估规划智能体。

2. 方法论

OmniNWM（全知全景导航世界模型）通过在一个一致的概率框架内统一状态、动作和奖励来解决这些挑战。

2.1 全面的状态生成

OmniNWM 采用 全景扩散 Transformer (PDiT) 来联合优化全景 RGB、语义和度量深度视频。

联合潜空间编码：不同于分离的重建损失，多模态被投影到一个共享的潜流形中。语义图经过着色和离散化处理以保持拓扑结构，而 RGB、语义和深度的潜变量在通道维度上进行拼接。
统一去噪动力学：PDiT 在该联合潜变量上近似条件逆向扩散过程。共享优化确保了像素级的对齐，因为来自深度和语义的梯度会反向传播到联合变量中，从而实现输出同步。
几何提升：一种轻量级几何映射将 2D 观测提升为 3D 语义占据网格 ( $V_{occ}$ )。EfficientNet-B7 U-Net 提取特征，并通过 3D 卷积进行聚合以计算体素体积，确保 3D 结构在视觉观测中保持接地（grounded）。

2.2 规范化动作编码

为了减轻几何协变量偏移，OmniNWM 引入了 归一化全景普吕克射线图 (Normalized Panoramic Plücker Ray-map) 编码方案。

无参数编码：输入轨迹被映射到高维射线图中，使用无参数编码器，避免了对学习到的语义先验的依赖。
规范化投影：原始普吕克嵌入对绝对尺度和位姿敏感。OmniNWM 通过将所有相机射线投影到一个统一的参考系（例如初始前视图）中，将运动动力学与特定设备的几何结构解耦。这涉及将像素反投影为单位归一化的世界方向向量并应用刚体变换。
结果：这创建了一种几何不变的表示，将多视图轨迹统一到共享的 3D 普吕克空间中，从而实现了跨不同相机架和未见数据集的零样本控制。

2.3 结构化全景强迫

为了稳定长时程生成并减轻暴露偏差，本文提出了 结构化全景强迫 (Structured Panoramic Forcing) 策略。

结构化噪声注入：不同于标准的高斯噪声，训练过程注入了模拟结构耦合误差的层级噪声：时间漂移 ( $\epsilon_{temp}$ ) 和空间不一致性 ( $\epsilon_{spat}$ )。
随机流形增厚：通过在扰动状态上进行训练，模型学习到一种恢复映射，将有效的训练数据流形从薄的真值表面扩展为管状邻域。这鼓励转换算子表现出局部收缩特性，从而抑制而非放大扰动，从而实现超越真值（GT）时界限的稳定生成。

2.4 内在奖励与闭环模拟

OmniNWM 建立了一个闭环模拟循环，其中生成的 3D 语义占据网格作为 内在效用函数。

稠密奖励：奖励直接源自生成的占据体积，通过三个组件评估安全性与合规性：碰撞惩罚（基于障碍物相交）、可行驶区域约束以及交通流效率。
OmniNWM-VLA 智能体：一个专门的视觉-语言-动作（VLA）智能体，基于 Qwen-VL 并配备三模态 Mamba 解释器（Tri-MMI），处理全景上下文并在 12Hz 下进行推理和规划未来轨迹。智能体的输出被编码为规范化普勒克射线图，以调节下一个生成步骤。

3. 核心贡献

统一的状态-动作-奖励框架：OmniNWM 是一个统一的框架，共同建模自动驾驶的三要素。它通过联合优化全景 RGB、语义和深度，解决了模态漂移问题，确保生成的 3D 语义占据网格与视觉观测保持一致。
规范化几何动作编码：引入归一化全景射线图，通过将运动与传感器内参解耦，实现了精确的动作控制以及跨不同相机架和未见场景的零样本泛化。
结构化全景强迫：一种新颖的训练策略，显式地减轻了自回归漂移和误差累积，实现了稳定的长时程预测（超过 200 帧），其性能超过了训练时界限。
闭环模拟循环：该框架展示了一个完整的闭环循环，其中基于占据网格的内在稠密奖励用于评估规划智能体，而智能体进而推理并规划未来轨迹，从而构建了一个自洽的模拟环境。

4. 实验结果

在 nuScenes、nuPlan 和内部数据集上的广泛实验表明：

生成保真度：OmniNWM 在视频生成质量方面达到了 SOTA 水平，在 nuScenes 验证集上的 FID 为 5.45，FVD 为 23.63，在不依赖重型体积输入的情况下优于 DriveDreamer-2 和 MagicDrive-V2。
控制精度：该方法显著降低了相机控制漂移。在 nuScenes 验证集上，它实现了 1.18m 的平移误差和 0.16 rad 的旋转误差，显著优于基线模型 UniScene（7.56m 平移误差）和 CameraCtrl。
零样本泛化：模型在零样本设置中表现出卓越的鲁棒性。在 nuPlan 数据集（训练期间未见）上，它保持了较低的误差（0.28 rad 旋转误差，1.65m 平移误差）并实现了 79.24 的 FVD，而基线模型由于几何协变量偏移而承受了极高的轨迹误差。
长时程稳定性：通过结构化全景强迫，模型在 201 帧内仍能保持稳定的生成质量（FVD ~25.22），相比之下，纯自回归基线模型的 FVD 会崩溃至 386.72。
占据预测：仅使用相机输入，OmniNWM 在 nuScenes-Occupancy 数据集上实现了 19.8 的 SOTA mIoU，优于基于相机的判别式方法和基于 LiDAR 的方法（如 L-CONet 的 15.8 mIoU）。
规划评估：在闭环评估中，OmniNWM-VLA 智能体实现了 87.3% 的场景通过率（SPR），显著优于基线模型 Impromptu-VLA。

5. 重要意义

本文声称 OmniNWM 弥合了高保真视频合成与安全关键型规划之间的鸿沟。通过在一个单一的概率框架内统一状态-动作-奖励三元组，它解决了当前模块化架构中普遍存在的碎片化问题。规范化几何编码和内在奖励的引入，为下一代自动驾驶模拟奠定了稳定的闭环基础，使得在无需外部奖励模型或特定传感器标定的情况下，能够在具有物理基础的长时程环境中评估规划智能体。