🤖 AI

OmniDrive: An LLM-Choreographed Multi-Agent World Model with Unified Latent Co-Compression for Multi-View Driving Video Generation

本文介绍了 DRIVE-CHOREO，一种由大语言模型（LLM）编排的多智能体世界模型，它通过共享的潜在标记序列（latent token sequence）和协同压缩策略，将异构驾驶控制与多视图几何统一起来，实现了最先进的一致性，并证明了其在自动驾驶任务中的显著下游效用。

原作者： Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijie Meng, Yufei Liu, Chengqian Ma, Zhiyu Li, Jiyuan Liu, Wenhua Nie, Bingcai Wei, Shuqin Chen, Weichen Xu, Jiquan Yuan, Miao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向机器人展示驾驶视频来教它如何开车。机器人需要同时理解三件事：驾驶员在说什么（语言）、车辆和道路在哪里（几何结构），以及摄像机实际看到了什么（像素）。

长期以来，AI 研究人员一直难以让这三者顺畅地协同工作。这就像是在指挥一个管弦乐团，但小提琴手在读乐谱，鼓手在听播客，而歌手在即兴发挥，且没有指挥。其结果往往是一场混乱的演出：车可能会突然瞬间移动，天空在不同摄像机之间变换颜色，或者机器人忽略了交通灯。

这篇论文介绍了 OMNIDRIVE，它是一个全新的系统，扮演着首席电影导演的角色来解决这一混乱局面。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“脱节”的剧组

目前的驾驶视频 AI 模型通常将“是什么”（语言）和“在哪里”（地图）与“看起来像什么”（视频）分开处理。

问题在于： 它们试图在视频基本生成之后，再将这些独立的部件粘合在一起。这就像是在电影已经开始播放后，才试图把一张地图贴在电影屏幕上。其结果往往会出现“漂移”现象，例如左侧摄像机看到的是一棵树，但右侧摄像机看到的却是一栋建筑，或者汽车发生了奇怪的跳跃。

2. 解决方案：“三智能体”导演

OMNIDRIVE 用一个由三个专业 AI 智能体（由大语言模型驱动）组成的团队取代了混乱的胶水，这些智能体在视频创建之前和期间协同工作。把它们想象成一个电影制作团队：

建筑师（编剧）： 你给它一个简单的提示词，比如“在雨夜的城市中穿行”。建筑师会将此转化为一份严格、结构化的剧本，称为 WORLDSCRIPT（世界剧本）。它会详细列出天气情况、自车（你的车）的行驶方向以及其他车辆的位置。
制图师（场景设计师）： 这个智能体获取剧本并绘制出一张“蓝图”或稀疏地图。它并不绘制整个视频，而只是画出道路线条、车道以及围绕其他车辆的方框。它将文本转化为与摄像机视角相匹配的视觉地图。
审计员（质量控制检查员）： 在视频生成过程中，这个智能体负责观察不同的摄像机视图。如果前置摄像机看到的是一辆红车，而侧面摄像机看到的却是蓝车，审计员就会大喊：“嘿，这不对劲！”并指示系统立即修正。

3. 核心秘诀：“潜空间共压缩”（Latent Co-Compression）

这是该论文中最具技术性但也最关键的创新。通常情况下，AI 会分别观察汽车上的六个摄像机，就像是一个接一个地通过六扇不同的窗户看出去。

OMNIDRIVE 的做法不同。它将来自六个摄像机的视频和来自制图师的“蓝图”全部提取出来，在 AI 开始生成视频之前，就将它们缝合成一个单一的、长条状的数据块。

类比： 想象你有六块不同的拼图碎片。与其在涂完色后再尝试将它们拼凑在一起，不如先将它们全部粘贴在一块大板上。然后，你一次性为整块板涂色。因为它们在板上是物理连接在一起的，所以油漆（视频）会自然地从一个摄像机流向下一个，不会出现间隙或错误。
结果： AI 将其视为一个统一的 3D 物体，而不是六张独立的 2D 图片。这确保了如果一辆车在左边，它也必然在右边，且位置完全准确。

4. 结果：一部完美对齐的电影

由于语言、地图和视频从第一步起就是“编排”在一起的：

不再有重影： 车辆不会在不同摄像机视图之间消失或瞬间移动。
完美的连贯性： 所有六个摄像机之间的光照和阴影都能完美匹配。
现实应用： 论文表明，如果仅使用由 OMNIDRIVE 生成的视频来训练自动驾驶汽车的大脑，那么这辆车在现实世界中的驾驶表现实际上比仅用真实素材训练的汽车更好。

总结

OMNIDRIVE 就像是自动驾驶视频生成的超级导体。它不再让语言、地图和摄像机彼此争吵，而是强迫它们坐在同一张桌子旁，使用同一种语言，并保持完美的同步。其结果是一个如此逼真且连贯的驾驶模拟系统，以至于它真的可以教会真实的汽车如何安全驾驶。

技术摘要：OMNIDRIVE

1. 问题陈述

自动驾驶世界模型面临两个持续存在且尚未解决的张力，这些张力阻碍了高保真、可控多视图视频的生成：

异构控制注入（Heterogeneous Control Injection）： 现有系统难以统一本质上不同的控制模态。几何线索（HD-map、3D 框、相机姿态）在像素网格上具有空间锚定性，而语义线索（自由文本、天气、风格）则是全局弥散的。目前的方法通常采用分离的分支（例如，用于几何结构的 ControlNet 和用于文本的交叉注意力机制），这些分支在扩散过程尝试进行事后协调之前，在逻辑上是脱节的。
事后跨视图融合（Post-Hoc Cross-View Fusion）： 大多数方法通过独立的 3D VAE 对每个相机视图进行独立压缩，然后仅通过跨视图注意力进行融合。这导致生成的相机局部潜变量缺乏全局 3D 几何意识，即使在单个视图质量指标（FID）具有竞争力的情况下，仍会导致持续的跨视图漂移、光度闪烁和物体瞬移问题。

作者认为，这两个失败的根本原因在于缺乏一个能够将语言、几何和像素在潜变量标记（latent-token）层面对齐的共享符号中间语言（shared symbolic interlingua）。

2. 方法论

OMNIDRIVE 将可控多视图视频生成重新定义为一个由多智能体系统编排、并通过新型压缩策略统一的**潜变量编舞（latent choreography）**问题。

A. LLM 编排的多智能体系统

OMNIDRIVE 没有采用单体式的“提示词到编码器”流水线，而是采用了三个专门的 Qwen2.5-VL 智能体，它们共同构建了一个单一的、具备位置感知能力的标记序列：

架构师（ARCHITECT）： 将自由形式的用户提示词解析为结构化的 WORLDSCRIPT（JSON）。该脚本编码了全局状态（天气、时间）、自我轨迹、智能体列表（类别、位置、行为）以及道路拓扑。输出结果被嵌入为语义标记（ $C_{sem}$ ）。
制图师（CARTOGRAPHER）： 将 WORLDSCRIPT 落地为空间锚定的几何结构。它为每个相机和时间步程序化地渲染稀疏布局图像（栅格化的 HD-map、投影的 3D 框、自我路径带）。这些布局被编码为几何标记（ $C_{geo}$ ），并与视觉标记共享完全相同的空间位置索引。
审计师（AUDITOR）： 在训练期间，该智能体通过消费解码后的多视图裁剪图像和 WORLDSCRIPT 来生成结构化批判（一致性评分和失效模式标签），这些信息作为评审标记（ $C_{rev}$ ）提供辅助监督。

B. 潜变量共压缩（Latent Co-Compression）

为了解决跨视图一致性问题，OMNIDRIVE 引入了潜变量共压缩，取代了独立的单相机编码过程：

视图-时间置换（ $\Pi$ ）： 将六相机 $\times$ 时间的视频立方体展平为一个伪时间流，其中时间维度定义为 $\tilde{t} = (n-1)T + t$ 。该置换操作同时应用于 RGB 视频和 CARTOGRAPHER 的几何布局图像。
统一 3D VAE： 一个在通用视频上预训练的单一 3D VAE 对置换后的张量进行编码。由于置换是度量保持且正交的，它保持了编码器的 Lipschitz 常数。
视图-块感知填充（VBP）： 为了防止卷积感受野跨越不同的相机视图（这会导致混合无关的空间上下文），应用了一个可学习的掩码算子。这确保了时间内核仅聚合来自不同视图的同一时刻的信息，从而减少了相机间的差异。
共享噪声终点： 对于在同一物理瞬间捕捉到的视图，流匹配公式中的噪声终点（ $z_1$ ）是共享的，从而进一步降低了光度差异。

C. 编排化生成（MM-DiT）

共压缩的潜变量被分块（patchified）并与智能体创作的标记（ $C_{sem}, C_{geo}, C_{tmp}, C_{rev}$ ）拼接成一个统一序列 $S$ 。

位置模式（Positional Schema）： 几何标记（ $C_{geo}$ ）与视觉标记（ $X$ ）共享相同的 3D 位置索引 $(\tilde{t}, i, j)$ ，从而实现像素级的几何落地。语义标记被偏移，而时间标记则是正弦波形式。
偏置注意力（Biased Attention）： 在多模态注意力机制中应用了一个可控偏置，通过标量增益 $\gamma_{geo}$ 特别加强视觉标记与几何标记（ $X$ 与 $C_{geo}$ ）之间的注意力。这通过显式的空间对齐，将多分支交叉注意力合并为一个单一的自注意力机制。

D. 训练与推理

损失函数： 模型使用结合了等变性感知平滑项（ $L_{sm}$ ，用于惩罚非物理性的潜变量跳变）的条件流匹配（ $L_{CFM}$ ）进行训练，并结合了 AUDITOR 损失（ $L_{rev}$ ），该损失将视图间的速度分歧与评论员的一致性评分进行对齐。
推理： 生成通过整流流（rectified-flow）ODE 解算器（Heun 步）进行。在测试时，可以调用 AUDITOR 对中间样本进行评分，并在一致性评分低于阈值时触发单次精细化步骤。

3. 核心贡献

OMNIDRIVE 架构： 首个将语言理解、几何布局和像素生成统一到单一位置感知标记网格中的多智能体驾驶世界模型。
潜变量共压缩： 一种新颖的视图-时间置换策略，将相机间的 3D 约束转化为共享 3D VAE 内的局部卷积依赖，消除了对事后融合的需求。
LLM 编排化调节（LLM-Choreographed Conditioning）： 一个由三个专门智能体（ARCHITECT, CARTOGRAPHER, AUDITOR）组成的框架，其创作的调节序列在标记层面与视觉网格绑定，实现了细粒度的解耦控制。
最先进的性能： 该模型在 nuScenes 数据集上刷新了多视图一致性和可控性的基准。

4. 实验结果

在 nuScenes 验证集（6 个相机，32 帧，880×1280 分辨率）上进行评估：

质量与一致性： OMNIDRIVE 实现了 45.7 的 FVD 和 65.6% 的多视图一致性得分（PC），显著优于 MagicDrive-V2（FVD 64.8, PC 62.8%）和 UniMLVG 等基线模型。与排名第二的模型相比，它将对极线光度误差（EPC）降低了约 28%。
可控性： 该模型在生成数据上的 BEV mAP 为 21.55，mIoU 为 18.87，超越了所有其他方法。
下游效用： 一个纯粹在 2 万个由 OMNIDRIVE 生成的合成片段上训练的检测器（BEVFormer-S），在真实的 nuScens 验证数据上实现了 36.8 mAP 和 44.0 NDS。这比仅在真实数据上训练的基线模型提升了 +2.4 NDS，验证了其合成语料库的高效用性。
效率： OMNIDRIVE 运行在质量与延迟的帕累托前沿，生成片段仅需 9.6 秒（比 UniMLVG 快 2.4 倍），且内存占用更低。

5. 重要性与主张

论文声称 OMNIDRIVE 解决了驾驶世界模型中长期存在的保真度与可控性之间的权衡。通过建立一个“共享符号中间语言”，使符号语言、渲染几何和像素潜变量共享一个完全对齐的坐标系，该系统实现了：

真正的可控性： 用户可以通过更换 WORLDSCRIPT 中的单个字段（例如天气、轨迹）来改变特定属性，而不影响其他属性，展示了细粒度的、解耦的控制。
几何落地： 共压缩方法确保了几何约束在潜变量层面得到遵守，防止了独立编码方案中常见的“跨视图漂移”和“物体瞬移”。
实际效用： 生成的数据不仅在视觉上具有合理性，而且在功能上具有价值，能直接提升在真实世界数据上训练的下游感知模型的性能。

作者将 OMNIDRIVE 定位为迈向“真正可控”的生成式世界模型的基石，使其超越了脱节的控制流，转向一个统一的、由智能体协调的生成过程。