💻 computer science

OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models

该论文提出了名为 OneDrive 的统一多范式自动驾驶框架，通过在单一 Transformer 解码器中整合视觉 - 语言 - 动作模型，实现了从感知到规划任务的端到端联合优化，并在 nuScenes 和 NAVSIM 基准测试中取得了最先进的性能。

原作者： Yiwei Zhang, Xuesong Chen, Jin Gao, Hanshi Wang, Fudong Ge, Weiming Hu, Shaoshuai Shi, Zhipeng Zhang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiwei Zhang, Xuesong Chen, Jin Gao, Hanshi Wang, Fudong Ge, Weiming Hu, Shaoshuai Shi, Zhipeng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OneDrive 的自动驾驶新系统。为了让你轻松理解，我们可以把自动驾驶比作一位经验丰富的“老司机”在开车，而传统的自动驾驶系统则像是一个分工过细的“流水线工厂”。

1. 以前的痛点：分工太细，沟通不畅

想象一下，以前的自动驾驶系统（End-to-End Driving）像是一个大型工厂：

感知部门：专门负责看路（识别行人、车道线）。
规划部门：专门负责想怎么开（决定加速、转弯）。
语言部门：专门负责跟乘客聊天（“前面有红灯，请系好安全带”）。

问题在于：这三个部门是分开办公的，甚至用的是不同的“语言”和“工具”。

感知部门用一套复杂的 3D 建模工具。
语言部门用的是大语言模型（像 ChatGPT 那样，一个字一个字地说话）。
规划部门又是另一套逻辑。

这就导致它们之间沟通成本很高，信息传递容易失真，而且很难把那个强大的“语言大脑”（预训练的大模型）直接用到开车上，因为它们的“思维方式”（架构）完全不同。

2. OneDrive 的创意：一位“全能型”老司机

OneDrive 的核心思想是：为什么要分三个部门？不如请一位“全能型老司机”来同时搞定所有事！

这位“老司机”（基于预训练的视觉 - 语言模型，VLM）原本就擅长：

看图说话（理解图片内容）。
逻辑推理（回答问题）。

OneDrive 发现，这位老司机的核心大脑（注意力机制） 其实非常强大，不仅能处理文字，也能处理开车需要的“结构化数据”（比如坐标、轨迹）。

它的创新做法（比喻版）：

统一语言（Token 化）：
以前，把“看到的一辆车”和“说一句话”混在一起很难。OneDrive 把所有的信息（摄像头拍到的画面、要检测的物体、要规划的路线、要说的话）都打包成同一种“积木块”（Token），排成一列。
- 就像把“路况照片”、“转弯指令”和“聊天内容”都写在了同一张长纸条上。
保留核心，微调手脚（混合解码器）：
- 大脑（注意力机制）：OneDrive 保留了大模型原本最强大的“注意力机制”。这就像老司机的直觉和观察力，它天生就能把“眼前的景象”和“接下来的动作”联系起来。论文发现，这部分能力可以直接“迁移”到开车上，不需要大改。
- 手脚（特定任务层）：虽然大脑没变，但为了干具体的活（比如画个精准的 3D 框，或者算出精确的刹车距离），他们在浅层加了一些专用的“小工具”（任务特定的前馈网络）。
- 结果：同一个“大脑”（Transformer 解码器），既能像写文章一样生成文字回答，又能像做数学题一样并行计算出 3D 坐标和行驶轨迹。

3. 为什么要这么做？（优势）

效率更高（省时间）：
以前的系统，感知、规划、聊天要跑三个不同的程序，或者像接力赛一样一个个跑。OneDrive 是一次性跑完，就像老司机一边看路、一边想路线、一边跟乘客说话，中间没有停顿。
- 数据：论文显示，它的反应速度比之前的先进系统快了 40%（延迟从 264 毫秒降到 156 毫秒），这对开车安全至关重要。
更聪明（数据共享）：
因为所有任务都在同一个“大脑”里，感知到的信息（比如前面有行人）可以直接、自然地影响规划决策（比如减速），不需要经过复杂的转换。这就像老司机看到行人，大脑瞬间就做出了反应，而不是先告诉“感知部”，再传给“规划部”。
既会开车又会聊天：
它不仅能精准地控制车辆（在测试中碰撞率极低，轨迹很准），还能保留原本大模型强大的多模态生成能力，能跟乘客进行复杂的对话，解释为什么要这样开。

4. 实验结果：真的好用吗？

作者在两个著名的自动驾驶测试场（nuScenes 和 NAVSIM）上进行了测试：

开得稳：在模拟的开放道路测试中，它的轨迹误差很小，撞车率极低（只有 0.18%），是目前最好的水平之一。
反应快：在封闭的闭环测试中，它的综合得分很高，而且因为不需要反复运行大模型，计算成本大幅降低。

总结

OneDrive 就像是把自动驾驶系统从“三个分工明确的工人”升级成了“一位身怀绝技的超级老司机”。

它不再把“看路”、“开车”和“说话”割裂开来，而是利用大模型原本强大的注意力机制，让所有任务在一个统一的框架下协同工作。这不仅让车开得更稳、更安全，还让反应速度更快，为未来的全自动驾驶提供了一种更高效、更聪明的新思路。

OneDrive：基于统一多模态大模型的端到端自动驾驶框架技术总结

1. 研究背景与核心问题 (Problem)

背景：
视觉 - 语言模型（VLMs）在文本生成和多模态推理方面表现出色，但将其直接应用于端到端（E2E）自动驾驶面临巨大挑战。自动驾驶任务具有高度的异构性：

感知与规划：通常采用并行解码（Parallel Decoding），需要同时输出 3D 检测框、车道线、轨迹等结构化数据。
语言推理：通常采用自回归解码（Autoregressive Decoding），按顺序生成文本。

现有方法的局限性：

架构碎片化：现有系统通常引入独立的解码器（如双系统或级联解码器）来处理不同任务，导致骨干网络（Backbone）无法复用，且阻碍了任务间的信息流动。
架构偏离：为了适应 3D 结构（如 BEV 建模），许多方法对原生 VLM 进行了剧烈修改，导致难以利用大规模通用领域数据进行联合训练，限制了模型的可扩展性。
纯视觉性能下降：若保持原生架构不变，模型在纯视觉设置下的多任务表现往往不如专用模型，且难以弥合纯文本生成与复杂结构化输出之间的鸿沟。

核心问题：
能否构建一个单一的预训练多模态模型，在保持原生 VLM 架构（特别是因果注意力机制）的同时，统一处理感知、规划和语言生成等异构任务？

2. 方法论 (Methodology)

作者提出了 OneDrive，一个基于预训练 VLM 的统一多任务框架。其核心思想是在单个 Transformer 解码器内协调异构的解码行为。

2.1 核心洞察 (Key Insight)

通过初步诊断实验发现：

注意力机制（Attention）：预训练的 VLM 注意力模块具有极强的迁移能力，能够有效捕捉查询（Query）与视觉特征之间的对应关系。
前馈网络（FFN）：专为文本生成优化的 FFN 在迁移到结构化任务时效果不佳，甚至导致性能下降。
结论：保留预训练的因果注意力作为共享骨干，仅针对特定任务替换或微调 FFN 和特定层，是解决异构任务统一的关键。

2.2 统一 Token 表示 (Unified Token Representation)

OneDrive 将视觉、结构化查询和文本统一组织为一个序列：
$\mathbf{Z} = [\mathbf{X}_{img}, \mathbf{Q}_{det}, \mathbf{Q}_{lane}, \mathbf{Q}_{plan}, \mathbf{X}_{text}]$

$\mathbf{X}_{img}$ ：图像 Token。
$\mathbf{Q}_{det}, \mathbf{Q}_{lane}$ ：检测与车道线的可学习查询 Token（基于 StreamPETR 构建）。
$\mathbf{Q}_{plan}$ ：规划 Token，每个未来时间步分配一个，初始化为锚定轨迹。
$\mathbf{X}_{text}$ ：文本 Token。

所有 Token 共享同一个序列，通过预训练的**因果注意力（Causal Attention）**进行统一处理。

2.3 混合解码器层 (Mixed Decoder Layers)

为了在保留预训练能力的同时支持并行结构化预测，OneDrive 设计了混合解码器：

共享因果注意力骨干：所有 Token（图像、感知查询、规划查询、文本）在共享的因果掩码下处理。查询 Token 位于图像 Token 之后，自然地通过因果注意力条件化于视觉上下文，无需显式的交叉注意力模块。
感知查询的自注意力增强：在浅层引入额外的自注意力块（Self-Attention），仅作用于结构化感知查询（检测 + 车道），以增强感知任务内部的并行推理能力，同时保持骨干注意力不变。
任务特定的 FFN：将预训练的语言模型 FFN 替换为任务特定的 FFN（用于检测、车道、规划），而文本生成仍使用原始 FFN。

2.4 多阶段训练策略 (Multi-Stage Training)

为确保从预训练 VLM 到多任务驾驶的稳定迁移，采用三阶段训练：

感知 - 语言预训练：冻结 ViT 编码器，微调混合解码器（感知 + 文本），优化感知和语言损失。
规划适配：引入规划 Token，优化规划模块和规划 FFN，同时继续微调 LLM 解码器（LoRA）。
联合微调：解冻所有模块（包括 ViT），在感知、规划和文本目标的联合损失下进行端到端优化。

3. 主要贡献 (Key Contributions)

理论发现：证明了预训练 VLM 的因果注意力机制可以成功迁移到查询与视觉关系的建模中，而预训练的 FFN 则难以直接迁移。
架构创新：提出了 OneDrive，首个在单个 Transformer 解码器内统一实现自回归文本生成、并行感知（检测/车道）和轨迹规划的系统。
性能突破：在 nuScenes 和 NAVSIM 基准测试中取得了最先进（SOTA）的性能，同时显著降低了推理延迟。

4. 实验结果 (Results)

4.1 nuScenes 开环评估 (Open-loop)

轨迹精度：平均 L2 误差达到 0.28m，优于之前的 SOTA 方法（如 SOLVE-E2E 的 0.31m，ColaVLA 的 0.30m）。
安全性：碰撞率（Collision Rate）降至 0.18%，相比 ColaVLA 降低了 23%。
对比：在保持文本生成能力的同时，性能超越了纯动作基线（Action-based baselines）。

4.2 NAVSIM 闭环评估 (Closed-loop)

综合得分：在 NAVSIM 测试集上获得 86.8 PDMS 分数，优于 ReCogDrive (86.5) 和 Query Decoder Baseline (85.0)。
效率：相比 ReCogDrive，推理延迟降低了约 40%（从 263ms 降至 156ms）。
原因：OneDrive 无需转发完整的 LLM 层（仅转发早期层），且无需自定义注意力掩码，充分利用了 FlashAttention 等硬件加速。

4.3 消融实验 (Ablation Studies)

多阶段训练：证明了“感知预训练 + 规划适配 + 联合微调”策略能显著提升最终性能（联合训练后 L2 误差从 0.32m 降至 0.28m）。
Token 顺序：发现 检测 -> 车道 -> 规划 的顺序优于其他排列，且联合训练能进一步利用这种顺序优势。
文本监督：保留文本损失作为正则化项，有助于稳定共享的注意力模块，略微提升感知和规划性能。

5. 意义与影响 (Significance)

统一范式：OneDrive 打破了传统自动驾驶中感知、规划与语言模型分离的架构壁垒，证明了单一预训练 VLM 解码器可以高效处理异构任务。
架构效率：通过复用预训练注意力骨干并最小化架构修改，实现了比现有 VLA（Vision-Language-Action）模型更低的推理延迟，使其更适用于实时自动驾驶场景。
可扩展性：该方法保留了原生 VLM 的结构，使得模型能够更容易地利用大规模通用多模态数据进行预训练和扩展，为未来更强大的自动驾驶模型提供了新的设计思路。
开源贡献：代码和模型已开源，推动了端到端自动驾驶与多模态大模型结合的研究进展。

总结：OneDrive 通过巧妙的“统一序列 + 混合解码器”设计，成功解决了 VLM 在自动驾驶中面临的异构解码难题，在性能、安全性和推理效率上均达到了新的标杆。