技术摘要：MindVLA-U1

问题陈述

自动驾驶已从模块化流水线演进为端到端统一架构。尽管视觉到动作（VA）模型通过将传感器输入映射到连续轨迹，实现了最先进的规划质量，但它们缺乏显式的、可检查的语义推理能力。视觉 - 语言 - 动作（VLA）模型被提出以通过引入基于语言的理解来弥合这一差距。然而，现有的驾驶 VLA 在规划质量上始终落后于 VA 模型。

作者认为，这一性能差距并非 VLA 范式的固有局限，而是先前工作中接口级设计失败的结果：

1. 不匹配的动作接口：许多 VLA 将轨迹解码为离散的语言 token，施加了不适用于厘米级控制的精度下限，或使用独立的动作专家，导致动作上下文无法影响 VLM 的自注意力机制。
2. 低效的时间建模：先前的模型通常将驾驶处理为固定长度的视频 - 动作块，导致边界处出现不连续性，并对多帧输入进行冗余的 token 处理。
3. 缺乏可测量的语言控制：在大多数驾驶 VLA 中，语言功能在推理时实际上处于休眠状态（以带有 VLM 权重的 VA 模式运行），缺乏从语言意图到连续动作生成的显式、可测量的路径。
4. 僵化的计算：标准的 VLA 骨干网络即使在常规驾驶时刻也施加了高昂的推理成本，缺乏快/慢执行模式的机制。

方法论：MindVLA-U1

MindVLA-U1 被提出为第一个统一的流式 VLA 架构，专门设计用于解决这些接口问题。

1. 统一共享骨干网络

核心创新在于单个 VLM 骨干网络，它在单次前向传播中联合处理视觉、自车状态、语言、记忆和含噪动作 token。

• 双头输出：模型同时生成自回归（AR）语言 token（可选）和流匹配（扩散风格）连续动作轨迹。
• 连续动作：与先前基于离散 token 的方法不同，动作 token 与视觉和语言 token 一起流经每一个 Transformer 层。一个轻量级的流匹配 MLP 读取动作位置处的速度场，从而保留连续控制精度。
• 共享权重：两种模态共享相同的 Transformer 权重，确保基于场景的特征能够协同而非竞争。

2. 流式范式

为了在不进行冗余计算的情况下处理驾驶的时间特性：

• 逐帧处理：模型将驾驶处理为单帧流，而非固定视频块。
• 流式记忆：一个有界的先进先出（FIFO）通道携带跨帧的紧凑、可学习的记忆表示（$m_i$）。该记忆通过 Q-Former 风格的传播 Transformer 进行端到端更新。
• 运动对齐：记忆 token 在读取时与当前自车姿态进行运动对齐，确保车辆移动时的空间一致性。这消除了 VLM 关注冗余多帧视频 token 的需求。

3. 语言到动作的桥梁（Intent-CFG）

为了使语言推理具有可操作性，作者引入了**意图分类器自由引导（Intent-CFG）**机制：

• 语言头通过下一个 token 预测来预测驾驶意图 token（例如“直行”、“左转”）。
• 该意图 token 被嵌入并添加到动作 MLP 的时间嵌入中。
• 在推理期间，模型运行两次前向传播（分别以预测的意图 $z$ 为条件和无条件 $\emptyset$）。速度场使用 CFG 进行混合：
  $$v_{cfg}(x_t, t) = v_\theta(x_t, t; \emptyset) + s (v_\theta(x_t, t; z) - v_\theta(x_t, t; \emptyset))$$
• 这将语言侧的意图转化为连续轨迹生成的可控信号。

4. 通过 MoT 实现快/慢执行

该架构支持灵活的计算分配：

• 注意力掩码：通过组合注意力掩码，系统支持四种推理顺序（例如 vqa_first、action_only）。action_only 路径在物理上排除语言 token，从而实现类似反射的速度。
• 稀疏混合 Transformer（MoT）：骨干网络可被拆分为并行的专家组（上下文：视觉/语言；动作：记忆/自车/动作），共享全局注意力池。这使得动作组可以独立运行以实现快速推理，同时保持统一的表示。

5. 数据与训练

• 数据集：在**Waymo 开放数据集端到端（WOD-E2E）**上进行训练。
• MindLabel：一个自动标注流水线生成基于场景的 VQA 对和基于驾驶意图的“想象”替代轨迹，以在原始日志缺乏之处提供语言和偏好监督。
• 训练目标：在共享骨干网络上对 AR 损失（用于语言）和流匹配损失（用于动作）进行联合优化。

关键结果

在 WOD-E2E 基准测试上的评估结果：

• 规划质量：MindVLA-U1 在验证集上实现了8.20 的评估者反馈分数（RFS）（经 RL 后训练后），超越了经验丰富的人类驾驶员（8.13 GT RFS）。在官方测试集上，其 RFS 达到 7.87，优于所有先前的 VA 和 VLA 方法。
• 精度：它在保持连续动作精度的同时，以大幅优势实现了超越先前方法的平均位移误差（ADE）的最先进水平。
• 吞吐量：快速推理路径（仅动作）实现了约 16 FPS（在匹配规模下），与 RAP-DINO（约 18 FPS）等强大的 VA 基线相当，同时保留了自然语言接口。
• 语言控制：Intent-CFG 机制成功引导了动作扩散。基于不同意图的条件化产生了定性上不同且语义一致的操作，展示了从语言到动作的可测量因果路径。
• 扩展与解耦：实验表明，规划质量（RFS）在结构上与 VLM 语言质量解耦。即使 VLM 的语言生成能力退化（例如使用未经指令微调的基础模型），只要共享骨干网络学习了有效的场景表示，Intent-CFG 的可控性依然有效。

意义与主张

该论文声称，自动驾驶中 VLA 与 VA 性能之间的差距主要是接口问题，而非范式局限。MindVLA-U1 证明了：

1. 统一架构：语义推理和连续控制可以在单次前向传播中共存，而无需牺牲精度。
2. 流式效率：长视野规划可以通过高效的记忆传播实现，而非代价高昂的多帧注意力。
3. 可操作的语言：语言意图可以通过 CFG 直接转化为控制信号，从“语言作为辅助任务”转变为“语言作为控制机制”。
4. 部署可行性：单个统一模型可以支持 deliberative（慢速）和 reflexive（快速）驾驶模式，缩小了此前阻碍 VLA 部署的吞吐量差距。

作者将 MindVLA-U1 定位为迈向完全自动驾驶（L4）的一步，验证了可以在不牺牲自然语言接口或控制精度的情况下弥合 VLA-VA 差距。他们承认了局限性，包括依赖开环评估（WOD-E2E 为日志数据）、单一基准聚焦，以及需要进一步研究 VLA 扩展定律和闭环训练。