EvoDriveVLA: Evolving Autonomous Driving Vision-Language-Action Model via Collaborative Perception-Planning Distillation

本文提出了 EvoDriveVLA，一种通过自锚点感知蒸馏和神谕引导轨迹蒸馏实现感知与规划协同优化的新型视觉 - 语言 - 动作模型，有效解决了自动驾驶中视觉编码器解冻后的感知退化及长期规划累积不稳定问题，并在开环和闭环评估中取得了最先进性能。

要点

这篇论文介绍了一种名为 EvoDriveVLA 的新系统，它的目标是让自动驾驶汽车变得更聪明、更安全。

为了让你更容易理解，我们可以把自动驾驶系统想象成一个正在学开车的“新手司机”。

🚗 核心问题：新手司机遇到了什么麻烦？

目前的自动驾驶 AI（也就是这个“新手司机”）虽然很厉害，能看懂路牌、听懂指令，但在实际训练中存在两个大毛病：

1. “忘本”了（视觉退化）： 为了让它更适应复杂的驾驶场景，我们通常会重新训练它的“眼睛”（视觉编码器）。但这就像让一个经验丰富的老画家突然去学画抽象派，结果他反而忘了怎么画好基础的线条，看东西变得模糊了。
2. “想太远”容易晕（规划不稳定）： 当它尝试预测未来几秒甚至更久的路线时，容易因为一点点小错误，导致后面的路线越算越偏，最后开进沟里。

💡 解决方案：EvoDriveVLA 的“师徒特训”

为了解决这些问题，作者设计了一套**“双管齐下”的师徒特训法**，就像给新手司机配了一位超级教练。

1. 视觉特训：给眼睛加个“定海神针” (Self-Anchored Visual Distillation)

• 比喻： 想象新手司机的眼睛在重新学习时容易“走火入魔”。为了防止它忘记原本学会的识别能力，教练（Self-Anchor Teacher）手里拿着一张**“标准参考图”**。
• 怎么做： 在训练过程中，教练会时刻提醒新手：“你看，这个红绿灯的位置、这条线的形状，应该保持我原本教你的样子，不要乱改。”
• 效果： 这样既能让新手学会适应新路况，又不会让它丢掉原本识别物体的基本功。这就叫**“自我锚定”**，就像在狂风中给船抛下一个锚，稳住船身。

2. 路线特训：请一位“全知全能的预言家” (Oracle-Guided Trajectory Distillation)

• 比喻： 普通教练只能看眼前，但这位“预言家教练”（Oracle Teacher）拥有**“上帝视角”。它不仅能看到现在的路，还能提前看到未来几秒会发生什么**（比如前方马上要变红灯，或者旁边有车要变道）。
• 怎么做：
  • 粗调 + 精调 (Coarse-to-Fine)： 预言家先画一个大概的路线（粗），然后像修图一样，把路线修得平滑、完美（精）。
  • 蒙眼试错 (MC-Dropout)： 为了不让新手只死记硬背一条路，预言家会故意“蒙上眼睛”（随机屏蔽一部分信息），试画出 10 条不同的路线，然后从中挑出最完美、最安全的那一条教给新手。
• 效果： 新手司机学到的不是死板的路线，而是**“在各种突发情况下，如何选出最佳路线”的直觉**。

🏆 最终成果：青出于蓝而胜于蓝

通过这种“稳住视觉” + “全知规划”的联合特训，EvoDriveVLA 取得了惊人的成绩：

• 在模拟考试（Open-loop）中： 它的表现超过了所有现有的顶尖方法，误差更小，撞车率更低。
• 在真实路考（Closed-loop）中： 即使是只有 30 亿参数的小模型（相当于一个普通大学生），经过特训后，表现竟然超过了那些拥有 80 亿参数的大模型（相当于博士）。

📝 一句话总结

EvoDriveVLA 就像给自动驾驶新手请了一位“既懂基础又预知未来”的超级教练，通过“稳住基本功”和“模拟完美路线”的双重训练，让小车开得既稳又准，甚至能打败那些更笨重的大模型。

技术摘要

EvoDriveVLA 技术总结

1. 研究背景与问题 (Problem)

随着视觉 - 语言模型（VLM）的发展，视觉 - 语言 - 动作（Vision-Language-Action, VLA）模型在自动驾驶领域展现出巨大潜力，能够直接输出驾驶动作和轨迹，并具备场景理解、指令遵循及推理能力。然而，现有的 VLA 模型在实际训练和部署中面临两大核心挑战：

1. 感知能力退化：在监督微调（SFT）阶段解冻视觉编码器后，模型往往会丢失预训练阶段学到的通用视觉表征能力，导致感知性能下降。
2. 长期规划不稳定：在长时程规划中，轨迹预测容易出现累积误差和不稳定性。
3. 现有蒸馏方法的局限：
   • 传统的知识蒸馏（如单轨迹蒸馏）未能充分优化视觉编码器的感知能力。
   • 教师模型与学生模型在相同设置下训练，缺乏规划能力的显著优势，无法提供高质量的指导。
   • 现有的多轨迹蒸馏受限于预定义的规划词汇表，难以适应真实驾驶场景的动态性和上下文依赖性。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 EvoDriveVLA，一种新颖的协同感知 - 规划蒸馏框架（Collaborative Perception-Planning Distillation Framework）。该框架包含两个核心组件：

2.1 自锚定视觉蒸馏 (Self-Anchored Visual Distillation)

旨在解决视觉编码器微调后的表征退化问题。

• 自锚定教师（Self-Anchor Teacher）：在微调前复制学生模型的视觉编码器作为“教师”。该教师保持冻结，提供稳定的视觉表征作为约束。
• 轨迹引导的锚定约束（Trajectory-Guided Anchoring Constraints）：引入 AnchorFormer 模块，根据指令、车辆状态和未来轨迹，为场景中的不同空间区域分配自适应的锚定权重。
• 机制：通过加权均方误差（MSE）损失，强制学生模型的视觉 Token 在关键感知区域（由轨迹引导）上向自锚定教师对齐，从而在增强任务相关感知的同时，保留预训练的通用视觉能力。

2.2 神谕引导的轨迹蒸馏 (Oracle-Guided Trajectory Distillation)

旨在提升轨迹规划的精度和多样性。

• 神谕教师（Oracle Teacher）：构建一个具备“未来感知”能力的教师模型。除了当前观测外，该模型还利用特权信息（Privileged Information），即未来几秒的场景图像和车辆状态，从而获得远超学生模型的预测精度。
• 由粗到细的轨迹优化（Coarse-to-Fine Refinement）：
  1. 教师先生成粗略轨迹（Coarse Trajectory）。
  2. 将粗略轨迹作为额外输入反馈给模型，进行迭代优化，生成更平滑、物理上更合理的精细轨迹（Fine Trajectory）。
• MC-Dropout 轨迹采样：在隐藏状态上应用蒙特卡洛 Dropout（MC-Dropout）采样，生成多样化的轨迹候选集，以覆盖更广泛的可行解空间。
• 最优轨迹选择与蒸馏：从候选集中选择与真实轨迹（Ground Truth）损失最小的最优轨迹作为软目标（Soft Target），通过隐藏状态对齐（MSE）和分布对齐（KL 散度）将知识传递给学生模型。

2.3 整体训练目标

总损失函数由四部分组成：
$$L_{all} = L_{task} + \lambda_a L_{visual} + \lambda_h L_{hidden} + \lambda_l L_{logits}$$
其中包含任务本身的轨迹预测损失、自锚定视觉蒸馏损失、以及神谕引导的隐藏状态和 Logits 蒸馏损失。

3. 主要贡献 (Key Contributions)

1. 提出 EvoDriveVLA 框架：首个将“自锚定视觉蒸馏”与“神谕引导轨迹蒸馏”协同结合的自动驾驶 VLA 蒸馏框架。
2. 自锚定视觉蒸馏机制：通过引入自锚定教师和轨迹引导的 Token 级锚定，有效解决了微调导致的视觉表征退化问题，增强了关键区域的感知能力。
3. 神谕引导的轨迹生成：利用包含未来信息的特权教师模型，结合由粗到细的优化策略和 MC-Dropout 采样，生成了高质量、多样化的轨迹候选，显著提升了规划精度。
4. SOTA 性能表现：在开环（nuScenes）和闭环（NAVSIM）评估中均取得了最先进的性能，证明了该方法在提升 VLA 模型感知与规划能力方面的有效性。

4. 实验结果 (Results)

4.1 开环评估 (Open-Loop, nuScenes)

• 对比基准：涵盖了传统端到端方法（如 UniAD）、LLM 基础方法（如 OmniDrive）及现有蒸馏方法（如 DistillDrive）。
• 性能提升：
  • 在 ST-P3 设置下，相比 OpenDriveVLA，L2 误差降低了 21%，碰撞率降低了 40%。
  • 在 UniAD 协议下，L2 误差降低了 22%，碰撞率降低了 60%。
  • 在所有评估维度上均优于现有的蒸馏方法（如 DiMA），在 UniAD 设置下 L2 误差进一步降低了 9%。

4.2 闭环评估 (Closed-Loop, NAVSIM)

• 指标：使用 PDM-Score (PDMS) 作为核心指标。
• 结果：
  • EvoDriveVLA (3B 模型) 的 PDMS 得分为 85.3，优于所有对比方法。
  • 相比基线 Qwen2.5-VL 3B，提升了 3.4 分 (4.2%)。
  • 关键突破：经过蒸馏的 3B 模型性能甚至超过了参数量更大的 Qwen2.5-VL 8B 和 InternVL3-8B 模型（领先 2.0 分，提升 2.4%），证明了蒸馏策略在提升小模型闭环驾驶能力上的巨大潜力。

4.3 消融实验

• 神谕教师：引入未来信息后，教师模型的 L2 误差显著低于 UniAD 等现有方法。
• 由粗到细优化：使轨迹损失分布向低值区显著偏移，减少了长尾异常值。
• MC-Dropout 采样：进一步降低了教师预测误差，使近 30% 的轨迹 L2 损失小于 0.1。
• 视觉蒸馏：进一步降低了轨迹预测误差，验证了其对感知能力的增强作用。

5. 意义与影响 (Significance)

• 解决 VLA 落地瓶颈：针对自动驾驶 VLA 模型中“感知退化”和“规划不稳”的痛点提供了系统性解决方案。
• 新的蒸馏范式：提出了“感知 - 规划协同蒸馏”的新范式，证明了通过设计特定的教师模型（自锚定 + 神谕）和蒸馏策略，可以显著提升模型在复杂动态环境下的表现。
• 小模型大能力：展示了通过高质量蒸馏，小参数量的模型（3B）可以超越大参数量的基座模型，为自动驾驶模型的高效部署和推理成本优化提供了重要思路。
• 开源贡献：代码已开源，推动了自动驾驶领域 VLA 模型的研究进展。

综上所述，EvoDriveVLA 通过创新的协同蒸馏机制，成功平衡了视觉表征的稳定性与规划能力的先进性，为下一代自动驾驶决策系统奠定了坚实基础。