DriveCritic: Towards Context-Aware, Human-Aligned Evaluation for Autonomous Driving with Vision-Language Models

该论文提出了名为 DriveCritic 的新框架，通过构建包含人类偏好标注的困难场景数据集，并利用两阶段训练策略微调视觉 - 语言模型，实现了对自动驾驶规划器更可靠、具备上下文感知能力且与人类判断高度一致的评价。

要点

这篇论文介绍了一个名为 DriveCritic（驾驶评论家） 的新系统，它的任务是给自动驾驶汽车“打分”，而且这个打分要像经验丰富的老司机一样懂行，而不是死板地照搬规则。

为了让你更容易理解，我们可以把自动驾驶的评估过程想象成**“驾校考官给学员打分”**。

1. 现在的“考官”有什么问题？（旧方法：EPDMS）

目前的自动驾驶评估系统（比如论文里提到的 EPDMS）就像是一个只会死记硬背交规的“机器人考官”。

• 它的逻辑是： “只要车轮压线超过 0.5 米，扣分！”“只要车速慢了，扣分！”“只要没撞到东西，满分！”
• 它的缺陷： 它不懂**“人情世故”和“具体情境”**。
  • 举个例子： 路上有个大石头挡道，老司机（人类）会稍微借一点对向车道绕过去，这是为了安全。但“机器人考官”会死板地判定：“你压线了！扣分！”
  • 再比如： 前面红灯亮着，老司机会慢慢蠕行保持车距，但“机器人考官”可能会觉得：“你前进得太慢了，扣分！”
  • 结果： 这种死板的打分经常和人类真实的判断背道而驰。

2. DriveCritic 是什么？（新系统：有智慧的“人类考官”）

DriveCritic 就是为了解决这个问题而生的。它不再是一个死板的计算器，而是一个**“读过万卷书、行过万里路的 AI 老司机”**。

• 它的核心能力： 它结合了视觉（像人眼一样看摄像头画面）和语言逻辑（像人脑一样思考）。
• 它的工作方式： 它不是只看数据，而是会**“看图说话”**。
  • 当它看到一辆车稍微借道绕过障碍物时，它会想：“哦，虽然压线了，但这是为了避开障碍物，是合理的，给高分。”
  • 当它看到一辆车在红灯前盲目加速时，它会想：“虽然速度快了，但这很危险，给低分。”

3. 它是如何变聪明的？（训练过程）

为了让这个 AI 变得像人类专家一样，作者给它安排了两步“特训”：

• 第一步： supervised Fine-Tuning（ supervised 微调 = 老师手把手教）

  • 作者收集了 5000 多组“二选一”的驾驶场景（比如：方案 A 和方案 B，哪个更好？）。
  • 由一位真正的自动驾驶专家（拥有 5 年经验的作者本人）来当“老师”，告诉 AI 哪个方案好，并解释原因（比如：“选 A，因为虽然它借道了，但为了安全是必须的”）。
  • AI 先通过模仿老师的思路，学会怎么“讲道理”。

• 第二步： Reinforcement Learning（强化学习 = 实战演练与奖惩）

  • 在学会了基本思路后，AI 进入“实战演练场”。
  • 如果它做出了符合人类专家判断的决定，就给它奖励；如果它又犯死板的老毛病，就给它惩罚。
  • 通过这种不断的“试错 - 奖励”，AI 逐渐内化了人类的直觉，学会了在复杂情况下灵活判断。

4. 效果怎么样？

• 以前： 传统的规则系统（机器人考官）在判断这些复杂情况时，准确率只有 41% 左右（甚至不如瞎猜）。
• 现在： DriveCritic（AI 老司机）的准确率达到了 76%。
• 比喻： 以前是“死读书的优等生”，现在变成了“懂变通的实战派”。它不仅知道规则，还知道什么时候该遵守规则，什么时候该为了安全灵活变通。

5. 为什么这很重要？

自动驾驶要想真正上路，不能只追求“不撞车”或“不压线”这种死指标。它必须像人类一样，懂得**“安全”、“效率”和“礼貌”**之间的微妙平衡。

• 如果评估系统太死板，研发自动驾驶的公司就会为了刷高分，训练出一些“虽然不压线但开得很傻、甚至很危险”的车。
• DriveCritic 就像一把**“人类尺子”**，确保自动驾驶系统的发展方向是符合人类直觉和安全的。

总结

DriveCritic 就是一个**“懂人情、有眼力见”的 AI 驾驶考官**。它不再死板地拿着尺子量车轮，而是看着路况，像人类专家一样思考：“在这个场景下，怎么做才是真正的好？”

这项研究让自动驾驶的评估变得更聪明、更贴近人类，是迈向真正安全、可靠的自动驾驶的重要一步。

技术摘要

DriveCritic 技术总结

1. 研究背景与问题定义

自动驾驶规划系统的评估长期面临一个核心挑战：现有的评估指标难以与人类专家的判断保持一致，尤其是在复杂、微妙的驾驶场景中。

• 现有方法的局限性：
  • 基于位移的指标（如 ADE/FDE）：过于简单，无法捕捉驾驶的多模态特性，且往往惩罚合理的替代驾驶行为。
  • 基于规则的指标（如 EPDMS）：这是目前最先进（SOTA）的开放循环评估标准（如 NAVSIM 基准）。然而，EPDMS 依赖预定义的固定规则和阈值，缺乏情境感知能力（Context Awareness）。
  • 核心矛盾：在人类驾驶员为了安全或社交规范而做出的合理微调（例如：为了保持安全横向缓冲区而短暂偏离车道，或为了应对保守信号而减速）中，EPDMS 往往会给出错误的低分，因为它机械地惩罚了偏离或进度缓慢，而忽略了具体的上下文环境。

本文旨在解决：如何构建一个能够理解视觉和符号上下文、并能像人类专家一样权衡安全、进度和社会规范的自动驾驶评估框架。

2. 方法论：DriveCritic 框架

DriveCritic 是一个新颖的框架，包含两个核心组成部分：DriveCritic 数据集和DriveCritic 模型。

2.1 DriveCritic 数据集构建

为了训练模型识别规则指标失效的场景，作者从 NAVSIM 基准中构建了一个包含 5,730 对轨迹的精选数据集。

• 采样策略：通过分析人类专家轨迹在 EPDMS 中的低分项（主要是“车道保持 LK"和“自车进度 EP"），挖掘出规则指标与人类偏好不一致的模糊场景。
• 两大核心案例：
  1. 车道 - 进度权衡（Lane-Progress Trade-off）：人类轨迹可能为了保持进度而短暂偏离车道（LK=0），而规则指标倾向于奖励严格在车道内但进度较慢的轨迹。
  2. 纯进度对比（Progress-only Contrast）：人类轨迹可能因情境需要（如前方有障碍物或红灯）而减速，但规则指标可能奖励激进推进的轨迹。
• 标注：由领域专家进行成对偏好标注（Pairwise Preferences），并在训练集上利用 GPT-5 进行辅助标注以扩展规模。

2.2 DriveCritic 模型设计

模型基于视觉 - 语言模型（VLM）（具体采用 Qwen2.5-VL-7B），旨在充当“与人类对齐的专家裁判”。

• 多模态输入：
  1. 多视角图像：拼接的前视、左前、右前摄像头视图。
  2. 鸟瞰图（BEV）地图：包含车道、可行驶区域及候选轨迹的叠加。
  3. 自车状态：速度、加速度、驾驶指令。
  4. 规则分数：输入 EPDMS 的子分数（LK 和 EP）作为参考上下文。
• 两阶段训练流水线：
  1. 监督微调（SFT）：使用少量高质量数据（1,100 对），利用 GPT-5 生成思维链（Chain-of-Thought, CoT）推理轨迹，让模型学习遵循特定的推理格式和逻辑。
  2. 强化学习微调（RL Fine-tuning）：采用 RLVR（基于可验证奖励的强化学习） 范式，具体使用 DAPO 算法。通过奖励机制（格式正确性 + 判断准确性）进一步优化模型，使其在复杂场景下的判断更稳定且符合人类偏好。

3. 主要贡献

1. 揭示了现有指标的缺陷：通过实证分析证明了 SOTA 规则指标（如 EPDMS）在微妙驾驶场景下缺乏情境感知，与人类专家判断存在显著偏差。
2. 提出了 DriveCritic 数据集：首个专注于评估自动驾驶评估方法的情境感知数据集，包含精心挑选的模糊场景及成对的人类专家偏好标注。
3. 提出了 DriveCritic 模型：
   • 首个基于 VLM 的自动驾驶轨迹评估器，能够整合视觉和符号信息进行推理。
   • 设计了“监督微调 + 强化学习”的两阶段训练流程，显著提升了模型的对齐能力。
   • 在 DriveCritic 数据集上达到了 76.0% 的人类偏好匹配准确率，远超现有基线。

4. 实验结果

• 整体性能：在 DriveCritic 测试集上，DriveCritic 的准确率为 76.0%。
  • 对比 SOTA 规则指标 EPDMS：41.4%。
  • 对比零样本（Zero-shot）VLM（如 GPT-5, OpenAI-o3）：约 53-55%。
  • 对比监督学习的成对分类器：64.8%。
• 消融实验：证明了“监督微调（SFT）”是强化学习（RL）有效的前提，且结合 DAPO 算法和格式/准确性双重奖励的完整流程效果最佳。
• 鲁棒性分析：在轨迹输入顺序翻转（Position-flip）测试中，DriveCritic 保持了 81.8% 的鲁棒率（Robustness Rate），表现出对输入顺序的不敏感性，优于其他模型。
• 定性分析：模型能够生成类似人类的推理（例如：“虽然 A 稍微偏离车道，但在红灯前保持安全距离是合理的，而 B 的激进推进可能导致不必要的急刹车”），展示了其情境理解能力。

5. 意义与展望

• 理论意义：DriveCritic 证明了将 VLM 引入自动驾驶评估的可行性，填补了规则指标缺乏“常识”和“情境理解”的空白。它为开发更可靠、以人为中心的评估工具奠定了基础。
• 应用价值：
  • 可作为端到端规划器的奖励信号（如结合 RLHF 框架 TrajHF），指导模型生成更符合人类习惯的轨迹。
  • 提供了一种可扩展的、可解释的评估方法，弥补了封闭循环仿真成本高和开放循环规则指标僵化的不足。
• 局限性：目前依赖 VLM 带来的计算成本较高，且数据集规模相对较小，主要依赖单一专家标注。未来工作将致力于扩展数据集多样性、优化模型效率（如知识蒸馏）以及增强对动态场景（如交通灯变化）的时间序列理解。

总结：DriveCritic 通过结合视觉语言模型的情境推理能力和强化学习的高效优化，成功构建了一个能够理解复杂驾驶上下文、与人类专家判断高度对齐的评估框架，为自动驾驶系统的评估和迭代提供了新的范式。