🤖 machine learning

DriveJudge: Rethinking Autonomous Driving Evaluation with Vision-Language Models

本文介绍了 DriveJudge，一种新型自动驾驶评估智能体，它将视觉语言模型的推理能力与基于物理法则的规则函数相结合，从而在符合人类标准的基准任务上实现了卓越、可解释且具备上下文感知能力的性能。

原作者： Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinglong Sun, Kevin Xie, Jenny Schmalfuss, Despoina Paschalidou, Xiuming Zhang, Sanja Fidler, Kashyap Chitta, Jose M. Alvarez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人开车。你教会了它交通规则：“保持在车道内”、“不要撞到人”以及“保持前进”。但现实生活是复杂的。有时，为了避开一个坑洼或一辆停着的卡车，机器人可能需要短暂地跨越车道线或意外减速。

这正是衡量机器人表现的旧方法失效的地方，而新的方法——DriveJudge——应运而生。

问题所在：“僵化的规则手册” vs. “困惑的裁判”

该论文指出了目前人们尝试评估自动驾驶汽车的两主要方式，且两者都存在缺陷：

僵化的规则手册（老派做法）：
想象一位严格的老师，手里只有一份清单。如果汽车跨越了白线，老师就判定错误；如果汽车停顿了3秒，老师也判定错误。
- 缺陷： 这种老师不理解语境。如果汽车为了躲避掉落的树枝而跨越了线，规则手册仍然会判定为“错误”。它惩罚了明智且安全的决策，因为这些决策在技术层面上违反了规则。
困惑的裁判（新型 AI）：
最近，人们开始使用高级 AI（称为视觉语言模型，即 VLMs）来充当裁判。这些 AI 能“看到”场景并理解“哦，汽车跨线是为了避开树木，这没问题”。
- 缺陷： 这些 AI 擅长理解故事，但它们在测量精确距离方面表现糟糕。它们可能会说“汽车很安全”，但实际上汽车可能即将发生碰撞，因为它们无法精确计算英寸级的距离。此外，它们的评价也比较模糊，让人很难知道为什么给出这样的分数。

解决方案：DriveJudge（“聪明的工头”）

作者创建了 DriveJudge，它的角色就像建筑工地上的一个聪明的工头。

DriveJudge 不仅仅是观察汽车并进行猜测，也不仅仅是检查一份清单，它进行的是一种两步走的“舞蹈”：

“观察与思考”阶段： AI（工头）观察场景并询问：“这里实际发生了什么？”它利用大脑来理解语境。是出现了施工区域？还是有一辆停下的卡车？
“工具选择”阶段： 根据它所看到的场景，它决定使用哪些特定的工具。
- 场景 A： 汽车正在高速公路上正常行驶。工头拿起**“车道保持”工具和“速度”**工具。
- 场景 B： 汽车正在绕过施工障碍物。工头心想：“啊，现在车道保持并不重要；为了安全，汽车需要进入另一条车道。”于是，它放下“车道保持”工具，转而拿起**“碰撞规避”**工具。

通过根据情况有选择性地开启或关闭规则，DriveJudge 兼具了两者的优点：它拥有僵化规则手册的精确性（因为它使用了真实的数学工具），同时也拥有智能 AI 的理解力（因为它知道何时该忽略规则）。

他们是如何测试的

为了证明其有效性，团队并没有仅仅靠猜测。他们构建了一个庞大的“驾驶考试”数据集：

他们收集了超过 33,000 段棘手的驾驶片段（即驾驶中的“长尾场景”，即发生奇特情况的时刻）。
他们要求人类对这些片段进行标注：“即使违反了规则，这种驾驶行为是否合理？”
他们利用这些数据来训练 DriveJudge，使其表现得像一位人类专家。

测试结果

当他们将 DriveJudge 与旧方法进行对比测试时：

击败了规则手册： DriveJudge 能更好地识别出那些会被旧规则手册不公平惩罚的“合理”驾驶行为。
击败了困惑的 AI： 相比于那些仅凭“感觉”进行猜测的 AI，DriveJudge 能更好地选择最安全的路径。
得分： 简单来说，DriveJudge 获得了更高的成绩（在一项测试中高出 21 分，在另一项测试中高出 6.5%），优于之前的最佳方法。

核心启示

论文认为，要让自动驾驶汽车真正变得安全且聪明，我们不能仅仅依赖于一份规则清单，也不能仅仅依赖于聊天机器人的观点。我们需要一个既能理解道路故事，又能应用正确数学逻辑来评判的系统。DriveJudge 就是这样一个系统：一个知道何时该严厉、何时该灵活的裁判。

技术摘要：DriveJudge：利用视觉语言模型重新思考自动驾驶评估

1. 问题陈述

自动驾驶领域正日益转向端到端策略学习，这种方式在常规场景下表现出色，但在长尾、非典型事件中表现挣扎。推进这些策略的一个关键瓶颈是缺乏可靠、可解释且具备上下文感知能力的评估指标。现有的评估范式存在显著局型：

基于规则的指标（例如 EPDMS）： 虽然具有可解释性和物理基础，但它们本质上是上下文无关的。它们统一应用固定规则，往往会对复杂场景中的合理行为进行过度惩罚（例如，为了绕过障碍物而暂时放宽车道保持约束）。
基于视觉语言模型（VLM）的评估： 虽然具备上下文感知能力，但通常依赖于模糊的偏好比较或直接的分数预测。这些方法缺乏明确的物理基础和空间精度，导致其在精细化安全评估方面不可靠，且难以分解为具体的驾驶维度（安全性、舒适性、进度）。

核心挑战在于开发一种既能结合 VLM 的上下文理解能力，又能结合确定性规则指标的空间精度与物理基础的评估框架。

2. 方法论：DriveJudge

作者提出了 DriveJudge，一个由 VLM 引导、以规则为基础的评估智能体。与以往仅依赖 VLM 判断的工作不同，DriveJudge 将驾驶评估形式化为一个智能体决策过程。

2.1 核心架构

DriveJudge 通过解释环境场景上下文并选择性地调用确定性规则函数来运行。

输入： 智能体接收多模态输入，包括前视摄像头图像和包含物体框、车道地图及预测轨迹的鸟瞰图（BEV）可视化视图。
上下文推理： 一个 VLM（具体为 Qwen-3）分析场景以确定哪些评估规则是相关的。它输出一个门控向量 $\hat{g}_i$ ，其中每个元素表示特定规则（如车道保持、碰撞时间）对当前驾驶状态的相关性。
规则调用： 根据门控向量，系统会从预定义的集合中选择性地执行确定性规则函数 ( $f^m$ )（例如涵盖安全性、车道合规性、进度和舒适性的 EPDMS 规则）。
分数聚合： 最终的驾驶得分通过聚合被选中的规则输出并根据其相关性进行加权计算得出。这使得系统能够忽略无关的约束（例如，在需要进行避障性挪动时，忽略车道保持惩罚）。

2.2 训练流水线

为了训练和验证 DriveJudge，作者策划了一个大规模数据集，并采用了两阶段后训练流水线：

数据集策划： 从 PhysicalAI-Autonomous-Vehicles 数据集中创建了一个包含 33,577 个具有挑战性的驾驶样本的数据集。该数据集侧重于长尾场景，在这些场景中，人类驾驶可能会违反特定规则，但在上下文中仍属于“合理”行为。人类标注员标记了行为是否合理并提供了理由。
监督微调（SFT）： 模型经过训练以根据人类标注预测正确的门控向量（即调用哪些规则）。规则调用的地面真值是通过识别那些会将标记为“合理”的人类轨迹错误惩罚的规则而得出的。
强化学习（RL）： 在 SFT 之后，模型进行 RL 优化（使用群体相对策略优化，GRPO），以提高在下游任务（特别是轨迹偏好选择）上的性能。奖励基于模型的轨迹排序是否与人类偏好一致。

3. 评估基准

论文引入了两个与人类对齐的基准任务，用以评估驾驶指标本身的质量：

驾驶质量分类： 指标必须能够区分合理与不合理的驾驶行为（二分类）。性能通过准确率（Accuracy）、AUC 和平均精度（AP）进行衡量。
轨迹偏好选择： 给定两个候选轨迹，指标必须为人类更偏好的那一个分配更高的分数。性能通过选择准确率进行衡量。

4. 关键结果

实验表明，DriveJudge 在这两个基准任务上均显著优于现有的基准模型：

驾驶质量分类： DriveJudge (8B 模型) 实现了 78.90 AUC，比标准规则指标 EPDMS 高出 +21.23 AUC。它在检测失败方面也表现出巨大的提升（AP-），从 26.34 (EPDMS) 上升至 59.04。
轨迹偏好选择： DriveJudge 达到了 82.83% 的准确率，超过了近期的 VLM 评判模型 DriveCritic (76.33%) 以及 GPT-5 和 Gemini 等其他基准。
消融实验：
- VLM + 工具： 将 VLM 推理与基于规则的工具调用相结合是至关重要的。直接使用 VLM 评分（不带工具）或非 VLM 智能体的表现明显较差。
- SFT + RL： 只有在从监督微调模型初始化后，强化学习才能产生实质性收益。从零样本模型开始 RL 几乎没有改进，这凸显了 SFT 在将模型锚定到任务结构方面的必要性。
- 缩放（Scaling）： SFT 的性能随数据规模线性增长，而 RL 在达到一定程度后呈现收益递减，这表明需要高质量的偏好数据，而非仅仅是数据量。

5. 重要性与主张

论文声称 DriveJudge 通过弥合语义推理与物理基础之间的差距，为可解释且精确的驾驶评估树立了新标准。

上下文感知： 它成功解决了规则僵化的“长尾”问题，使得评估需要临时放宽规则的机动行为成为可能。
可解释性： 通过显式地调用规则，评估过程是透明且可分解的，不像黑盒 VLM 评分那样。
策略基准测试： 当应用于基准的最先进规划模型（如 Hydra-MDP, DriveSuprim）时，DriveJudge 给出的分数高于 EPDMS，这表明当前的策略可能比传统指标所显示的更为强大。它同时也暗示当前的基准（如 NAVSIM）可能已接近饱和，需要更细致的评估方法。

作者总结道，DriveJudge 为未来的自动驾驶研究提供了更强大的基础，特别是在处理传统指标不足以应对的复杂长尾场景时。