💻 computer science

Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive

本研究分析了NAVSIM开环指标与Bench2Drive闭环性能在最先进方法之间的相关性，揭示出尽管NAVSIM综合得分与真实世界驾驶成功之间存在强相关但非单调的关系，但“自车进展”是最具预测力的单一指标，且一个简化的三指标公式可有效替代完整的五指标评分用于排名目的。

原作者： Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人驾驶汽车。为了检验机器人是否出色，你有两种测试方法：

“纸面测试”（开环）：你给机器人一张地图和一套指令，让它在一块纸上画出它将会行驶的路线。然后，你将这条线与完美路径进行对比。这种方法快速、廉价，且你每秒可以进行一千次测试。
“实地驾驶”（闭环）：你实际上将机器人放入汽车（或超逼真的电子游戏）中，让它真正驾驶。汽车会对交通信号灯、其他车辆和行人做出反应。如果机器人卡住或行驶过慢，它就会失败。这是“黄金标准”，但耗时数小时、成本高昂，且很难完全重复同样的过程。

核心问题：“纸面测试”能否可靠地预测机器人在“实地驾驶”中的表现？

很长一段时间以来，答案都是否定的。旧有的测试仅仅测量机器人的绘图与完美线条之间的偏差（就像测量两个点之间的距离）。该论文表明，即使机器人画出了一条近乎完美的线，它在现实生活中仍可能撞车或卡住。

这篇论文做了什么

作者考察了 8 个顶尖的机器人驾驶员。他们检查了这些机器人在“纸面测试”（使用一种名为NAVSIM的更智能的新测试）中的表现，并将其与它们在“实地驾驶”（使用名为Bench2Drive的测试）中的实际表现进行了对比。

以下是他们发现的简单解释：

1. “安全与速度”的陷阱

新的“纸面测试”（NAVSIM）比旧测试要好得多。它检查安全性（你是否撞到了任何东西？）和进展（你是否向前移动了？）。

问题：有些机器人过于安全。它们像乌龟一样驾驶，为了确保不撞到任何东西，在每一个微小的阴影前都会停下。
结果：在“纸面测试”中，这些“乌龟机器人”得分很高，因为它们从未撞到任何东西。但在“实地驾驶”中，它们因行驶过慢或被困在交通中而受到惩罚。它们未能通过真实测试，因为过于谨慎。
类比：想象一个学生在考试中回答每一个问题时都说“我不知道”，以避免丢分。在只计算错误答案的测试中，他们得了 A。但在要求实际完成考试的测试中，他们得了 F，因为他们没有完成考试。

2. 关键要素：“自身进展”

研究人员将“纸面测试”分解为各个部分，以查看哪一部分实际上预测了现实世界的成功。

他们发现，最重要的指标不是“你是否撞车了？”（安全性），而是**“你是否向前移动了？”（进展）**。
类比：想象一场马拉松。如果你跑得很完美，没有绊倒（安全性），但你每 10 秒就停下来系一次鞋带，你就无法赢得比赛。机器人需要保持向前移动。“进展”分数是预测机器人能否真正成功完成驾驶的唯一最佳指标。

3. “滚雪球效应”

为什么“纸面测试”中的小错误会变成“实地驾驶”中的巨大失败？

类比：想象你正走在走廊里。如果你向左迈出一小步，那无关紧要。但如果你连续 10 分钟都向左迈出一小步，你最终会撞进墙里。
在“纸面测试”中，机器人只规划未来 4 秒。微小的犹豫看起来可能像是一个小错误。但在“实地驾驶”中，那微小的犹豫会导致机器人错过绿灯、等待红灯、落后于计划，最终超时。小错误会“滚雪球”成彻底失败。

4. 更简单的公式

“纸面测试”使用一个包含 5 个不同数值的复杂公式来计算最终得分。作者意识到，其中两个数值（乘坐舒适度和离撞车的距离）对于所有顶尖机器人来说基本是一样的——它们在这些方面都表现完美。

发现：你可以抛弃复杂的公式，只使用3 个简单的数值：“你是否撞车了？”、“你是否保持在车道内？”以及“你是否向前移动了？”。
结果：这个超简单的公式预测现实世界结果的能力与复杂公式一样好。这就像意识到你不需要一份 50 页的报告就能知道一辆车是否好；你只需要知道它是否在移动且不撞车。

结论

该论文得出结论，虽然我们无法仅通过查看绘图就完美预测实际驾驶，但我们已经接近这一目标。

不要只看安全性：一个安全但不移动的机器人是一个糟糕的驾驶员。
关注“进展”：保持向前移动的能力是优秀驾驶员的最佳标志。
简化：我们不需要过于复杂的评分系统来区分好坏驾驶员；目前，简单关注安全性和移动性效果最好。

作者警告说，随着机器人变得更好，我们可能需要再次调整这些规则，但目前，这个“进展”指标是了解谁将在道路上真正成功的关键。

以下是论文《开环指标能否预测闭环驾驶？NAVSIM 与 Bench2Drive 的跨基准相关性研究》的详细技术总结。

1. 问题陈述

评估自动驾驶（AD）规划器涉及开环与闭环评估之间的权衡：

闭环评估（例如在 CARLA 上的 Bench2Drive）是评估现实世界能力的“黄金标准”，但其计算成本高昂、方差较大，且需要复杂的基础设施。
开环评估（例如 NAVSIM）快速且可复现，但传统上依赖于平均位移误差（ADE）和最终位移误差（FDE）等几何指标。
核心问题：现代的安全感知开环指标（特别是 NAVSIM v2 中的指标）能否可靠地预测闭环驾驶性能？先前的研究表明传统指标在此方面失效，但尚不清楚 NAVSIM 的新范式是否能弥合这一差距。

2. 方法论

作者利用配对数据集对最先进（SOTA）方法进行了系统的跨基准相关性研究。

数据收集：
- 团队交叉引用了15 种方法的已发表结果，这些方法同时报告了NAVSIM（开环）和Bench2Drive（闭环）的数据。
- 他们筛选了在两个基准测试中使用一致模型配置的方法，以避免混淆变量（例如不同的骨干网络或训练数据）。
- 最终数据集：8 种具有完整配对数据点的方法（NAVSIM 子指标 vs. Bench2Drive 驾驶得分）。
分析的指标：
- 开环（NAVSIM）：PDM 得分（PDMS）及其子指标：无责任碰撞（NC）、可行驶区域合规性（DAC）、碰撞时间（TTC）、自车进度（EP）和舒适性（C）。
- 闭环（Bench2Drive）：驾驶得分（DS），该得分结合了路线完成率以及对违规行为（碰撞、行驶缓慢、超时）的惩罚。
统计分析：
- 计算**斯皮尔曼等级相关系数（ $\rho$ ）**和肯德尔 $\tau$ ，以衡量开环得分与闭环性能之间的关系。
- 调查了特定的“排名反转”情况，即某种方法的开环排名与其闭环排名存在显著差异。
- 提出并测试了一个简化的代理指标（CL-Proxy），以确定较少的子指标是否能实现相同的预测能力。

3. 主要发现与结果

A. 传统指标失效

发现：传统位移指标（L2 误差、ADE、FDE）与闭环驾驶得分无显著相关性（ $\rho = -0.36, p = 0.43$ ）。
启示：最小化几何轨迹误差并不能保证在交互式环境中实现安全或成功的驾驶。

B. NAVSIM PDMS 显示出强但非单调的相关性

发现：聚合的 NAVSIM PDM 得分（PDMS）与 Bench2Drive DS 表现出强正相关性（ $\rho = 0.90, p = 0.002$ ）。
细微差别：相关性并非完全单调。存在显著的排名反转。
- 示例：SafeDrive在 PDMS 中排名第 3（91.6），但在 DS 中跌至第 5（66.77）。
- 原因：SafeDrive heavily 优化安全性（NC、DAC、TTC），取得了近乎完美的分数，但牺牲了自车进度（EP）。在闭环中，这种保守性触发了“过慢”和“超时”惩罚，导致驾驶得分大幅下降。

C. 自车进度（EP）是最强的预测因子

发现：在 NAVSIM 的各个子指标中，**自车进度（EP）**是闭环成功的单一最佳预测因子（ $\rho = 0.83$ ）。
意外：最关键的指标**无责任碰撞（NC）**仅显示出弱到中度的相关性（ $\rho = 0.45$ ）。
推理：当前的 SOTA 方法在 NC 得分上已经非常高（天花板效应，例如 >98%）。因此，NC 的边际改进并不能转化为更好的闭环性能，而取得进展的能力（EP）才是主要的区分因素。

D. “雪球效应”

该论文识别了开环与闭环之间剩余差距的机制：雪球效应。
4 秒开环轨迹中的微小偏差（例如行驶稍慢）可能在 NAVSIM 中仅招致轻微惩罚。然而，在长达数分钟的闭环路线中，这些微小延迟会累积：错过绿灯 $\rightarrow$ 等待整个红灯周期 $\rightarrow$ 落后于计划 $\rightarrow$ 触发严重的“过慢”或超时惩罚。这解释了为什么 EP（一种进展倾向的度量）比瞬时安全指标更具预测性。

E. 更简单的代理指标：CL-Proxy

作者提出了一个简化公式： $CL\text{-}Proxy = NC \times DAC \times EP$ 。
结果：该 3 指标公式在数据集上实现了与完整 5 指标 PDMS 完全相同的排名相关性（ $\rho = 0.90$ ）。
启示：对于当前的顶级方法，TTC和舒适性在排名目的上增加了微不足道的边际信息，因为它们要么分布狭窄，要么已饱和（接近 100%）。

4. 主要贡献

跨基准数据集：汇编了首个在 NAVSIM 和 Bench2Drive 上均进行评估的 8 种 SOTA 方法的配对数据集。
定量差距分析：证明了虽然 NAVSIM PDMS 与闭环性能高度相关，但由于安全与进展的权衡，它存在排名反转的问题。
指标层级：确定**自车进度（EP）**是闭环成功的关键预测因子，在预测能力上超越了碰撞指标，适用于当前的 SOTA 模型。
简化代理指标：提出了CL-Proxy，这是一个轻量级的 3 指标公式，其预测能力与复杂的 5 指标 PDMS 相当，表明当前的基准测试可以简化。
机制识别：提出雪球效应是导致微小开环偏差引发闭环失败的主要原因。

5. 意义与建议

针对基准设计：
- 报告子指标：聚合数据掩盖了安全与进展的权衡。排行榜必须显示各个子指标（尤其是 EP）。
- 引入慢速驾驶惩罚：NAVSIM 应采用类似于 Bench2Drive 的“过慢”惩罚，以使开环评估更好地与闭环结果保持一致。
- 简化聚合：当前顶级方法在舒适性和 TTC 上已饱和；这些指标在排名中可能被降级，优先支持 EP、NC 和 DAC。
针对研究：
- 研究人员不应仅依赖聚合的开环得分。以牺牲进展（EP）为代价优化安全性（NC）会导致现实世界性能不佳。
- 未来的工作应侧重于跨架构的子指标回归，而不是依赖单一的聚合得分。

结论

该论文得出结论，虽然开环指标随着 NAVSIM 的出现有了显著改进，但它们并非完美的代理指标。安全与进展的权衡以及雪球效应造成了一个差距，导致过于保守的规划器在闭环中失败。通过关注自车进度并使用简化的CL-Proxy指标，社区可以实现对闭环驾驶能力更可靠的开环预测。