技术摘要：WM-Cov：交互式世界模型风格自动驾驶模拟中的测试充分性

1. 问题定义

传统的自动驾驶（AD）测试依赖于场景库和固定的重放轨迹，其覆盖率是针对一组预定义的策划案例进行衡量的。然而，交互式世界模型（WM）和生成式模拟器的出现从根本上改变了测试的底层架构。在这些系统中，受测的自我规划器（ego planner）会主动影响世界的未来状态；背景智能体、传感器观测和风险剖面会根据规划器的动作进行动态反应。

因此，“场景”不再是一个固定的轨迹，而是一个由地图、路径、初始状态、环境条件、背景智能体策略、提示词（promts）和种子分布定义的交互式场景族（interactive scenario family）。场景的实际演化取决于所测试的具体规划器。

本文解决的核心问题是这种交互式环境下的测试充分性（testing adequacy）。悬而未决的问题不仅在于是否能生成危险的运行过程，还在于什么样构成了足以证明停止测试任务的有效闭环证据（valid closed-loop evidence）。仅凭生成的视频、提示词或碰撞次数的原始计数是不够的，因为：

• 生成的“失败”可能是伪影（artifacts）（模拟器错误、地图不一致），而非有效的自动驾驶系统（ADS）故障。
• 生成的事件可能是重复的或存在条件化失效（conditioning failures）（即请求的提示词未被实现）。
• 高失败计数可能集中在狭窄的模式中，缺乏多样性。

本文认为，充分性必须通过在固定预算下有效交互证据的收敛来定义，而非通过原始的生成指标。

2. 方法论：WM-Cov

作者引入了 WM-Cov，这是一个与供应商无关（provider-agnostic）的评估层，旨在审计和核算由交互式世界模型风格模拟器生成的证据。WM-Cov 不修改生成器；相反，它位于供应商之上，用于标准化、审计并报告测试过程。

A. 核心概念

WM-Cov 区分了三个层级的覆盖率：

1. 请求覆盖率 ($C_{req}$): 向供应商明确要求的测试条件（例如，“雨夜”、“无保护左转”）。
2. 实现交互覆盖率 ($C_{real}$): 在闭环执行中实际观察到的条件。
3. 有效实现覆盖率 ($C_{valid}$): 属于合理、非重复且无伪影的实现交互子集。

该框架将**“从请求到实现”的追踪**（提示词是否生效？）与**“有效性核算”**（结果是否为真实的测试用例？）分离开来。

B. 评估流水线

1. 轨迹摄取与适配器： 标准化的适配器架构摄取来自任何供应商（神经世界模型、闭环模拟器或日志重放）的轨迹。它提取元数据，包括场景族 ID、自我规划器、请求条件、实现的交互、以及结果评分。
2. 特征分类法： 轨迹被映射到涵盖设计运行范围（ODD）、交互类型、风险等级、行为类别、故障模式和有效性标签的特征向量。
3. 有效性审计： 账本将轨迹分类为：
   • 有效 ADS 失败： 与规划器相关的、合理的、可重放的失败。
   • 有效安全临界事件： 高风险事件，但未确认规划器失败。
   • 有效安全案例： 合理的非临界案例。
   • 条件化失效： 请求的条件未实现（例如，请求了雨天但实际是晴天）。
   • 伪影/无效失败： 由生成器错误、地图边缘断裂或模拟器故障引起的事件。
   • 重复项： 重复的失败模式。
4. 基于预算的选择： 多目标选择策略在预算 $B$ 内选择轨迹，以最大化有效证据。选择得分 $s(\tau|T)$ 平衡了：
   • 有效覆盖率的边际增益 ($\Delta C_{valid}$)。
   • 风险暴露度 ($R$) 以及真实性/有效性置信度 ($Q$)。
   • 对冗余 ($M$) 和伪影风险 ($A$) 的惩罚。
5. 面向停止的充分性： 当覆盖率增长、新有效故障模式的发现以及估计失败概率的不确定性在滑动窗口内趋于收敛，且伪影率保持在较低水平时，测试任务停止。

C. 充分性报告

输出不是单一的标量，而是一个包含以下内容的报告 ($A_B$)：

• 覆盖率增长指标 ($C_{req \to real}$, $C_{valid}$)。
• 有效失败数 ($VF$)、唯一故障模式数 ($FM$) 和伪影数 ($AI$)。
• 有效证据精确度： $\Pi_v = VF / (VF + AI)$。
• 平均风险和真实性得分。

D. 实验流程

1. 轨迹摄取与适配器： 标准化适配器架构摄取来自任何供应商（神经世界模型、闭环模拟器或日志重放）的轨迹。它提取元数据，包括场景族 ID、自我规划器、请求条件、实现的交互、以及结果评分。
2. 特征分类法： 轨迹被映射到涵盖设计运行范围（ODD）、交互类型、风险等级、行为类别、故障模式和有效性标签的特征向量。
3. 有效性审计： 账本将轨迹分类为：
   • 有效 ADS 失败： 与规划器相关的、合理的、可重放的失败。
   • 有效安全临界事件： 高风险事件，但未确认规划器失败。
   • 有效安全案例： 合理的非临界案例。
   • 条件化失效： 请求的条件未实现（例如，请求了雨天但实际是晴天）。
   • 伪影/无效失败： 由生成器错误、地图边缘断裂或模拟器故障引起的事件。
   • 重复项： 重复的失败模式。
4. 基于预算的选择： 多目标选择策略在预算 $B$ 内选择轨迹，以最大化有效证据。选择得分 $s(\tau|T)$ 平衡了：
   • 有效覆盖率的边际增益 ($\Delta C_{valid}$)。
   • 风险暴露度 ($R$) 以及真实性/有效性置信度 ($Q$)。
   • 对冗余 ($M$) 和伪影风险 ($A$) 的惩罚。
5. 面向停止的充分性： 当覆盖率增长、新有效故障模式的发现以及估计失败概率的不确定性在滑动窗口内趋于收敛，且伪影率保持在较低水平时，测试任务停止。

C. 充分性报告

输出不是单一的标量，而是一个包含以下内容的报告 ($A_B$)：

• 覆盖率增长指标 ($C_{req \to real}$, $C_{valid}$)。
• 有效失败数 ($VF$)、唯一故障模式数 ($FM$) 和伪影数 ($AI$)。
• 有效证据精确度： $\Pi_v = VF / (VF + AI)$。
• 平均风险和真实性得分。

3. 主要贡献

1. 问题定义： 将交互式 WM 风格测试重新定义为针对场景族而非固定重放轨迹的充分性和停止问题。
2. WM-Cov 框架： 引入了一个与供应商无关的层，用于追踪请求、实现和有效实现的覆盖率，将测试意图与生成的证据分离。
3. 充分性指标： 定义了一个综合报告，结合了覆盖率增长、有效失败发现、故障模式多样性、伪影抑制和精确度。
4. 经验验证： 通过执行日志（TeraSim/SUMO）、混合轨迹池以及涉及两个规划器（UniAD, VAD）、两个时界（horizon）和六个提示条件的真实闭环 DriveArena 矩阵来评估该框架。

4. 实验结果

评估分为三个阶段进行：

A. 执行的 TeraSim/SUMO 池

• 数据集： 包含 1,219 个事件级轨迹，其中有 230 个有效 ADS 失败、299 个有效安全临界事件和 690 个伪影失败。
• 发现： 大量的“看起来危险”的事件实际上是伪影。
• 性能： 在 100 的预算下，WM-Cov 选择了 99 个有效失败且 0 个伪影，实现了 1.00 的有效证据精确度。相比之下，“仅风险（Risk-only）”选择找到了 100 个有效失败且 0 个伪影（精确度 1.00），而“仅覆盖（Coverage-only）”选择则引入了 58 个伪影，仅获得 17 个有效失败（精确度 0.23）。

B. 类 WM 混合轨迹池

• 数据集： 一个模拟世界模型输出的合成池，包含有效失败、重复项和伪影。
• 发现： “仅风险”选择会将预算浪费在伪影上。
• 性能： WM-Cov 选择了 76 个有效失败 且 0 个伪影，覆盖了所有 6 种观察到的故障模式。它保持了高平均风险 (0.9686) 和真实性 (0.8932)。相比之下，“仅风险”选择找到了 61 个有效失败 但引入了 25 个伪影，导致有效证据精确度为 0.71 ($61/(61+25)$)。
• 敏感性： 在 16 种权重设置下，WM-Cov 始终保持零伪影选择和稳定的覆盖率 (0.4874)，表明其具有鲁棒性。
• 压力测试： 当伪影污染增加到 55% 时，“仅风险”选择将 67% 的预算花在了伪影上，而 WM-Cov 仍保持 0% 的伪影选择。

C. 真实 DriveArena 供应商矩阵

• 设置： 360 次请求的闭环尝试（2 个规划器 $\times$ 2 个时界 $\times$ 6 个提示 $\times$ 15 条路径）。
• 实现率：
  • VAD： 在 5.0s 时界下实现率为 100%；在 7.5s 时为 80%。
  • UniAD： 在 5.0s 时为 93%；在 7.5s 时为 64%。
  • 总计： 304 个完全实现的轨迹，56 个部分实现的轨迹，0 个完全未实现的轨迹。
• 洞察： 实现是受规划器、时界和提示词调节的。例如，UniAD 在 7.5s 时界下未能实现“默认多云”的提示。WM-Cov 正确地将这些识别为部分供应商证据，而非规划器安全性证据。
• 不相交切片检查： 对一个不相交路径切片的 80 次请求检查确认，请求到实现的核算行为在特定路径切片之外依然存在。

D. 停止准则

在针对 WM 类池的面向停止的研究中，WM-Cov 在 66 个轨迹 时达到了停止点，此时伪影为零且精确度为 1.00。竞争方法要么因覆盖范围过窄而过早停止（仅风险），要么需要显著更多的轨迹（109 个）且引入了伪影（仅覆盖）。

5. 重要性与主张

本文主张 WM-Cov 为从策划场景库向交互式生成式测试的转变提供了一个必要的评估层。其重要性在于：

1. 解耦生成与证据： 它断言，即使是一个真实的生成器，也可能产生较差的特征覆盖或无效证据。因此，不能仅凭生成器的输出就假设测试是充分的。
2. 有效证据核算： 它证明了如果没有审计层，测试任务可能会通过将伪影和重复项计为失败来夸大安全性相关性。
3. 操作性停止规则： 它提出了一个实用的停止准则，即在预算内基于有效交互证据的收敛，而非基于任意的运行次数。
4. 供应商无关性： 该框架旨在与任何供应商（无论是神经还是基于规则的）配合使用，只要其输出可以映射到轨迹适配器架构即可。

作者明确指出，其工作并非提出一种新的世界模型或通用的安全性充分性主张。相反，它通过审计从“请求”到“实现”再到“有效”证据的转换过程，定义了何时交互式测试是充分的。结果支持了以下结论：看起来危险的生成事件通常包含非证据性的伪影，且在判定测试任务足够之前，必须积累并验证有效的闭环证据。