Evidence Quality in Assurance-Oriented Benchmark Construction

技术摘要：面向保证导向基准构建中的证据质量

问题陈述
从公开软件事件（漏洞公告、代码仓库议题、事件报告）构建的面向保证（assurance-oriented）基准存在一个根本性的证据质量问题。虽然补丁或修正状态可能可见，但下游保证分析所需的语义主张——例如受影响状态的重构、部署上下文、回放决策、预言机（oracle）可行性以及发布条件——往往是不完整或模糊的。现有工作（如 Vul4J、ReposVul）已经确立了过滤公开漏洞以实现可复现性和内在数据质量（准确性、一致性、完整性）的必要性。然而，仍存在一个更窄的差距：即构建用于软件保证的重构系统表示所必需的任务相关证据质量（task-relative evidence quality）。具体而言，即使存在受影响/修复对，分析师仍必须编写源/后果边界、上下文字段和执行活动，而这些内容在公开记录中并未明确说明。这些“人工编写语义”的证据地位与简单的源码可用性不同，且即便技术重构是可能的，公开发布也可能受到限制。

方法论
本研究采用遵循软件工程透明度原则的探索性实证案例研究方法。分析单位是基于事件衍生的受影响/修复对。

1. AIRR-40 注册表构建： 作者构建了一个由 40 个公开工具使用智能体（tool-using-agent）和模型上下文协议（MCP）事件组成的冻结框架。该注册表名为 AIRR-40，包含 49 个字段，涵盖公开证据指针、时间戳、来源阶层、补丁可用性、部署可重构性、回放溯源状态、预言机可行性、可发布性以及配对控制可用性。
2. 资格鉴定协议： 案例根据“严格”定义（要求精确的上游保真度和特定的发布条件）和“宽松”定义（与回放可判定性相一致）进行筛选。阻碍因素被记录为非排他性类别（例如：重构、可发布性、配对）。
3. 深度证据受限表示审计： 对 10 个案例（8 个严格主要案例，2 个仅限宽松的压力测试案例）进行了细粒度审计。过程包括：
   • 独立重新获取受影响/修复的制品。
   • 构建表示 $R = (G, \Gamma, P, U)$，其中 $G$ 是源到后果的图，$\Gamma$ 代表分析师相关的语义（能力、上下文、绑定、转换、活动），$P$ 将元素映射到名义溯源类别，而 $U$ 记录未解决的替代方案。
   • 将 190 行表示分类到名义溯源类别中（例如：直接锚点支持、显式合成）。
   • 验证所有 52 个分析师相关的语义属性均为源信息驱动而非独立的地面真值（ground truth）。
4. 分析师角色： 使用两名分析师（A0 和 A1）来检查路径/能力中介和上下文绑定。研究重点在于未解决的假设（特别是 Case C4 中）如何在不同的容许赋值（fail-open 与 fail-closed）下改变静态保证结论。

关键结果

• 资格损耗： 在 40 个候选案例中，39/40 个暴露了补丁或修正状态。然而，只有 20/40 个符合严格的配对标准。 “补丁可用”与“严格纳入”之间的差距凸显了技术修复并不保证具备保证就绪的证据。
• 阻碍因素分解： 在未能通过严格纳入的 15 个前缀幸存案例中，最频繁出现的非排他性阻碍因素为：
  • 重构 (14 例)
  • 可发布性 (9 例)
  • 回放/来源解析 (4 例)
  • 配对 (3 例)
  • 预言机可行性 (1 例)
  • 注： Case C38 在技术上是可重构的（精确上游），但仅因条件可发布性而被排除，证明了发布约束可以独立于技术证据质量。
• 溯源审计： 在对 190 行进行的深度审计中，所有 52 个分析师相关的语义属性均为源信息驱动而非独立的地面真值。在深度子集中不存在直接或仅有文档支持的后果边界；每一个声明的后果汇点（consequence sink）都是推断得出的。
• 结论相关不确定性（Case C4）： Case C4 表明，未解决的执行活动字段会导致根据赋值（fail-open vs. fail-closed）产生不同的固定状态结论。在一种赋值下，结果是 Witness（见证者）；在另一种赋值下，结果是 No-Witness-under-Abstraction（抽象下的无见证者）。这证明了未解决的替代方案 ($U$) 不仅仅是文档开销，而是可以从根本上改变保证结论。

核心贡献

1. 证据质量的实证特征化： 研究量化了公开披露与严格保证就绪基准之间的差距（39/40 vs. 20/40），并分解了阻碍纳入的具体因素（重构、可发布性等）。
2. 元素级溯源审计： 引入了一个分离分析师相关语义 ($\Gamma$)、名义溯源 ($P$) 和未解决替代方案 ($U$) 的框架，明确指出源码对的恢复并不自动提供语义字段的独立地面真值。
3. 识别不确定性边界： 通过 Case C4，研究展示了未解决的表示假设如何改变静态保证结论，从而论证了未解决的替代方案应当作为一等实体存在，而非被强制归入负面发现。
4. AIRR-40 资源： 发布了一个可重用的、包含 40 个案例和 49 个字段的冻结注册表，附带 20 个精确上游的严格清单、公开证据指针及可复现性制品。

意义与主张
本文明确不声称：

• 估计总体就绪度或检测器准确性。
• 提出新的 ISO/IEC 25012 数据质量模型或通用的序数证据强度量表。
• 作为检测器的训练语料库。
• 在通用公开漏洞过滤方面具有新颖性（承认了 Vul4J 和 Croft 等人的工作）。

相反，其意义在于表征面向保证基准构建的证据质量。研究认为，对于工具使用智能体和保证研究，证据的“适配性”不仅取决于补丁的存在，还取决于系统表示的可重构性、发布的可能性以及对未解决语义替代方案的显式处理。AIRR-40 资源允许研究人员检查这些任务相关的质量条件，重新计算结果，并在不接受本研究严格标准作为普遍规则的情况下应用替代的容许策略。研究结果发出警告：$R \neq S$（表示不等于系统），如果底层证据缺乏特定的语义溯源，保证问题可能会变得定义不明。