技术摘要：ConformalFL

问题陈述

基于谱系的故障定位（SBFL）根据测试覆盖率生成可执行程序行的排名，但无法为开发者提供具体的停止准则。开发者必须决定在放弃排名之前需要检查多少行代码，这一决策由于程序规模、测试支持、分值集中度以及精确分值并列（ties）之间的巨大差异而变得复杂。现有方法通常依赖于固定的 Top-N 策略或未经过校准的启发式算法，这些方法忽略了这些操作层面的现实情况，并且无法就错过故障的风险提供正式保证。

本文旨在解决如何将用户选择的“边际遗漏风险”（例如，“我愿意承担 10% 的漏报风险”）转化为特定且具有缺陷自适应性的检查集的的需求。其目标是提供一个可审计的、满足并列完备性（tie-complete）的候选集，该集合能以保证的概率包含至少一个映射到的故障行，且不假设该方法能提升底层 SBFL 排名的质量。

方法论

所提出的方法 ConformalFL 应用 共形分位数回归（Conformalized Quantile Regression, CQR），根据故障发生前的谱系特征来预测特定 Bug 的检查截断点。

1. 目标公式化

该方法将预测目标定义为最早故障分值组的归一化入口位置（$y_{entry}$）。

• 操作逻辑： 候选行按 SBFL 分值降序排列。精确的并列形成分值组。该方法预测一个比例 $b_i$ 并计算截断索引 $k_i$。最终的候选集包括所有分值大于或等于位置 $k_i$ 处分值的行。
• 并列处理： 为了确保集合是“并列完备”的，如果截断点落在并列组内，则包含整个组。目标是故障并列组的入口点而非终点，以避免不必要的重复计数导致的集合扩张。

2. 预测流水线

• 特征向量： 模型使用在故障揭示前即可获得的 20 个特征，包括代码规模、测试/覆盖率指标，以及 12 个 Ochiai 分值的分布特征（矩、熵、间隙、并列计数等）。项目身份和故障位置被排除在主模型之外。
• 分位数回归： 梯度提升回归器用于估计给定特征 $x_i$ 下目标 $y_{entry}$ 的条件上分位数（$bq_{1-\alpha}$）。
• 共形校正： 为了实现有限样本的边际覆盖保证，该方法使用了一个留出校准集。它计算单侧残差（$r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$），并基于这些残差的 $(1-\alpha)$ 分位数进行校正。
• 最终截断： 最终预算是预测的分位数与共形校正值的总和，并将其裁剪至 $[0, 1]$ 范围内。如果所需的校准样本量不足（例如，对于样本量极小的极高覆盖率目标），该方法会默认采用“无压缩”结果（全量检查），并明确发出信号，表明请求的风险水平不受支持。

3. 实验设计

• 数据集： 一个固定的 395 个历史 Defects4J（Java）Bug 宇宙，缩减为 248 个“存在候选者”的 Bug（即至少有一个映射到的故障可执行行，且同时具备通过和失败的测试）。
• 协议： 30 个项目分层拆分（60% 训练，20% 校准，20% 测试）。
• 对比对象：
  • GBR： 未经校准的梯度提升分位数回归器。
  • 全局共形（Global Conformal）： 从校准目标中导出的特征无关常数截断。
  • 固定策略： 预注册的 Top-N 和固定百分比策略（如 Top-10%）。
• 压力测试： 留出项目（留一项目法）、时间性偏移（时间漂移）以及跨语言（迁移至 Python/BugsInPy）评估。

关键结果

在标称 90% 覆盖率水平下进行评估：

1. 覆盖率 vs. 工作量：

   • ConformalFL (CQR)： 在检查 30.2% 的可执行候选行（中位数 508.5 行）时，实现了 91.8% 的平均覆盖率。
   • 未校准模型 (GBR)： 在检查 15.6% 时实现了 87.6% 的覆盖率。
   • 全局共形： 实现了 91.8% 的覆盖率，但需要检查 44.2%。
   • 固定 Top-10%： 在检查 28.3% 时实现了 90.1% 的覆盖率。

2. 校准价值：

   • 校准相比于未校准的 GBR 增加了约 4.2 个百分点 的覆盖率，但代价是增加了 +14.7 个百分点 的检查工作量。
   • 与常数全局共形截断相比，CQR 在保持相同平均覆盖率的同时，减少了 14.0 个百分点的检查量，证明了 Bug 自适应截断优于静态截断的价值。

3. 工作量分布：

   • 工作量分布呈现高度偏态。虽然中位数检查量约为 508 行，但由于存在重尾，平均值约为 1,521 行。
   • 18.9% 的情况出现了“无压缩”现象（全量检查），这是由于分值并列导致候选集扩张至整个排名。这种情况特别发生在截断点落在零分边界时。

4. 压力测试：

   • 项目偏移： 覆盖率随项目变化（85.7%–100%），较小的校准样本（例如 5 个 Bug）会导致无效（100% 检查）的结果。
   • 跨语言： 当在未重新训练的情况下迁移至 Python (BugsInPy) 时，CQR 保持了较高的经验覆盖率 (98.3%)，但遭受了严重的工作量退化，平均检查了 66.9% 的语句，其中 53.3% 的情况需要全量检查。

意义与主张

本文对 ConformalFL 的贡献做出了适度且具体的陈述：

• 可审计的风险控制： 主要贡献是将请求的遗漏风险映射到 Bug 自适应且满足并列完备性的检查集。在校准集与部署 Bug 之间满足可交换性（exchangeability）的假设下，它提供了边际覆盖的正式保证。
• 并非普遍占优： 本文明确指出，在本项目基准测试中，ConformalFL 并未在经验上优于 经过良好选择的固定策略（如 Top-10%）。固定 Top-10% 策略在覆盖率和工作量方面表现相当，且无需校准。
• 局限性：
  • 该方法并不提高底层的 SBFL 排名质量。
  • 它不能保证针对特定项目或子群体的条件覆盖（conditional coverage）。
  • 它不能保证在分布偏移（如跨语言或新项目）导致可交换性失效时的有效性。
  • 它没有测量人类调试时间，因为行数并不等同于上下文切换成本或理解成本。

结论： ConformalFL 为拥有历史故障数据的团队提供了一个实用的工具，可以用透明的规则取代未经校准的启发式算法，从而显式地权衡遗漏风险与检查工作量。然而，其效用受限于需要具有代表性的校准数据，以及在分值并列频繁或校准样本较小时可能出现的“无压缩”结果。