技术摘要：一种用于可比、成本感知型软件测试评估的经过验证的测量协议

问题陈述

新兴领域（特别是量子软件）中的经验性软件测试评估正面临缺乏可比性的问题。关于测试生成策略、判定器（oracles）和故障模型有效性的已发表结果往往互不兼容，因为它们依赖于不同的程序、故障模型、执行预算和统计程序。这种虽然各自具有可信度但无法相互比较的结论的累积，阻碍了该领域确定哪些技术真正有效的进程。此外，对于概率性判定器产生可靠结论所需的采样预算，目前缺乏经过验证的统计保证；同时，合成变异测试的构念效度（construct validity）——即种子变异体是否能预测真实开发者故障——在具有概率性判定器的领域中仍是一个未经测试的假设。

方法论

作者通过设计、验证并执行一个名为 Q-EVAL 的固定且可重复的测量协议来解决这些问题，该协议实例化于一个名为 QSQ-Bench 的基准测试套件中。本研究是一项受控模拟，使用 15 个经过完整插桩的量子程序（规模从 2 到 9 个量子比特）在标准模拟器（Qiskit Aer）上执行。

其核心方法论创新包括：

1. 固定协议： 该协议固定了程序语料库、一组规范的五种变异算子（门替换、删除、插入、量子比特重连以及参数扰动）、特定的判定器族（默认为统计 $L_1$ 距离判定器）、采样预算以及统计程序（Vargha-Delaney $\hat{A}_{12}$ 效应量、Mann-Whitney 检验）。
2. 判定器采样预算保证： 作者推导并验证了一个理论界限，用于确定统计判定器在特定分布间隙（$d$）和置信水平（$\alpha$）下，区分正确程序与故障程序所需的采样次数（$N$）。该界限由 $N = O((K + \log(1/\alpha))/d^2)$ 给出，其中 $K$ 是可能的输出结果数量。
3. 构念效度研究： 为了测试变异测试的有效性，作者通过与合成变异体相同的测量框架执行了来自 Bugs4Q 仓库的 52 个真实 Bug/修复对。他们对检测结果进行分类，并分析漏检情况，以确定这些故障是否根据定义对基于输出的判定器是不可见的。
4. 跨领域验证： 为了测试协议的泛化能力，作者将未经修改的核心代码（特别是采样预算界限和判定器函数）重新执行在一个经典的非量子随机系统上：一个加权流量分配器（特性标志分桶）系统。

核心贡献

论文提出了六项主要贡献，按对软件质量研究的重要性排序：

1. 固定测量协议 (QSQ-Bench/Q-EVAL)： 一个使“可比性”成为工具本身属性的框架，其特点是拥有规范的变异算子集和强制性的结构化报告（电路宽度、规模、深度）。
2. 经过验证的统计保证： 一个经过数值验证的采样预算界限，用于控制统计判定器的误报率和漏检率；该界限作为验证套件的一部分，必须在报告实验结果前通过验证。
3. 经测量的构念效度： 直接测量了合成变异体预测真实故障检测的能力，这是通过真实 Bug 对而非假设得出的。
4. 经验性跨策略研究： 在 15 个程序和 726 个变异体上，对四种测试生成策略（随机、输入覆盖、组合、基于搜索）进行了面对面的对比研究，包括效应量和显著性检验。
5. 领域外验证： 通过执行演示证明，其协议机制和定性发现可以在无需修改代码的情况下，在经典随机系统中复制。
6. 可复现性软件包： 一个完整的构件，包含库文件、验证套件、实验运行器和原始结果文件，确保所有报告的图表都能直接从数据中再生。

关键结果

• 采样预算： 理论上的采样预算界限在实践中成立。实测风险从未超过理论界限。然而，在执行噪声（去极化模型）下，$L_1$ 统计量会收敛到设备强加的噪声底限（0.028–0.051），因此检测阈值必须高于此底限以避免误报。
• 判定器主导地位： 没有哪一类判定器（错误输出型、输出概率型或统计 $L_1$ 型）能在完整的程序与预算矩阵中占据主导地位。统计 $L_1$ 判定器是唯一具有可证明、可调采样预算的判定器，但与错误输出型相比，它在低预算下具有更高的误报率。
• 测试生成： 仅在紧凑预算（例如单次测试执行）下，基于搜索的选择（SB）才显著优于其他策略。随着预算增加（6 次以上测试），所有策略都趋向于接近顶峰的检测率。
• 变异分析： 12.3% 的生成的变异体被证明是等价的。参数扰动（PP）变异体是最难被杀死的（杀伤率为 62%），相比之下，其他算子的杀伤率较高（89–100%），主要是因为微小的角度偏移产生的故障间隙低于检测阈值。
• 真实故障有效性： 在 52 个真实 Bug 对中，有 21 个在兼容层下是可执行的。该协议检测到了 81% 的这些可执行真实故障。至关重要的是，所有 4 个漏检的故障都属于在定义上对任何基于输出分布的判定器都是不可见的类别（例如全局相位误差、仅可视化故障或不影响输出分布的接口顺序故障）。
• 可扩展性： 采样成本是由输出分布的离散程度驱动的，而不仅仅是程序规模。对于集中分布（如 GHZ 态），达到阈值所需的采样次数随量子比特数增加保持平稳（64–128 次），而最坏情况下的理论界限呈指数级增长。
• 经典复制： 经典特性标志验证复制了所有核心发现：界限成立，没有判定器占主导，等价变异体普遍存在（37.5%），且小幅度的故障最难被杀死。

意义与声明

本文声称，可比性、成本感知和构建设度可以作为固定测量协议的属性来实现。其意义在于将该领域从积累不可比的结论转向建立一个可复现的工具。

作者根据证据状态明确标注了其声明：

• 已证明 (Proven)： 采样预算界限公式以及验证套件通过验证的事实。
• 已测量 (Measured)： 特定的检测率、81% 的真实故障检测率、12.3% 的等价变异体率以及噪声底限值。
• 假设 (Hypothesis)： 定量常数（例如特定的检测率）将转移到更大的语料库、真实的硬件或其他经典领域（如机器学习组件）。
• 进一步工作 (Further Work)： 集成上游工具二进制文件、扩展到更大的程序语料库，以及在真实量子硬件上进行验证。

本文得出结论，虽然具体的定量结果与这 15 个程序的语料库相关，但其方法论——即通过固定协议来实现可比性、验证判定器预算以及通过真实 Bug 审计合成故障——才是主要的、可迁移的贡献。研究表明，在该领域，合成变异得分可能会高估约 20% 的真实故障检测能力，具体原因是真实故障可能存在于可观测输出分布之外。