技术摘要：通过可扩展量子程序对量子软件测试进行基准测试

问题陈述

量子软件测试（QST）旨在验证量子程序是否符合其规范。然而，由于缺乏合适的基准测试，QST 的严谨实证评估目前受到了阻碍。现有的研究主要依赖于小型、硬编码或固定大小的量子电路（低层程序），这些程序通常使用类似 OpenQASM 的汇编语言编写。这些程序缺乏可扩展性，且无法反映现代软件工程实践，例如模块化以及在 Qiskit 等软件开发工具包（SDK）中发现的高层抽象。

此外，现有的基准测试是碎片化的。诸如 Bugs4Q 之类的资源包含了量子栈中的许多经典程序，而 MQT Bench 则是为硬件测试设计的，其输入是电路而非被测程序（PUT）。这种不匹配限制了设计有效测试用例、一致解释结果以及在不同 QST 方法之间进行公平、可重复比较的能力。目前迫切需要一种能够支持具有清晰功能规范和标准化接口的可扩展高层量子程序的基准测试基础设施。

方法论

作者提出了 Qolumbina，一个旨在支持对可扩展量子程序进行受控 QST 实验的基准测试基础设施。Qolumbina 的构建遵循一个系统的流水线：

1. 收集与筛选： 程序是从 8 个具有真实来源（例如官方 Qiskit 仓库、先前 QST 研究的制品）的开源仓库中策划而来的。选择标准（F1–F3）确保程序满足：

   • 逻辑和结构上的可扩展性（允许通过经典参数决定电路大小）。
   • 附带功能描述或算法原理。
   • 在无噪声情况下实现酉操作（在此初始范围内排除中途测量）。
     该过程产生了 40 个不同的程序。

2. 可测试性重构： 为了解决异构接口和规范不足的约束，95% 的原始程序经历了中度重构。适配工作包括：

   • 结构重组： 统一输入输出端口，并将固定变量转换为可配置参数。
   • 依赖解耦： 用本地等效物替换外部依赖，以确保长期可用性。
   • 输入验证： 插入断言以拒绝无效输入。
   • 跨语言转换： 将其他框架（如 Q#）的程序翻译为 Qiskit/Python。

3. 文档与规范： 作者生成了面向 QST 的文档，包括：

   • 基于公式的规范： 对预期输出和结构的数学定义。
   • API 文档： 从 docstrings 自动生成，并与形式化规范相链接。
   • 代码示例： 演示复杂的测试输入构建。
   • 技术债标记： 明确指出局限性（例如未公开的参数或针对近似算法的不可靠 Oracle）。

4. 单元测试： 开发并执行了 220 个程序级单元测试，以验证重构后的程序是否符合规范，实现了 85% 的语句覆盖率。

5. 分类法与指标： 作者建立了特征化程序以下维度的标准：

   • 功能性： 应用领域和输出特性（例如确定性、相位编码、近似输出）。
   • 规模： 开发复杂度（代码行数、圈复杂度）和执行复杂度（电路宽度、大小、深度）。

核心贡献

1. Qolumbina 基础设施： 一个公开可用的基准测试库，包含 40 个可扩展的 Qiskit 程序，这些程序比以往研究中使用的低抽象电路更接近实际开发。
2. 构建流水线： 一种将开源量子程序转化为通过系统化选择、重构、规范化和标准化来准备好测试的对象的的方法论。
3. 面向 QST 的分类法： 一套用于表征程序功能和规模的准则，用于验证基准测试的多样性和可扩展性支持。
4. 实证验证： 两个受控实验证明了使用 Qolumbina 进行执行成本和故障检测研究的可行性。

实证结果

作者进行了一项针对三个研究问题（RQ）的实证研究：

• RQ1（功能属性）：

  • 真实来源： 70% 的程序是非教学性质的，77.5% 的程序可作为子程序重用，这表明它们代表了更大工作流中的模块化组件，而非仅仅是教程示例。
  • 输出多样性： 该基准测试涵盖了六个不同的输出类别，包括确定性、精确分布、相位编码和近似输出。这种多样性强调了需要针对特定输出语义定制测试 Oracle 的必要性，因为标准的统计 Oracle 可能无法处理相位编码程序。

• RQ2（规模分析）：

  • 开发复杂度： 程序涵盖了广泛的 LOC（4–247）和圈复杂度（2–86），其中像 HHL 算法这样的离群值提供了复杂的结构挑战。
  • 执行复杂度： 与固定大小的基准测试不同，Qolumbina 程序生成的电路其宽度、大小和深度会根据经典输入发生显著变化。研究发现，电路复杂度不仅取决于量子比特数参数，还取决于其他功能参数（例如加法器中的权重向量），从而导致执行成本的巨大差异。

• RQ3（实验性能）：

  • 执行成本： 使用 MSTC 和 DOSS 方法，研究重现了混合态测试集比纯态测试集更高效的发现。至关重要的是，研究将其扩展到噪声模拟，显示后端选择（理想后端与 Algiers 和 Brooklyn 等伪后端）即使在无噪声设置下也会因转译差异而显著影响执行时间。
  • 故障检测： 当使用 DOSS 作为测试 Oracle 时，报告的失败率在不同伪后端之间存在显著差异。统计分析（Mann–Whitney U 检验）显示不同后端之间的失败率存在巨大的效应量，表明后端噪声和特定的硬件模型是影响故障检测结果的实验变量，而不仅仅是外围细节。

意义与主张

本文声称 Qolumbina 填补了当前研究基准与实际量子软件开发之间的鸿沟。通过提供具有标准化接口和规范的可扩展高层程序，它能够实现更公平、更具可重复性的 QST 技术评估。

作者强调了对未来研究的两个关键启示：

1. 功能感知测试： 测试 Oracle 和设计必须与程序的特定预期功能和输出特性（例如相位 vs 概率）保持一致，而不是采用“一刀切”的方法。
2. 后端作为实验变量： 后端选择（理想 vs 伪/噪声后端）会实质性地影响执行成本和故障检测结果。因此，后端选择应被视为 QST 研究中核心的实验设置，而不应仅仅被视为一个模拟细节。

研究结论指出，虽然 Qolumbina 支持规模分析并重现了先前的发现，但它也揭示了关于后端依赖效应的新现象，这些现象需要进一步研究。作者谦逊地将他们的工作定位为初步评估和未来研究的基础，并承认了其局限性，例如排除了中途测量以及使用了基于变异的故障而非现实世界的 Bug。