💻 computer science

Auditing Empirical Comparisons in Quantum Software

本文介绍了 CLAIMSTAB-QC，这是一个用于审计量子软件中经验比较的框架，该框架通过在计算结果之前锁定研究设计，揭示了一个显著的实质性差距，即大多数报告的主张缺乏足够的证据进行直接验证，并且在严格审查下往往产生未解决或反转的结果。

原作者： Boshuai Ye, Peng Liang, Maryam Tavassoli Sabzevari, Arif Ali Khan

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Boshuai Ye, Peng Liang, Maryam Tavassoli Sabzevari, Arif Ali Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在读一篇美食评论，上面写着：“厨师 A 的汉堡比厨师 B 的更美味。”通常情况下，我们会认为这是关于汉堡的普遍真理。但如果厨师 A 使用了秘密香料配方、特定类型的面包，并将烤架温度设定得非常精确，而厨师 B 使用了不同的面包和木炭烤炉呢？如果你尝试用自己的厨房工具进行试吃，你可能会发现，其实厨师 B 的汉堡反而赢了。

这就是论文 《审计量子软件中的经验比较》（Auditing Empirical Comparisons in Quantum Software） 所要解决的问题，只不过这里讨论的不是汉堡，而是量子计算机及其运行的软件。

以下是作者所做工作的简单拆解，使用了日常类比。

1. 问题所在：“苹果 vs 橙子”的陷阱

在量子软件领域，研究人员经常发表论文声称：“我们的工具（工具 A）比那个工具（工具 B）更快/更好。”

然而，量子软件就像一个巨大的、多层结构的三明治。要做一个三明治，你需要面包、馅料、酱料以及特定的切片方式。在量子软件中，这些层分别是：

代码（面包）。
编译器（切片器）。
模拟器或硬件（盘子）。
噪声和误差（碎屑）。

作者认为，说“工具 A 更好”往往具有误导性，因为结果完全取决于这个三乘明治是如何制作的。如果你改变了面包（电路）或切片器（编译器设置），工具 A 可能会突然看起来不如工具 B。

2. 解决方案：“严格检查员”（CLAIMSTAB-QC）

作者构建了一个名为 CLAIMSTAB-QC 的新框架。你可以把它想象成一个严格的食品检查员，他不只是品尝食物，还会先检查食谱卡。

以下是这个“检查”的工作方式：

声明卡（The Claim Card）： 当论文说“A 击败了 B”时，检查员会写下具体的声明内容：具体的食材、具体的工具以及使用的具体规则。
锁定（The Lock）： 在检查员品尝之前，他们会锁定食谱。他们不得更改食材或工具。他们必须完全使用原论文中所描述的内容。
证据检查（The Evidence Check）： 检查员查看论文的“收据”（数据和代码）。
- 场景 A： 论文提供了完整的收据。检查员可以完全按照描述来品尝汉堡。
- 场景 B： 论文说“A 更好”，但没有列出食材或温度。检查员无法品尝。他们必须停下来并表示：“由于证据缺失，我们无法验证此项声明。”

3. 重大发现：“缺失收据”的差距

作者利用该框架对来自 119 篇不同研究论文 的 455 项声明 进行了测试。结果令人惊讶：

175 项声明 可以被写成清晰的食谱（声明卡）。
79 项声明 看上去是可以进行测试的。
53 项声明 拥有足够的数据来建立测试。
但是……只有 8 项声明 拥有测试该声明所需的完整“收据”，无需猜测或编造缺失数据。

类比： 想象一家连锁餐厅声称他们的汉堡是全市最好的。他们给了你 100 个门店名单。你去了其中 53 家进行检查。但当你试图品尝汉堡时，你发现其中 45 家并没有告诉你使用了什么食材。你实际上只能在 8 家店 真正品尝并验证这款汉堡。

这被称为**“具象化差距”（Materialization Gap）**。研究人员经常报告结果（胜者），却不提供实现结果所需的证据（确切的设置）。

4. 结果：谁才是真正的赢家？

对于那 8 项 拥有完整证据的声明，作者进行了“严格审计”：

2 项声明： 原有的获胜者得到了确认（“持续有效”结论）。
4 项声明： 由于数据过于混乱或结果过于接近，无法判断谁赢了（“未解决”结论）。
2 项声明： 当进行严格测试时，原有的获胜者实际上输了（“反转”结论）。

“反转”示例： 有一篇论文声称工具 A 比工具 B 产生的误差更少。当作者锁定设置并完全按照描述重新运行测试时，他们发现工具 A 产生的误差反而更多。原有的声明之所以成立，是因为使用了某个未被报告的特定设置，而作者并没有将其锁定。

5. 教训：“展示你的过程”

论文得出结论，目前量子软件比较的报告方式是有问题的。这就像数学老师说“答案是 5”，却不展示计算步骤。

作者建议，未来的论文应该：

清晰地陈述比较内容。
提供用于锁定测试的确切“收据”（具体的设置、种子值和数据）。
明确承认证据的边界（例如，“我们仅在小型电路上进行了测试；我们不知道它在大型电路上的表现如何”）。

总结

这篇论文并不是在说量子软件不好。它是在说，关于哪个软件“更好”的声明往往是无法证实的，因为研究人员没有分享足够的细节来运行测试。

作者构建了一个工具（CLAIMSTAB-QC）来充当严格的审计员。当他们使用它时，发现大多数声明都无法被审计，因为“收据”缺失了。对于少数可以被审计的声明，结果却褒贬不一：有时原有的声明成立，有时不成立，而且经常出现无法判断的情况。

核心启示： 如果你想知道工具 A 是否真的比工具 B 更好，你需要看到完整的食谱，而不只是最后的味道。

技术摘要：量子软件经验比较的审计

问题陈述
量子软件工程（QSE）领域的经验性论文经常报告比较性结论（例如，“编译器 A 比编译器 B 生成更小的电路”）。然而，这些“A 优于 B”的结论并非工具本身的内在属性，而是由涉及电路构建、编译选择、采样策略、后端噪声假设、优化器随机性和资源预算的复杂技术栈所产生的涌现结果。虽然现有方法解决了可复现性（重新运行实验）和工具测试问题，但它们并未直接审计：所报告的“比较关系本身”是否得到了源论文及其制品中所展示的具体证据的支持。

核心挑战在于具象化差距（materialization gap）：一篇论文可能报告了一个明确的排序，但其来源往往缺乏进行审计该特定关系所需的匹配证据（配对的基准、一致的设置和锁定的判定规则），否则只能通过代理重构或引入不支持的假设来进行审计。因此，尽管存在可执行的制品，许多报告的比较仍然是无法审计的。

方法论：CLAIMSTAB-QC 框架
作者提出了 CLAIMSTAB-QC，这是一个旨在通过将报告的关系视为审计单元来审计经验比较的源受限（source-bounded）框架。该框架通过以下阶段运行：

声明卡表示（Claim Card Representation）： 将一个报告的比较形式化为一个声明卡 $C = \langle P, BA, BB, M, R \rangle$ ，其中 $P$ 是问题上下文，$BA/BB $是基准，$ M $是度量指标，$ R$ 是报告的关系。这在计算任何结果之前就固定了范围。
具象化与锁定（Materialization and Locking）： 框架尝试通过识别源支持的证据来“具象化”该声明。它定义了一个审计空间（ $S_{audit} = S_{scope} \times E_{env}$ $S_{a u d i t} = S_{sco p e} \times E_{e n v}$ ），包含六个轴组：范围（问题规模、实例）、L1（构建/编译）、L2（采样/估计）、L3（后端/噪声）、ALGO（优化器随机性）以及 Budget（资源限制）。
- **先试运行（Dry-Run-First）**程序会检查这些轴。只有那些源支持的、影响度量的且保持关系不变的变体才会被激活。
- 设计在计算结果之前是**锁定（locked）的。如果来源缺乏必要的配对数据（例如，在相同种子下的匹配电路），审计将在证据边界（Evidence Boundary）**处停止。
结果计算：
- 对于**标量方向性（Scalar-Directional）**记录（严格的“更好/更差”声明），框架为每个匹配的单元计算一个带符号的边际值。
- 它应用 Wilson 决策规则将关系分类为持续（Sustained）（下界 $\ge \tau$ ）、反转（Reversed）（上界 $\le 1-\tau$ ）或未解决（Unresolved）。阈值 $\tau$ 对于严格声明设定为 0.95。
- 非标量记录（聚合、交叉）使用若可锁定的源支持规则；否则，将其标记为边界。
报告： 输出包括作用域判定（S/U/R）或解释为何无法审计该比较的显式证据边界（例如，缺失计时协议、种子不匹配）。

核心贡献

框架： 一种新型 QSE 框架，它将审计重点从“我们能否复现结果？”转向“源证据是否支持报告的关系？”，并使用源受限记录和锁定设计。
经验研究： 将该框架应用于来自 119 篇量子软件论文（2020–2024）的 455 个比较性声明。
可复用制品： 发布了一个包含声明表示、审计记录、锁定追踪和缺失证据注释的软件包，以促进对经验性 QSE 比较的检查。

结果
研究揭示了一个显著的**具象化漏斗（materialization funnel）**和差距：

表示： 在 455 个被接受的声明中，有 175 个可以表示为声明卡。
规划： 79 个被识别为标量方向性规划记录。
可锁定性： 53 个产生了可锁定的审计或诊断设计。
无代理审计（Proxy-Free Auditing）： 仅有 8 个记录展示了足够的匹配证据，可以在无需代理重构的情况下审计原始比较（第一层级/Tier-1）。
- 在这 8 个记录中，2 个为持续（Sustained），4 个为未解决（Unresolved），2 个为反转（Reversed）。
- 值得注意的是，两个“反转”案例（EX-C7 和 EX-C8）显示，在 0/80 和 0/80 个锁定单元中，报告的方向均被矛盾所推翻，这种推翻是由严格的矛盾而非平局驱动的。
受控诊断： 对 24 个基准相关的比较进行的实验表明，较简单的审计协议（单一配置或单一轴）往往能保留表观方向，但当检查全堆栈的锁定轴（L1–L3, ALKO, BUDGET）时，这些方向会减弱或变为未解决（Unresolved）。
鲁棒性： 当证据充足时，判定结果对统计选择（阈值、分组）是鲁棒的，但对平局处理和阈值的敏感性被明确报告为边界条件。

意义与主张
本文认为，经验性 QSE 的比较往往是在缺乏必要证据的情况下直接报告结果的。这项工作的首要意义在于证明了性能排序与其支持证据是可分离的。

作者得出结论，为了推动经验性 QSE 的发展，来源不仅要报告谁赢了，还要报告锁定该排序范围所需的匹配证据。该框架提供了一种机制，用于区分一种比较是可审计的（持续/反转/未解决），还是由于证据缺失而根本无法审计的（边界）。这改变了未来 QSE 研究的报告目标：论文应明确暴露锁定比较所需的基准、设置、实例、预算和判定规则，并清晰地标注证据边界在何处阻止了进一步的审计。