Claim against Measurement: Statistical Artefacts in Quantum Error Mitigation Benchmarks

本文批判性地评估了 81 项近期的量子误差缓解（QEM）研究，揭示出普遍存在的统计缺陷和未加考量的实验变量往往导致产生误导性的基准测试结果，并据此提出严格的报告标准以确保 QEM 性能声明的有效性。

要点

想象一下，你正试图烘焙一款完美的蛋糕，以证明一种新奇的原料（我们称之为“量子误差缓解”或 QEM）能让蛋糕更美味。你想向世人展示，你的蛋糕优于普通蛋糕。

这篇论文就像一群美食评论家，他们决定对 81 种声称使用了这种新原料的食谱进行品尝测试。他们不仅品尝了蛋糕，还查阅了“食谱书”，以了解烘焙者是如何衡量其成功的。

以下是他们发现的简单解释：

1. “食谱书”问题：证据不足

评论家们审视了 81 篇关于这种量子烘焙技术的近期论文（食谱）。他们发现了一个重大问题：大多数烘焙者只是描述蛋糕看起来有多好，而不是在统计上证明其优越性。

• 现实情况： 只有 25% 的烘焙者使用了适当的统计检验（例如带有对照组的严格品尝小组）来证明他们的蛋糕确实更好。
• 其余部分： 其他 75% 的人只是说“味道更好”，或者展示带有误差棒的图表，但没有进行数学计算来证明这种差异并非偶然。这就像在没有与其他蛋糕进行公平比较的情况下，就说“我的蛋糕更好”。

2. “秘密配方”陷阱：隐藏成分至关重要

随后，作者们尝试重新烘焙相同的蛋糕，但他们改变了原始烘焙者未写下的“隐藏”设置。他们发现，这些隐藏的选择是活跃的，意味着它们完全改变了结果。

• 类比： 想象一个食谱写着“加糖”。它没有说明加多少。
  • 如果你加 1 杯，蛋糕美味可口（“显著改善”）。
  • 如果你加 5 杯，蛋糕变成咸味且无法食用的混乱状态（“显著恶化”）。
• 发现： 在他们的研究中，他们改变了诸如“缩放因子”（他们拉伸噪声的程度）和“外推方法”（他们如何推测完美结果）等隐藏设置。
  • 在 12% 的测试案例中，改变这些隐藏设置将“获胜”结果变成了“失败”结果。
  • 有时，该技术实际上使结果比什么都不做更差，但原始论文声称它更好，仅仅是因为他们碰巧选择了“幸运”的设置。

3. “摇晃的桌子”问题：时间改变一切

第二个主要问题是，量子计算机就像摇晃的桌子。它们会随时间漂移。

• 类比： 想象你正试图在一张桌子上平衡一摞盘子。
  • 如果你在上午 9 点尝试，桌子很稳，你能平衡 10 个盘子。
  • 如果你在下午 1 点尝试，由于温度或磨损，桌子发生了轻微偏移。现在，你只能平衡 3 个盘子。
  • 如果你在下午 5 点再次尝试，桌子又移回了原位，你能平衡 9 个盘子。
• 发现： 作者在 72 小时（3 天）内运行了完全相同的实验。
  • 他们发现，仅仅通过改变一天中的时间，该技术的“有效性”就改变了 3.4 倍。
  • 某个早晨，该技术看起来棒极了。十二小时后，它看起来就平平无奇了。
  • 这造成了一种“有效性幻觉”。看起来该技术运作良好，但实际上那只是时间上的幸运时刻。
  • 更糟糕的是，由于桌子摇晃，他们运行测试的 30 次并不能算作 30 次独立测试。从统计角度看，这仅相当于 1.8 次 测试。这使得他们的“证明”比他们想象的脆弱得多。

主要结论

作者们并非说量子误差缓解是个坏主意或它不起作用。他们指出的是，我们目前测试和报告它的方式存在缺陷。

因为研究人员：

1. 没有使用严格的统计数学。
2. 隐藏了他们的“秘密配方”设置。
3. 忽视了硬件会随时间漂移的事实。

……我们可能正在庆祝那些实际上是幸运事故或统计技巧的“突破”。

他们的建议：
他们希望为量子烘焙制定新的“最低报告标准”。在你声称你的蛋糕更好之前，你必须：

• 列出你使用的每一个设置（没有隐藏成分）。
• 在不同时间运行测试，以确保桌子不会摇晃。
• 使用适当的统计数学来证明差异是真实的，而不仅仅是偶然。

简而言之：该技术可能很棒，但我们目前的测量工具是坏的。在我们能够信任结果之前，我们需要修复测量工具。

技术摘要

技术摘要：“对测量的质疑：量子误差缓解基准中的统计伪影”

问题陈述
量子误差缓解（QEM）被视为连接含噪声中等规模量子（NISQ）设备与未来容错量子计算机（FTQC）的关键桥梁。然而，QEM 技术的实证评估往往缺乏严谨的统计基础。现有文献频繁依赖描述性报告而非推断性统计，可能导致结论缺乏统计支持。此外，QEM 基准测试通常未能考虑两个复合的伪影来源：结果对隐含假设参数（如缩放因子、外推方法）的敏感性，以及硬件校准的时间漂移。这些遗漏可能导致将真正的缓解效应与统计噪声或实验伪影相混淆，从而夸大 QEM 方法的稳健性和有效性。

方法论
作者采用混合方法，将系统性文献综述与两个实证案例研究相结合：

1. 系统性综述：作者使用八项标准框架分析了 81 篇近期 QEM 论文（2022–2026 年）。这些标准评估了样本量合理性、方差报告、推断性统计证据、漂移控制、开销量化、噪声模型验证、可复现性以及负面结果的报告。
2. 参数空间复现（案例研究 1）：以理查德森外推（Richardson extrapolation）的零噪声外推（ZNE）技术为代表案例，作者复现了 Khan 等人（2024）的研究。他们将“复现参数空间”（$P$）形式化为以下类别：硬件/后端（$H$）、电路（$C$）、采样数与重复次数（$Q$）、折叠（$F$）、外推（$E$）以及缩放因子（$S$）。通过改变未指定的参数（例如，缩放因子$\{1, 3, 5\}$与$\{1, 1.5, \dots, 3\}$、外推方法及校准快照），同时保持其他参数不变，他们系统地扫描了 132 种配置。使用配对 t 检验和效应量（Cohen's $d$和 Cliff's $\delta$）评估统计显著性。
3. 纵向漂移研究（案例研究 2）：为了隔离时间漂移的影响，作者在 54 量子比特的 IQM Euro-Q-Exa 系统上进行了为期 72 小时的纵向实验。他们在三个会话期间（两个 12 小时的工作日和一次 48 小时的周末），每隔 30 分钟执行相同的 ZNE 配置。他们分析了原始期望值的自相关性以及 ZNE 效应量（$d$）随时间的变化。

主要贡献

• 系统性综述发现：综述揭示了统计严谨性方面的显著差距。在 59 篇适用统计证据的论文中，仅有 15 篇（25%）使用了推断性方法（如假设检验）。大多数（42%）仅描述性地报告不确定性而未检验统计显著性，另有 32% 未提供任何统计证据。仅有 30% 的论文涉及漂移控制。
• 活跃参数识别：复现研究表明，文献中常未指定的参数（缩放因子、外推方法、校准快照）是“活跃”的，意味着其变化可能根本性地改变实验结论。在 132 种配置的扫描中，参数变化将特定配置下的结果从“统计显著改善”转变为“统计显著恶化”。
• 漂移诱导的有效性错觉：纵向研究表明，仅凭硬件的时间漂移，就可在同一设备的 48 小时窗口内，导致 ZNE 的表观有效性变化超过 3.4 倍（例如，Cohen's $d$在 3.3 到 11.3 之间波动）。
• 有效样本量缩减：该研究量化了时间漂移如何违反标准统计检验的独立性假设。数据中的自相关性将独立观测的有效数量（$n_{eff}$）从名义上的 30 次重复减少至低至 1.8 次，极大地削弱了基于重复测量得出的主张的证据基础。

结果

• 参数敏感性：在 Khan 等人研究的复现中，缩放因子和外推方法的选择显著影响了结果。例如，在去极化噪声模型上，ZNE 在 33 种配置中有 29 种显示出显著改善，但在真实硬件快照（IBM Osaka）上，改善的一致性较差。关键在于，在低错误率的 IBM Marrakesh 处理器上，发现 ZNE 对浅层电路（TC1）是适得其反的，由于方差放大超过了修正作用，反而增加了误差。
• 时间变异性：纵向研究证实，硬件漂移是非平稳的，并在不同会话中表现出不同的模式（例如，阶跃变化、逐渐下降、夜间偏移）。由漂移引起的 ZNE 有效性变化（3.4 倍）超过了改变整个噪声模型时观察到的变化（2.7 倍）。
• 统计功效：研究强调，低采样数和少量重复可能导致对真实效应的假阴性，并无法确认缺乏改善。相反，如果底层硬件不稳定，高采样数可能会夸大效应量（$d$），而无法反映真正的稳健性。

意义与主张
作者并不声称 QEM 方法本身存在缺陷。相反，他们指出当前的评估实践使得缓解性能看起来比证据所支持的更加稳健。该论文主张：

1. 评估有效性：如果不控制参数敏感性和时间漂移，QEM 基准测试就无法可靠地区分真正的缓解效应与统计或实验伪影。
2. 可复现性危机：“复现风险”很高，因为已记录的参数通常仅代表完整参数空间的一小部分，而执行时的特定校准快照是一个关键却常被未报告的变量。
3. 拟议标准：为解决这些问题，作者提出了 QEM 评估的最低报告标准，包括：
   • 明确记录所有活跃参数（包括校准快照）。
   • 强制进行推断性统计检验并报告效应量。
   • 在配置网格上进行稳健性检查。
   • 进行纵向漂移评估或随机化执行顺序，以消除漂移与参数效应之间的混淆。

该论文 concludes 指出，随着该领域迈向展示量子效用，这些方法论改进对于确保 QEM 研究的科学严谨性和实际可信度是必要的。