🤖 machine learning

Reinforcement Learning for Syndrome Extraction

本文提出了一种用于量子纠错综合提取的强化学习与重要性采样方法，该方法通过降低所有规模下的逻辑错误率，显著优于 AlphaSyndrome 和 PropHunt 等现有工具，在距离为 15 的表面码上实现了高达 97.8% 的提升。

原作者： John Zhuoyang Ye, Aarav Pabla, Jens Palsberg

发布于 2026-09-14

📖 1 分钟阅读☕ 轻松阅读

原作者： John Zhuoyang Ye, Aarav Pabla, Jens Palsberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

量子计算机有望解决当今机器需要数千年才能解决的问题，从破解复杂的密码到模拟新药。但这些机器极其脆弱。它们用于存储信息的微小粒子被称为“量子比特”（qubits），极易受到热量、振动甚至随机电磁波的干扰。一个微小的错误就可能损坏整个计算过程。为了使量子计算变得实用，科学家们开发了一种名为“量子纠错”的安全网。他们不再依赖单个完美的量子比特，而是将许多不可靠的物理量子比特组合在一起，形成一个单一的、更可靠的“逻辑”量子比特。这个系统通过不断检查错误来工作。它通过测量特定模式的量子比特来进行，而无需直接查看数据本身，这一过程会产生一组被称为“综合征”（syndrome）的线索。如果综合征为空，则一切正常；如果综合征显示出某种模式，则表明发生了错误，计算机可以在错误扩散之前对其进行纠正。

挑战在于如何执行这些检查。为了测量综合征，计算机必须执行一系列操作，按特定顺序连接量子比特。虽然在数学上允许有许多种排列这些连接的方式，但并非所有排列都同样安全。在充满噪声的环境中，这些操作发生的顺序决定了一个微小的错误有多容易从一个量子比特扩散到许多个其他量子比特，从而可能导致纠错机制也无法修复的灾难性故障。寻找最安全的排列方式就像是在一个随着每个新增量子比特而呈指数级增长的草堆中寻找一根针。对于一个中等规模的量子码，其可能的排列方式比可观测宇宙中的原子还要多。以往寻找最佳排列方式的尝试都在速度与质量之间难以取得平衡：能够找到优解的方法运行速度太慢，无法用于大型系统；而较快的方法产生的调度方案往往仍容易出错。

在一项新的研究中，加州大学洛杉矶分校的研究人员开发了一种名为 FastSched 的工具，通过结合两种强大的技术来解决这个问题。他们使用强化学习训练了一个计算机程序，这是一种人工智能通过试错来学习的方法，就像孩子学习骑自行车一样。该程序的任务是一个接一个地为每次检查选择操作顺序。为了使学习过程高效，研究人员使用了一种称为“重要性采样”的统计技巧。通常情况下，在一个设计良好的电路中寻找逻辑错误是非常罕见的，计算机可能需要运行数百万次模拟才能看到一次失败。这使得学习过程极其缓慢。研究人员在训练阶段人为地增加了错误的发生概率，使程序能够频繁地观察到错误，并学习如何避免它们。然后，他们通过数学手段调整结果，使其反映在正常、低错误条件下的情况。这种方法让人工智能能够探索广阔的可能调度景观，并识别出最安全的路径，而不会陷入停滞或浪费时间。

这种方法的成果具有重要意义。在与现有的最佳工具进行测试时，FastSched 始终能产生错误率更低的调度方案。平均而言，与一种领先工具相比，它降低了近 26% 的逻辑错误率；与另一种工具相比，降低了超过 71%。随着量子码规模的增大，这种改进变得更加显著。对于一种距离（distance）为 15（衡量其规模和鲁棒性的指标）的特定类型量子码，该新工具与之前的最先进方法相比，将错误率降低了近 98%。这意味着对于相同数量的硬件，新的调度方案可以使计算机的可靠性大幅提升。研究人员通过使用源自实际硬件数据的现实噪声模型进行广泛模拟，验证了这些发现。他们发现，即使在系统物理噪声降低的情况下（在这种情况下，寻找错误对传统方法来说变得更加困难），该工具仍然有效。

该研究还解决了限制以往工作的关键权衡问题。早期的研究方法要么产生高质量但计算耗时过长的调度方案，要么产生快速但不够可靠、无法用于严肃应用的调度方案。FastSched 成功实现了快速与准确并重，能够有效地扩展到更大、更复杂的量子码。研究人员证明，该方法适用于各种不同的量子码结构，而不仅仅是某一种特定类型。通过专注于操作的具体顺序以及错误如何在系统中传播，他们能够找到防止小错误演变成大灾难的排列方式。这项工作并不声称已经解决了量子计算的所有问题，但它提供了拼图中的关键一块。它提供了一种实用的方法，用于设计未来运行大规模、容错量子计算机所需的控制序列。目前，代码和研究结果已向其他科学家开放，供其使用和进一步研究，这有望加速可靠量子计算的实现进程。

技术摘要：用于校验提取（Syndrome Extraction）的强化学习

问题陈述

量子纠错（QEC）依赖于校验提取来检测和纠正逻辑比特中的错误。其中一个关键子任务是确定最优的校验提取调度（syndrome extraction schedule），该调度指定了每个稳定器检查内 CNOT 门的顺序以及这些门的执行时机。

这些调度的搜索空间极其庞大。对于一个包含 $m$ 个检查、每个检查涉及 $w_i$ 个数据比特的代码，可能的 CNOT 排序数量为 $\prod_{i=1}^m w_i!$ 。例如，一个距离为 5 的旋转表面码（distance-5 rotated surface code）大约拥有 $3.1 \times 10^{24}$ 种可能的排序组合。虽然在理想情况下，检查的行为与 CNOT 顺序无关，但在噪声环境下，顺序决定了辅助比特故障如何传播到数据比特（从而产生“钩状错误/hook errors”）。因此，不同的调度会产生截然不同的逻辑错误率（LER）。

核心挑战是一个搜索问题：寻找一个能使 LER 最小化的调度。以往的最先进工具面临着解质量与可扩展性之间的权衡：

AlphaSyndrome 使用蒙特卡洛树搜索（MCTS）来寻找高质量的调度，但在处理大规模代码距离时扩展性较差。
PropHunt 使用最大可满足性问题（MaxSAT）来扩展到更大的代码，但生成的调度与人工设计或经过 MCTS 优化的调度相比，其 LER 通常显著更高。

此外，评估调度在计算上非常昂贵，因为逻辑错误属于稀有事件。直接使用蒙特卡洛采样来准确估计高质量调度下的 LER 需要无法承受的采样次数。

方法论：FastSched

作者引入了 FastSched，这是一个结合了用于搜索的**强化学习（RL）和用于评估的重要性采样（IS）**的工具，旨在克服质量与可扩展性之间的权衡。

1. 强化学习公式化

调度合成问题被建模为一个马尔可夫决策过程（MDP）：

状态 ( $s_i$ )： 编码部分调度信息，包括之前检查所选 CNOT 顺序的历史记录、代码结构（支撑矩阵、检查类型）以及当前检查索引。
动作 ( $a_i$ )： 为当前检查 $i$ 选择特定的 CNOT 排序。动作空间是一个固定的排列表（对于小规模检查使用所有排列；对于大规模检查则使用 32 个子集）。
奖励： 终端奖励源自完整调度估计的 LER。为了鼓励探索，加入了一个基于访问次数平方根倒数的探索奖励。
算法： 作者使用了带有演员-评论家（actor-critic）架构的近端策略优化（PPO）。演员提出门顺序，而评论家预测状态的值。使用广义优势估计（GAE）根据最终的 LER 为早期的门顺序决策分配信用。

2. 用于评估的重要性采样

为了解决逻辑失效稀有的问题，FastSched 在评估阶段采用了重要性采样（Importance Sampling）：

放大（Amplification）： 系统不是在目标噪声模型 $P$ 下采样误差，而是在一个放大的分布 $Q$ 下进行采样，在该分布中错误概率增加（上限为 0.45），从而使逻辑失效更加频繁。
加权（Weighting）： 每个采样的失效都通过似然比 $W(x) = P(x)/Q(x)$ 进行加权，以提供原始噪声模型 $P$ 下无偏的 LER 估计。
无偏性（Unbiasedness）： 文中证明了对于固定的采样预算，该估计量是无偏的。
自适应停止（Adaptive Stopping）： 系统使用失效贡献的有效样本量（ESS）来决定何时停止对候选调度的采样，从而在信息增益与计算成本之间取得平衡。

3. 后训练选择与精炼

训练完成后，系统通过多阶段过程选择最终调度：

候选池： 训练过程维护一个包含最多 300 个不同调度及其估计 LER 的候选池。
重新评估： 使用更大的采样预算（并可能使用不同的放大因子）对精选出的候选方案进行重新评估，以区分表现最优者。
局部改进： 可选的局部搜索阶段会对最优候选方案测试单次检查的 CNOT 顺序变更。如果估计的 LER 改善超过了组合标准误差阈值，则接受变更。

核心贡献

RL 公式化： 一种用于调度合成的新型强化学习方法，通过学习门顺序策略来最小化 LER，性能优于以往的最先进方法。
重要性采样评估器： 一个基于重要性采样和递增采样预算的调度评估器，显著降低了评估稀有逻辑错误的计算成本。
理论保证： 证明了在固定采样预算下，重要性采样估计量是无偏的。

结果

作者在各种量子代码（表面码、颜色码、双曲码和 LDPC 代码）上，使用 Brisbane 噪声模型对 FastSched 进行了评估，对比对象为 AlphaSyndrome 和 PropHunt。

平均降幅：
- 与 AlphaSyndrome 相比：Fast-Sched 在 11 个电路中平均降低了 25.9% 的 LER。
- 与 PropHunt 相比：Fast-Sched 在 8 个电路中平均降低了 71.7% 的 LER。
可扩展性（距离 $d=15$ ）： 对于一个距离 $d=15$ $d = 15$ 的旋转表面码，FastSched 相比 AlphaSyndrome 实现了 97.8% 的 LER 降低。
- FastSched LER: $3.62 \times 10^{-9}$
- AlphaSyndrome LER: $1.68 \times 10^{-7}$
可扩展性（搜索时间）： 在匹配的时间限制（10–30 分钟）下，Fast-Sched 在 $d=3$ 到 $d=15$ 的距离范围内，始终能找到比 AlphaSyndrome 更低 LER 的调度。相比之下，PropHunt 在较大距离下往往无法在时间限制内返回优化的调度。
低噪声机制： 随着物理错误率降低，FastSched 的优势愈发明显。对于一个 $d=5$ 的表面码，当物理噪声降低至基准值的 1/32 时，FastSched 的 LER 比 AlphaSyndrome 低了 391.3 倍。

重要性与主张

论文声称 FastSched 成功解决了调度合成问题，且没有被迫在解质量与可扩展性之间做出权衡。通过结合用于高效搜索的 RL 和用于高效评估的重要性采样，该工具可以探索极其庞大的 CNOT 排序空间，从而找到显著优于人工设计及以往自动化方法的调度。

作者强调，成功的关键在于使稀有的逻辑失效对学习变得有用。噪声放大使得 RL 智能体在训练期间能够获得频繁的反馈信号，而重要性权重确保这些信号能准确反映目标（低）噪声水平下的性能。结果表明，将强化学习与重要性采样相结合，是处理校验提取调度的一种可行且更优的策略，特别是在量子代码向更大距离和更低物理错误率扩展时。