⚛️ quantum physics

Designing Quantum Error Correcting Codes to fit decoders via Reinforcement Learning

本文提出了一种利用近端策略优化（Proximal Policy Optimization）的强化学习框架，用于协同设计二元双循环（Bivariate Bicycle）量子纠错码及其解码器，通过优化代码生成过程，以最大化解码器在去极化噪声下的性能。

原作者： Omer S. Sella, Robert Pinsler, Thomas Heinis

发布于 2026-08-18

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Omer S. Sella, Robert Pinsler, Thomas Heinis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

构建一台利用量子力学奇特定律来解决问题的计算机，是一场与时间及噪声的赛跑。在这些机器中，信息存储在被称为“量子比特”（qubits）的微小粒子中，它们极其脆弱。哪怕是一丝热量的低语或一个随机磁场的干扰，都会损坏它们所承载的数据，使计算变成垃圾。为了阻止这种情况，科学家们使用了一种称为“量子纠错”的技术。他们将许多物理量子比特结合在一起，形成一个单一的、更稳定的信息单元，即所谓的“逻辑量子比特”。这个过程就像是在编织一张安全网：如果其中一根线条断裂，其他的线条仍能维持结构的完整。然而，为了让这张网发挥作用，机器必须不断地检查错误并进行修复，且速度要快于新错误的出现。这需要两件事完美协作：定义量子比特如何链接的代码，以及解码器（一个快速的计算机程序，用于判断哪里出了错以及如何修复）。如果代码对于解码器来说过于复杂，或者解码器运行速度过慢，整个系统就会失效。

多年来，研究人员一直将这些代码的设计与解码器的设计视为两个独立的任务。他们会先创建一个代码，然后尝试寻找一个能够读取它的解码器，反之亦然。但这种方法往往达不到预期，因为解码器的性能很大程度上取决于它所读取的代码的具体结构。一个能很好处理某种代码的解码器，在面对另一种代码时可能会表现挣扎，即便两者在纸面上看起来非常相似。这项新研究驱动的核心问题很简单：如果我们确切知道某个特定解码器的工作方式，我们能否专门设计一种代码，从而使该解码器的性能发挥到极致？帝国理工学院和微软研究院的研究人员通过将代码的创建视为一个由微小、连续的选择组成的旅程，试图回答这个问题。

为了解决这个问题，团队转向了人工智能的一个分支——强化学习。想象一下，在一款视频游戏中，玩家并不是通过被告知规则来学习获胜，而是通过尝试不同的动作、观察结果，并逐渐摸索出哪条路径能获得最高分。在这项研究中，“玩家”是一个人工智能代理（agent），而“游戏”则是构建量子纠错码的过程。该代理从空白状态开始，对定义代码的数学结构进行一系列微小的调整。在每一次微调之后，代理都会针对特定的解码器测试新代码，以观察其在模拟噪声下的表现。如果代码表现更好，代理就会获得奖励，并学会重复这种类型的改变；如果表现变差，代理则会学会避开这种改变。经过数千次的尝试，代理学会了一种构建代码的策略，使这些代码能与与之配对的解码器完美契合。

研究人员专注于一类被称为“二元双循环码”（bivariate bicycle codes）的代码。这类量子代码可以用四个简单的数学多项式来描述。代理不需要在数十亿种可能的量子比特排列中进行搜索，而只需要决定在这四个多项式中的哪些系数进行翻转。这使得搜索空间变得可控。该代理使用一种称为“近端策略优化”（Proximal Policy Optimization）的方法进行训练，这确保了学习过程既稳定又高效。目标是最大化代表代码整体健康程度的一个数值：即在不同噪声水平下绘制出的失败频率曲线下的面积。面积越大，意味着代码越稳健，即使在环境嘈杂的情况下也能保持较低的错误率。

结果表明，这种方法是行之有效的。该代理成功学会了生成新的代码，其性能超越了现有的、针对同一解码器的人工设计基准。在一个涉及 108 个物理量子比特的代码测试案例中，代理找到的一种配置，其性能得分高于此前已知同规模下的最佳代码。这项研究不仅找到了一个偶然的幸运代码，还产生了一个“策略”，即一套可以用来生成许多此类高性能代码的规则。研究人员还发现，代理可以从一个随机、混乱的代码开始，通过一系列微小且刻意的步骤，将其精炼成一个高效的结构。这表明，代码与解码器之间的关系并非固定不变，而是可以通过迭代改进的过程来进行优化。

研究的一个关键部分涉及教导代理理解其正在构建的代码结构。研究人员设计了一个特殊的神经网络组件，它可以观察代码的数学描述，并在进行完整测试之前预测其性能表现。这个组件充当了一个捷径，通过提供关于“什么是好的代码”的预判，帮助代理更快地学习。他们通过在小型代码上训练该组件，并观察其是否能帮助设计从未见过的更大规模的代码来测试其效果。结果喜忧参半但充满希望：虽然该组件能相当准确地跨不同规模预测代码中的信息单元数量，但要预测精确的错误性能却非常困难。这种张力表明，虽然代理可以学习优秀代码的结构性规则，但最终的性能取决于难以泛化的微妙细节。

论文还强调了当前方法的局限性。训练过程是使用噪声模拟进行的，而非在真实的量子硬件上。虽然模拟基于现实的错误发生模型，但现实世界往往更加混乱。研究人员指出，目前的方法假设了一种影响所有量子比特的均匀噪声类型，但真实的量子设备可能会有不同的错误模式。此外，该研究专注于固定的解码器架构。未来，研究人员希望扩展此方法，同时设计代码和解码器，创造一个两者共同进化以更高效解决问题的系统。他们还指出，这种方法可以应用于其他类型的量子代码和不同的噪声环境，从而有助于构建更可靠的未来量子计算机。

最终，这项工作证明了量子纠错码的设计不必是一个静态、手动的过程。通过利用人工智能在庞大的可能代码景观中进行探索，研究人员可以找到更适合其现有工具的解决方案。研究表明，当代码与其解码器进行协同设计时，所产生的系统对错误的抵御能力更强。这是迈向构建可扩展量子计算机的重要一步，证明了通过正确的代码与解码器组合，可以将脆弱的量子态转化为强大的计算工具。研究结果表明，实现容错量子计算的路径不仅在于更好的硬件，还在于更聪明、更具适应性的软件，使其学会保护所承载的信息。

技术摘要：通过强化学习设计适配解码器的量子纠错码

1. 问题陈述

量子纠错码（QECC）的设计与其对应的解码器在传统上被视为两个独立的问题。然而，特定解码器的性能——特别是那些依赖于最大似然（ML）解码启发式算法或近似算法（如置信传播 BP 结合有序统计解码 OSD）的解码器——在很大程度上取决于代码的结构特性。

本文解决的核心问题是：给定固定的解码器架构和特定的噪声模型，如何设计出一种能使该解码器性能最大化的 QECC？ 作者认为，代码设计与解码器设计并非相互独立，尤其是在解码器必须在容错量子计算典型的严格时间限制（延迟限制）下运行时。其目标是协同设计代码的稳定器集（stabilizer sets）与解码器，以实现在去极化通道下逻辑错误率的最优。

2. 方法论

2.1 将问题建模为序列决策问题

作者将代码设计问题建模为一个马尔可夫决策过程（MDP），并使用强化学习（RL），具体为近端策略优化（PPO）来求解。

状态 ( $s$ )： 当前状态由双变量双循环（Bivariate Bicycle, BB）代码的校验矩阵 $H_X$ 和 $H_Z$ 定义。这些矩阵由四个多项式 $a(x), b(x), a(y), b(y)$ 导出。
动作 ( $a$ )： 一个动作包括修改这些多项式的系数。具体而言，智能体选择其中一个多项式中的一个系数，并翻转其二进制值（与 1 进行异或运算）。这使得智能体能够迭代地“编辑”现有的代码。
回合结构： 回合从随机多项式（最多 3 个非零系数）开始，并进行固定步数（ $T=30$ ）的演进。为了防止智能体由于低错误率下的采样噪声而陷入局部最优或“平庸”的代码，回合在 $O(l+m)$ 步后截断。

2.2 奖励函数

奖励是一个源自解码器性能的标量。

蒙特卡洛评估： 对于给定的代码和解码器，系统会在几何范围内的物理错误率（ $p \in [0.001, 0.1]$ ）内模拟错误。
逻辑错误率曲线： 模拟生成一条逻辑错误率随物理错误率变化的曲线。
积分： 奖励计算为 $(1 - \text{logical\_error\_rate})$ 随物理错误率变化的曲线下的面积。这整合了整个范围内的性能。
逻辑比特约束： 为了防止智能体优化出平凡代码（例如逻辑比特数为零的代码），如果逻辑比特数 $k$ 低于最小阈值 $k_{min}$ ，则会对奖励进行惩罚。若 $k < k_{min}$ ，奖励为该缺失量的确定性函数；否则，使用综合性能指标。

2.3 策略架构

神经网络架构旨在处理可变大小的代码，同时利用 BB 代码的特定结构。

多分支输入： 网络处理三个不同的输入：
1. MLP 分支： 平展后的校验矩阵 $H_X, H_Z$ （提供对代码结构的全面可见性）。
2. 编码器分支： 一个基于 Transformer 的编码器，用于处理多项式系数。该分支使用循环位置编码（傅里叶基）以尊重 BB 代码构建的循环性质（ $x^l = y^m = I$ ）。该分支设计为尺寸可迁移的。
3. 逻辑比特特征： 关于逻辑比特数 $k$ 的显式输入，帮助智能体立即识别无效或次优的代码维度。

融合与输出头： 这些分支被融合并传递到独立的“执行者”（Actor，策略）和“评论家”（Critic，价值）输出头。执行者输出关于四个多项式中每个系数翻转情况的分类分布。

2.4 预训练与热启动

为了提高采样效率，作者采用了“热启动”策略。

代理模型： 编码器分支在大型已评估 BB 代码数据集上进行监督学习预训练。预训练任务是多任务的：直接从多项式系数预测逻辑错误率曲线和逻辑比特数 $k$ 。
迁移： 预训练后的编码器权重被冻结，并用于初始化 RL 智能体的编码器。这为智能体提供了代码性能的潜在表示，使其在开始 RL 训练之前就具备相关知识。

3. 核心贡献

协同设计框架： 一种新颖的 RL 框架，将 QECC 设计视为针对特定解码器定制的序列决策问题，而非静态的优化代码参数搜索。
生成式 BB 代码策略： 开发了一种生成式模型，通过迭代修改多项式系数来产生双变量双循环代码，从而实现对现有代码的优化。
尺寸可迁移的编码器： 设计了一个利用循环位置编码的 Transformer 编码器，使其能够学习可潜在迁移至不同代码规模（ $l, m$ ）的表示，解决了标准 MLP 的可扩展性问题。
代理辅助的 RL： 集成了监督预训练步骤（预测性能曲线和逻辑比特数），以引导 RL 智能体，显著提高了搜索效率。

4. 结果

性能提升： 训练后的策略成功发现了性能优于已发表参考 BB 代码（例如对于参数 $l=9, m=6$ ）的代码（基于综合奖励指标）。
学习动态： 对训练运行的分析表明，智能体学会了避开“惩罚区域”（逻辑比特数不足的代码），并向高性能代码收敛。评估奖励的“80% 带宽”随时间收窄，表明智能体能够一致地找到更好的代码。
外推限制： 虽然预训练编码器在预测已知代码规模的 $k$ 和误差曲线方面表现成功，但论文指出在向未知规模外推时存在张力。对于未见规模， $k$ 预测与曲线预测误差之间的秩相关性变为负值，这表明虽然编码器学习了结构特征，但在不同代码维度之间实现完美的性能预测泛化仍然具有挑战性。
效率： 使用热启动策略和特定的动作空间（翻转单个系数），使得智能体比随机搜索或标准进化策略能更有效地导航搜索空间，尽管蒙特卡洛评估的计算成本仍是主要瓶颈。

5. 意义与主张

本文谦虚地声称展示了在给定固定解码器的情况下，如何工程化构建更好的、堆栈集成的 QECC-解码器对方面的“进展”。它并不声称解决了所有硬件或噪声模型下的通用 QECC 设计问题。

具体效用： 该工作证明了对于固定解码器（BP+OSD）和特定噪声模型（去极化），RL 智能体可以迭代改进 BB 代码。
未来方向： 作者将此工作定位为实现更宏大愿景的一步，即生成式策略可以与底层硬件后端及其特定误差特性同步优化编译后的量子算法。
局限性： 作者承认当前方法受限于代码容量噪声模型（独立去极化噪声），且尚未考虑电路级噪声、格点手术约束或解码器参数的同步优化（尽管他们提出这将作为未来的研究方向）。

总之，本文建立了一个概念验证，证明了强化学习可以有效地用于协同设计量子纠错码与解码器，从而超越静态的代码选择，实现动态的、性能驱动的代码生成。