⚛️ quantum physics

Reinforcement Learning to Disentangle Multiqubit Quantum States from Partial Observations

本文提出了一种基于置换等变 Transformer 架构的深度强化学习方法，该方法仅依赖局部两比特约化密度矩阵，即可自主构建用于 NISQ 设备上多比特态的高效且抗噪声的解纠缠电路，并在任意四比特态制备中实现了最优的门计数。

原作者： Pavel Tashev, Stefan Petrov, Matthew T. Diaz, Friederike Metz, Alaina M. Green, Norbert M. Linke, Marin Bukov

发布于 2026-06-23

📖 1 分钟阅读🧠 深度阅读

原作者： Pavel Tashev, Stefan Petrov, Matthew T. Diaz, Friederike Metz, Alaina M. Green, Norbert M. Linke, Marin Bukov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：用“智能助手”解开量子结

想象你有一个由 16 根绳子（代表被称为量子比特的量子粒子）组成的巨大且复杂的结。你的目标是将这个结解开，直到每一根绳子都完全变直并与其他绳子分离。在量子世界中，这被称为解纠缠（disentangling）。

问题在于，你无法一次看到整个结的全貌。你只能窥见两根绳子交叉的小部分区域。这就像是在戴着只能看到两条绳子的眼罩的情况下，试图解开一个毛线球。

这篇论文的作者创建了一个智能计算机助手（使用一种被称为强化学习的人工智能技术），它可以通过观察这些局部的微小视图，逐步找出解开整个乱团的最佳方法。

这个“智能助手”是如何工作的

把这个 AI 代理想象成一个正在玩游戏的解谜高手。

视野（局部信息）： AI 无法看到整个量子态（整个结）。它只能观察两比特约化密度矩阵。通俗地说，这意味着它只能测量任意一对绳子之间是如何相互作用的。这就像是在看一张地图时，你只能看到两个特定路口之间的交通情况，而看不到整个城市。
动作（操作）： 根据它所看到的，AI 会决定抓取并扭转哪两根绳子（施加一个量子门）。它不是瞎猜，而是使用了一个经过训练、能够识别模式的“大脑”（神经网络）。
奖励： 每当 AI 做出的动作让结变得稍微松散一点（减少了纠缠）时，它就会获得“积分”。如果它的动作没有帮助，它就得不到积分。目标是用最少的步数将结完全解开。

“神奇的大脑”：Transformer

论文提到了一种特定类型的 AI 架构，称为置换等变 Transformer（permutation-equivariant transformer）。这里有一个简单的理解方式：

想象你有一支正在解开绳结的工人团队。如果你交换了工人的名字（工人 A 变成工人 B，反之亦然），团队仍然应该知道该做什么，因为绳结的结构并没有改变，改变的只是标签。

这篇论文中的 AI 在构建时并不在意量子比特的“名字”或“标签”。如果把量子比特的顺序打乱，AI 能立即识别出新的排列方式，并相应地调整计划。它学习的是纠缠的形状，而不只是特定顺序的绳子。

他们的发现

研究人员在不同规模的绳结（从 4 根绳子到 16 根绳子）上测试了这个 AI。以下是他们的发现：

击败“随机玩家”和“贪婪玩家”：
- 随机玩家只是漫无目的地挑选两根绳子进行扭转，而不进行思考。它解开绳结需要花费极长的时间。
- 贪婪玩家会查看所有可能的配对，选择那个当下最有帮助的，然后继续下一步。这种方法虽然更好，但经常会陷入局部陷阱。
- AI 代理则更聪明。它有时会做出一个看起来目前没啥帮助的动作，但实际上是为了为后续步骤做好铺垫。它学会了如何洞察绳结结构的“大局观”。
- 结果： AI 使用的步数（量子门数量）明显少于其他方法。例如，对于一个 6 根绳子的结，它大约用了 56 步，而贪婪玩家则需要 72 步。
“4 根绳子”的秘密：
对于一个 4 根绳子的结，AI 发现了一个通用的“配方”。它找到了一套特定的动作序列（最多使用 5 次扭转），可以解开任何 4 根绳子的结，无论初始状态有多乱。这是一个重大发现，因为它证明了你可以用极少的资源来制备任何 4 量子比特态。
在现实世界中工作（噪声硬件）：
现实中的量子计算机是“有噪声的”——就像一个房间里有个大风扇在不停吹风，导致很难听清指令。这个 AI 是在完美的、安静的模拟环境中训练出来的。然而，当研究人员将这个 AI 放到一台真实的量子计算机（俘获离子机）上时，它依然奏效！
即使由于噪声的存在，测量结果变得“模糊不清”，这个 AI 依然足够鲁棒，能够理出正确的动作并成功解开状态。

为什么这很重要（根据论文所述）

该论文声称这是对 NISQ 设备（当前的、不完美的量子计算机）的一项突破。因为该 AI 只需要观察量子比特对（局部信息），而不是整个系统，所以它可以在真实的硬件上运行，而不需要获取那些几乎不可能获得的庞大数据量。

它本质上是一个压缩工具。就像你可以把一个大文件压缩成一个小文件一样，这个 AI 可以将一个复杂、混乱的量子态“压缩”成一个简单、干净的状态，且仅需最少的步骤。反过来，如果你运行这个过程的逆过程，就可以将一个简单的状态“解压”成一个复杂的、有用的状态。

总结

这篇论文展示了一个通过观察拼图碎片来学习解开复杂量子结的“智能助手”。它比随机猜测或简单的步进逻辑更聪明，它能适应绳结的形状而不受标签影响，并且在真实的、有噪声的量子机器上表现得惊人地出色。

技术摘要：利用强化学习从部分观测中解纠缠多比特量子态

问题陈述
本文探讨了如何使用最少数量的双比特门将任意多比特量子态解纠缠为积态（product states）的挑战。这是量子态制备问题的逆过程，对于量子态压缩、初始化和复杂度分析至关重要。一个主要的困难在于希尔伯特空间呈指数级增长，这使得穷举搜索算法在处理超过几个比特的系统时变得不可行。此外，含噪声中规模量子（NISQ）设备的实际约束限制了对全局状态信息的获取；通常情况下，仅能进行局部测量。作者研究了量子态的部分知识——具体而言，仅访问两个比特的约化密度矩阵（RDMs）——是否足以构建最优的解纠缠协议。

方法论
作者提出了一种利用深度强化学习（RL）框架的 Actor-Critic（AC）算法，具体采用了带有熵正则化的近端策略优化（PPO）变体。

观测空间： 为了符合 NISQ 的约束，智能体并不观察完整的量子态。相反，在每个时间步 $t$ ，智能体接收一个由当前状态的所有对称化两比特约化密度矩阵组成的观测值 $o_t$ 。这使得信息需求从随比特数 $L$ 指数级增长降低到了二次方增长。
动作空间： 智能体选择一对用于施加双比特幺正门的比特 $(i, j)$ 。
门构造： 一旦选择了比特对，特定的幺正门 $U^{(i,j)}$ 通过对相应的两比特 RDM 进行对角化来解析确定。这确保了该门在给定当前部分信息的情况下，对于解纠缠该特定比特对是局部最优的。
网络架构： 策略网络采用置换等变（permutation-equivariant）Transformer 架构。这种设计使智能体能够学习对比特标记具有不变性的策略，从而使其无论输入态中的比特如何置换，都能识别出纠缠结构。
奖励函数： 奖励信号旨在最大化平均单比特冯·诺依曼熵（ $S_{avg}$ ）的减少，同时惩罚所采取的门数量。目标是在尽可能少的步骤内将 $S_{avg}$ 推向零（表示积态）。
训练机制： 对于较大的系统（12 和 16 比特），作者采用了两阶段训练过程。首先，智能体在小子系统的积态上进行训练，以学习基础的解纠缠；其次，在 Haar 随机态的弱纠缠子系统上进行微调。

关键结果

小系统上的效率： 训练后的智能体成功解纠缠了 4、5 和 6 比特的 Haar 随机态。对于任意 4 比特态，智能体识别出的协议最多使用五个双比特门（相当于 10 个 CNOT 门）。对于 5 比特和 6 比特 Haar 随机态，智能体分别需要平均 20 个和 56 个双比特门。
与基准对比： RL 智能体的表现显著优于“随机”智能体（均匀选择比特对）和“贪婪”智能体（每一步选择使 $S_{avg}$ 局部最小化的比特对）。对于 6 比特态，RL 智能体比随机智能体减少了近三倍的门数，比贪婪智能体减少了约 22%。
电路转译： 与 Shende 等人实现的（在 Qiskit 中实现的）确定性算法相比，RL 智能体作为一种预转译程序，大幅减少了所需的 CNOT 门数量。例如，对于 4 比特 Haar 随机态，CNOT 数量从 22 个减少到了 12 个。
模式识别： 对学习到的协议进行的分析揭示了强烈的时空相关性。智能体经常识别出一个特定的比特，并在切换到另一个比特之前，应用一系列涉及该比特的门，这表明它有效地学会了利用输入态的特定纠缠结构，而非应用通用的序列。
可扩展性与噪声鲁棒性：
- 扩展性： 虽然底层的量子模拟随规模呈指数级增长，但 RL 智能体的计算成本随比特数呈二次方增长。
- 噪声： 智能体表现出对抽样噪声（来自有限采样态层析的统计误差）和去极化噪声的鲁棒性。即使在无噪声环境下训练，只要态不是完全混合态，智能体也能在噪声模拟器和真实硬件上成功解纠缠。
实验验证： 该方法在俘获离子量子计算机上得到了实验验证。智能体成功解纠缠了 Bell-Bell、GHZ、W 态和浅层电路态。虽然由于硬件退相干仍存在残余熵，但系统比特之间的形成纠缠（entanglement of formation）已成功降至接近于零。

意义与主张
论文声称，通过使用基于状态感知的 RL 智能体利用部分信息（两比特 RDMs），可以获得优于确定性、与状态无关算法的实际优势。作者强调：

状态依赖性： 不同于不存在的通用解纠缠机，RL 智能体构建的是依赖于状态的协议，能够适应特定的纠缠分布，从而最小化资源消耗。
NISQ 适用性： 对局部测量的依赖使得该方法直接适用于当前的量子硬件，而无需进行完整的态层析。
泛化能力： 智能体展现了泛化能力，能够处理具有弱相互作用子系统的 12 和 16 比特系统，并将学习到的策略迁移到噪声环境中而无需重新训练。
最优 4 比特协议： 对最优 4 比特序列的分析得出，存在一种通用的电路，能够通过最多五个双比特幺正门（10 个 CNOT）从积态制备任何任意 4 比特态。

作者总结道，虽然 Haar 随机态的资源指数级缩放是量子力学的固有特征，但 RL 提供了一种机制，可以优化常数前因子，并为物理相关的类别（如具有面积律纠缠或弱子系统间纠缠的态）发现高效的协议。