⚛️ 量子物理

Quantum control of solid state qubits via Reinforcement Learning

本文通过一项基于模拟的分析表明，无模型强化学习能够有效地优化氮в空位（NV）核自旋在复杂、多噪自旋浴环境下的状态制备与门设计中的脉冲级控制，在奖励稀疏和观测性极低的挑战性条件下，其表现优于或等同于其他最先进的黑盒优化工具。

原作者： Dennis Herb, Mirko Rossini, Sabine Wölk, Joachim Ankerhold, Dominik Maile, Alessio Belenchia

发布于 2026-10-16

📖 1 分钟阅读🧠 深度阅读

原作者： Dennis Herb, Mirko Rossini, Sabine Wölk, Joachim Ankerhold, Dominik Maile, Alessio Belenchia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在构建实用量子计算机的竞赛中，科学家们面临着一个持久的敌人：噪声。与依赖稳定电流的经典计算机不同，量子机器使用的是脆弱的量子态，极易受到周围环境的影响。即使是与环境最轻微的相互作用，也会扰乱量子计算机试图处理的信息。为了让这些机器发挥作用，研究人员必须学会以极高的精度引导这些脆弱的状态，这一任务被称为量子控制。这一挑战在固态设备中尤为严峻，因为在这些设备中，量子比特（qubits）被嵌入在由其他原子和自旋组成的嘈杂环境中，这些环境就像一个混乱的人群，不断地挤撞量子比特并导致错误。为了使这些设备成为可靠的传感或计算工具，科学家需要一种能够设计出控制脉冲的方法，使其能够穿透噪声并高精度地达到预期的目标状态。

乌尔姆大学和德国航空航天中心的一个研究小组通过教一个计算机程序如何控制一种特定类型的量子系统——金刚石中的氮空位中心——解决了这一问题。该系统由一个作为“手柄”的中心电子自旋组成，科学家可以通过微波脉冲对其进行操纵，而附近的核自旋则充当实际的存储器或量子比特。困难之处在于，这些核自旋并非孤立存在；它们被周围的“自旋浴”（spin-bath）所包围，即金刚石中其他核自旋的集合，这些自旋创造了一个复杂且波动的磁环境。传统上，为这样一个系统设计控制脉冲需要一个完美的环境数学模型，而这通常是无法预先获知的。相反，研究人员使用了一种称为强化学习的方法，这是一种人工智能，其中智能体通过试错来学习。在这种设置中，智能体作为一个控制器，向电子自旋发送微波脉冲，希望间接影响核自旋以执行特定任务，例如创建量子门或制备纠缠态。智能体并不能看到系统的完整量子态；它只在每次尝试结束时接收一个简单的奖励信号，告诉它表现得如何。

研究人员在一个高度真实的模拟环境中模拟了这个学习过程，该环境包含了自旋浴的复杂相互作用，并使用了一种先进的技术来模拟噪声随时间对系统的影响。他们训练智能体寻找最佳的脉冲持续时间和相位序列，以实现两个目标：翻转单个核自旋以创建逻辑门，以及将两个核自旋纠缠以创建共享量子态。结果表明，只要是在考虑了噪声的模拟环境中进行训练，智能体就能成功学会控制系统。至关重要的是，智能体发现了一些与其他标准优化方法不同的策略。例如，为了抵消噪声，智能体学会了使用更强的外部磁场和更短的脉冲序列，从而有效地增强了系统，使其能够抵抗周围自旋的混乱挤撞。这种方法使得智能体能够找到即使在物理条件（如微波脉冲强度或原子的精确位置）发生轻微变化时仍能保持稳健的解决方案。

为了确保这些发现最终能应用于真实硬件，研究人员测试了智能体适应不确定性的能力。他们采用了称为领域随机化（domain randomization）的技术，即在智能体训练时，模拟世界中的关键物理参数会不断变化。这迫使智能体学习一种灵活的策略，而不是死记硬背一个完美的单一解。当研究人员随后在新的、略有不同的环境中测试这些训练好的智能体时，智能体能够保持高性能。此外，他们还证明了智能体可以使用仅靠简单的单次测量（这是实验室中实际可用的数据类型）在类真实系统中进行“微调”。这意味着智能体可以从模拟中学到一个通用的策略，然后快速调整以适应特定设备的特性，而无需一个完整、完美的噪声模型。

该研究还将这种学习方法与其他强大的数学优化工具（如贝叶斯优化和进化策略）进行了比较。虽然这些传统方法在理想化的设定下可以找到较好的解，但在面对自旋浴这种复杂的、多噪声的现实情况时却显得力不从心。相比之下，强化学习智能体始终能找到保真度更高且对物理系统缺陷更具稳健性的解决方案。在涉及两个核自旋之间创建纠缠态的一个特定测试中，智能体实现了超过90%的保真度，而其他方法的表现则远逊于此。研究人员发现，对于这些更长、更复杂的任务，智能体需要考虑到噪声浴中的高阶相互作用，而这种细节是较简单的模型往往会忽略的。通过成功应对这一复杂的景观，智能体证明了它能够发现人类设计的序列或其它算法可能忽略的新颖控制协议。

最终，这项工作为如何在当前技术的噪声时代控制真实的量子设备提供了蓝图。它表明，通过将真实的模拟与能够处理稀疏、不完美信息的学习算法相结合，科学家可以开发出既高性能又具适应性的控制策略。在噪声模拟中训练智能体，并利用简单的测量在真实设备上进行微调，这一过程表明了构建可靠量子传感器和量子计算机的一条切实可行路径。研究人员强调，尽管这些结果目前基于模拟，但所使用的方法旨在处理实际实验中可用的有限数据。这种方法为驯服固态量子系统固有的噪声提供了一种极具前景的方式，将这一主要障碍转化为设计未来量子技术时的可控因素。

技术摘要：通过强化学习实现固态量子比特的量子控制

问题陈述
本文探讨了为噪声中等规模量子（NISQ）设备设计高保真度量子控制策略的挑战，特别侧重于对金刚石中氮空位（NV）中心内核自旋的间接控制。核心难点在于存在一个复杂的、具有结构性的自旋环境（由 $^{13}$ C 核自旋组成），这会导致非马尔可夫退相干和逻辑门误差。传统的基于模型的优化控制方法在这一领域往往失效，因为它们需要对环境的微观结构和相互作用有精确的了解，而这在实验上是难以表征的。此外，标准的强化学习（RL）方法通常假设可以获取每个步骤的完整量子态或过程传播子，但对于物理设备而言，这种假设是不现实的，因为测量具有破坏性且资源密集（需要进行全量子态层析成像）。作者旨在开发一种在“最小可观测”条件下运行的模型无关（model-free）强化学习框架，利用稀疏的单次测量奖励，同时兼顾自旋环境的微观复杂性。

方法论
作者采用了一种模型无关的强化学习方法，具体使用了近端策略优化（PPO）算法，来设计微波（mw）脉冲序列。该设置包含一个 RL 智能体，通过对中心 NV 电子自旋施加脉冲来间接控制核自旋寄存器。

系统建模： 该物理系统使用广义簇相关展开（gCCE）进行建模。该技术允许包含自旋环境的微观结构和环境内部的相互作用（偶极耦合），而无需承担对整个系统-环境希尔伯特空间进行精确对角化的极高计算成本。gCCE 通过构建寄存器与选定环境自旋的簇来近似环境，并将剩余的环境自旋以平均场的方式处理。
间接控制： 智能体通过微波脉冲（参数包括持续时间、相位和拉比频率）以及自由演化阶段作用于 NV 电子自旋。目标是在存在周围环境噪声的情况下，将核自旋寄存器引导至目标状态（例如，Hadamard 门或 Bell 态）。
可观测性与奖励： 为了模拟真实的实验约束，智能体在一个部分可观测的环境中运行。它不会接收到完整的量子态。相反，它仅在每个回合（一系列脉冲）结束时接收到一个“稀疏奖励”。该奖励源自单次（或多次）泡利测量，为状态或过程保真度提供了一个无偏估计量。作者比较了几种奖励策略，包括精确保真度（仅限模拟）、直接保真度估计（DFE）、Hofmann 界以及 0-保真度。
模拟-现实迁移（Sim-to-Real Transfer）： 为了确保对参数不确定性（例如，拉比频率、磁场或自旋位置的波动）的鲁棒性，作者采用了领域随机化（DR）。在训练期间，物理参数在每个回合中都会被随机化。这使得智能体能够学习一种能够很好泛化到未见环境的随机策略，从而促进向真实硬件的零样本迁移或微调。

核心贡献

结构化环境中的模型无关控制： 本研究证明了模型无关的 RL 智能体可以在无需预先了解环境特定配置的情况下，成功应对耦合了结构化、非马尔可夫自旋环境的 NV 中心的复杂优化景观。
稀疏奖励策略： 本文验证了将单次测量保真度估计器作为 RL 训练奖励的可行性。这弥合了模拟与实验现实之间的鸿沟，表明智能体仅利用来自现实量子测量的有限信息，即可学习到高保真度的控制序列。
通过领域随机化实现鲁棒性： 作者展示了使用领域随机化训练产生的策略对于物理参数（拉比频率、自旋位置）的变化具有鲁棒性。这种方法使训练出的方案能够迁移到具有不同特征的环境中，是实现实验部署的关键一步。
基准测试： 作者将 RL 智能体与其它最先进的黑盒优化方法进行了基准测试，特别是贝叶斯优化（BO）和协方差矩阵自适应进化策略（CMA-ES）。

结果

逻辑门与状态制备： RL 智能体成功设计了用于单比特 Hadamard 门和两比特 Bell 态制备的脉冲序列。
- 使用自旋环境（使用 gCCE）训练的智能体，在存在精确环境的情况下，其保真度显著高于在理想化、无环境环境下训练的智能体。
- 对于 Hadamard 门任务，经过环境训练的智能体在精确环境下的保真度约为 96%，而环境无关的智能体约为 88%。
- 对于 Bell 态制备（一个更复杂、序列更长的任务），RL 智能体显著优于 BO 和 CMA-ES，尤其是在存在自旋环境的情况下。虽然 BO 和 CMA-ES 在精确环境下的保真度分别约为 70.96% 和 70.78%，但使用 gCCE1 和 gCCE2 环境模型训练的 RL 智能体分别实现了 81.50% 和 82.77% 的保真度。
学习动态： 使用单次测量奖励训练的智能体比使用精确保真度奖励的智能体需要更多的训练回合，但仍能收敛到高保真度解。使用领域随机化进一步提高了这些解在面对训练分布之外的参数变化时的鲁棒性。
策略特性： 学习到的策略通常利用较短的脉冲序列和较高的磁场，以抑制环境中的横向自旋动力学。智能体还学会了将不必要的脉冲持续时间设为零，从而有效地优化了序列长度。
微调： 研究展示了一个“预训练 + 微调”的流程。在模拟中（带有或不带有环境模型）预训练的智能体可以通过单次测量奖励进行微调，以针对特定的目标环境（使用不同参数模拟的环境），从而快速恢复高保真度。

意义与主张
本文声称，对于缺乏精确系统表征的复杂、噪声固态系统，强化学习提供了一条可行且具有竞争力的量子最优控制路径。通过将模型无关学习与现实的奖励方案（单次测量）以及模拟-现实迁移技术（领域随机化）相结合，作者提供了一个“蓝图”，用于实验实现。

其意义在于证明了 RL 智能体可以发现定制化的控制策略，以应对特定且复杂的自旋环境结构，并在这些具有挑战性的场景中超越传统的黑盒优化方法。作者强调，他们的方法不需要对环境进行表征，这使其适用于环境表征困难或不可能实现的现实设备。尽管这项研究是理论性和基于模拟的，但作者认为该方法论为在实际 NISQ 设备（特别是 NV 中心及其他可能的固态量子比特平台）上部署鲁棒的量子控制策略奠定了基础。

技术摘要：通过强化学习实现固态量子比特的量子控制

类似论文