Reinforcement Learning Assisted Quantum Simulation of Many-Body Excited States and Real-Time Dynamics

本文通过将深度 Q 网络用于自适应选择紧凑的双体算符，将强化学习收缩量子本征求解器（RL-CQE）扩展至高效计算多费米子电子激发态和实时动力学，在具有可扩展态表示和恒定缩放时间演化的情况下实现了化学精度。

要点

想象一下，你正在尝试解决一个巨大而复杂的拼图。在量子化学的世界里，这个拼图就是弄清楚电子在分子中如何行为，尤其是当它们被激发时（例如植物吸收阳光时）或随时间快速运动时。

传统上，在量子计算机上解决这个拼图，就像试图通过同时向各个方向迈出微小且固定的步伐来攀登一座高山。这种方法虽然可行，但速度缓慢，需要巨大的能量，而且一旦踏错一步，就可能陷入困境。

本文介绍了一种更聪明的攀登该高山的方法，使用一种称为**强化学习（RL）**的“向导”。以下是作者新方法的运作原理，分解为简单的概念：

1. 问题：“同时全部”攀登

旧方法（称为 CQE）试图同时调整整个拼图解决方案。想象一下，试图通过同时拉扯一团乱麻中的每一根线来解开它。这很混乱，而且你往往会得到一个难以解开的结。在量子术语中，这意味着计算机需要运行非常长且复杂的操作序列（深度的“电路”）才能获得正确答案。

2. 解决方案：“智能向导”（RL-CQE）

作者用强化学习智能体取代了“一次性拉扯所有东西”的策略。将这个智能体想象成一位拥有地图的熟练徒步者。

• 运作方式：徒步者不是拉扯所有线，而是观察拼图的当前状态，并问道：“现在哪一个动作能让我最接近解决方案？”
• 结果：徒步者选择最佳动作，执行它，然后重新评估。这创造了一条通往解决方案的更短、更直接的路径。论文表明，这种“一次一步”的方法比旧方法使用的步骤（算子）少得多，同时仍能达到相同的高精度（化学精度）。

3. 攻克“激发”态

通常，量子计算机擅长寻找“基态”（分子最放松、最平静的状态）。但自然界往往是动态的；分子会被激发，跃迁到更高的能级，并做出各种疯狂的事情。

• 挑战：寻找这些激发态就像试图同时找到几座不同山峰的顶峰。
• 创新：作者调整了他们的“智能向导”，使其能够同时处理多座山峰。他们证明，该向导能够像导航平静的基态一样，同样出色地导航这些复杂的激发态景观。他们还表明，该向导不需要事先知道每座山峰的确切重量；它可以自行找出正确的平衡点，使其更加稳健，不易失败。

4. 时间旅行问题：模拟运动

模拟分子随时间的变化（实时动力学）通常是量子计算机的噩梦。

• 旧方法：要模拟 10 秒的时间，你可能需要将其分解为 1,000 个微小步骤。要模拟 100 秒，则需要 10,000 个步骤。“电路”（指令列表）变得越来越长，直到计算机崩溃。
• 新方法：作者发现了一个技巧。由于他们是一起观察一组状态（“纯化系综”），他们可以在整个模拟过程中重复使用同一组“动作”。
• 类比：想象你在录制视频。旧方法就像单独拍摄每一帧并存储所有帧，需要巨大的存储空间。新方法则像是意识到相机运动遵循特定的模式。你只需要存储模式（固定的动作集）和起点。无论视频有多长，“存储”（电路大小）都保持不变。这使得他们能够模拟时间演化，而不会让计算机不堪重负。

5. 证明：在简单分子上进行测试

作者在两个简单分子上测试了这个新的“智能向导”：氢气（$H_2$）和三氢链（$H_3^+$）。

• 结果：该向导以惊人的精度找到了这些分子在不同形状和距离下的正确能级。
• 效率：它仅用极少的步骤就完成了这一任务（有时仅需 2 或 5 个动作），而旧方法则需要多得多。
• 时间：在模拟这些分子随时间运动时，“电路”大小保持恒定，证明该方法具有良好的可扩展性，并且不会随着时间的推移而变得沉重。

总结

简而言之，本文提出了一种利用量子计算机研究分子在被激发或运动时行为的新方法。通过使用一个 AI“向导”，该向导在每一步选择最佳单个动作，他们创造了一种具有以下特点的方法：

1. 更快：解决拼图所需的步骤更少。
2. 更智能：无需完美的先验知识即可处理复杂的激发态。
3. 可扩展：能够模拟时间的流逝，而不会让计算机被不断增长的指令列表所拖累。

这使我们更接近利用当今有限的量子计算机来解决以前无法模拟的化学和物理领域的现实世界问题。

技术摘要

技术摘要：强化学习辅助的多体激发态与实时动力学量子模拟

问题陈述
准确计算多费米子体系的电子激发态和实时量子动力学仍是一项根本性挑战，尤其对于近期量子设备而言。标准单参考方法由于这些态中存在的强多组态特征和近简并性而往往失效。虽然收缩量子本征求解器（CQE）提供了一种基于收缩薛定谔方程（CSE）的可扩展方法，但其通过纯化系综方法向激发态的扩展却面临收敛缓慢以及对关键超参数（特别是系综权重向量）敏感的问题。此外，传统的时演化模拟通常依赖于 Trotter 分解，导致电路深度随模拟时间无界增长，这对长时动力学构成了重大障碍。

方法论
本工作将此前为基态开发的强化学习收缩量子本征求解器（RL-CQE）推广，以解决激发态和实时动力学问题。核心方法论包括：

1. 用于激发态的 RL-CQE：该算法将 CQE 更新过程表述为马尔可夫决策过程（MDP）。深度 Q 网络（DQN）智能体作为策略，在每次迭代中自适应地从无符号量子算子库中选择单个双体算子。智能体的状态表示为反厄米收缩薛定谔方程（ACSE）残差向量。关键在于，该状态向量的维度仅取决于单粒子基组大小，而与目标激发态的数量（$K$）无关。智能体通过最大化结合能量最小化和残差抑制的奖励函数进行优化。
2. 无符号算子等价性：作者将无符号量子算子（与标准费米子算子因非局域符号因子而不同）的理论验证扩展至激发态区域，证明了在此背景下它们与原始费米子算子的等价性。
3. 通过共享幺正结构进行时演化：为了模拟实时动力学 $|\Psi(t)\rangle = e^{-i\hat{H}t}|\Psi(0)\rangle$，作者利用纯化系综框架，其中所有目标本征态共享同一组幺正变换。通过在共享本征态基组中展开含时波函数，时演化被表示为作用于含时参考态的固定集合幺正变换。该参考态使用另一组通过 RL 优化的幺正算子制备。这种方法确保了无论模拟时间 $t$ 如何，算子的总数保持恒定。

主要贡献

• RL-CQE 的推广：首次将 RL-CQE 应用于量子本征求解器框架内激发态波函数的直接优化。
• 可扩展的状态表示：引入了一种基于 ACSE 残差的状态表示，其规模随基组大小增长，但与激发态数量无关，克服了系综方法中的主要瓶颈。
• 对超参数的鲁棒性：证明基于 RL 的算子自适应选择所产生的解，相比需要精确、特定系统调优的传统 CQE，对系综权重向量的选择具有显著更强的鲁棒性。
• 恒定缩放的时演化：开发了一种时演化算法，其保持固定的 Ansatz 规模（恒定算子计数），独立于模拟时间，这与基于 Trotter 方法的线性或多项式增长的深度形成对比。
• 理论扩展：验证了无符号量子算子在激发态设置下的等价性，将此前仅在基态中确立的结果进行了扩展。

结果
该算法在 $H_2$ 分子和线性等距 $H_3^+$ 离子上针对不同键长进行了基准测试：

• 激发态能量：对于 $H_2$，RL-CQE 使用最多 5 个幺正变换即达到了化学精度（与全组态相互作用结果相差在 $10^{-3}$ Hartree 以内）。该方法对系综权重向量表现出极大的不敏感性；简单的严格递减权重向量（例如 $[4, 3, 2, 1]$）的表现与优化后的向量相当，而传统 CQE 对此选择高度敏感。
• 算子效率：在 $H_2$ 中，该算法针对不同键长仅收敛于 2 个算子，远少于传统 CQE 所需的同步更新数量。对于 $H_3^+$，该方法成功复现了势能曲线，并选择了不同的、适应几何结构的算子序列。
• 时演化：应用于 $H_2$ 和 $H_3^+$ 时，RL-CQE 时演化算法在固定步数（$H_2$ 为 5 步，$H_3^+$ 为 20 步）下实现了高保真度（接近 1），无论模拟时间 $t \in [0, 20]$ a.u. 如何。这证实了时间维度上恒定缩放的理论预测。

意义
本文声称，RL 为在混合量子 - 经典算法中最小化量子资源需求提供了一个有效且灵活的框架。通过实现紧凑的 Ansatz 和无需预先了解系统对称性或复杂超参数调优的鲁棒收敛，RL-CQE 解决了当前变分量子本征求解器的关键局限性。能够以恒定算子计数模拟实时动力学，为在近期硬件上实现可扩展的多体动力学提供了一条途径，并可能扩展到开放量子系统、非平衡动力学以及传统方法变得不可处理的大型分子体系。这项工作奠定了利用无模型强化学习在量子化学中导航复杂优化景观的基础，无需梯度信息或显式建模量子设备内部细节。