⚛️ quantum physics

One More Time: Revisiting Neural Quantum States from a Reinforcement Learning Perspective

本文介绍了近端波函数优化（Proximal Wavefunction Optimization, PWO），这是一种通过对概率比率和相位增量进行裁剪，来增强自回归神经量子态训练稳定性和可扩展性的置信域强化学习算法，从而实现了对高达 15 亿参数模型的有效优化。

原作者： Juan Agustín Duque, Sergio García Heredia, Vinicius Hernandes, Eliška Greplová, Thomas Spriggs, Aaron Courville, Anna Dawid

发布于 2026-07-03

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Juan Agustín Duque, Sergio García Heredia, Vinicius Hernandes, Eliška Greplová, Thomas Spriggs, Aaron Courville, Anna Dawid

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：寻找完美的排列组合

想象你有一个由数十亿个微小磁铁（量子粒子）组成的大型、复杂的拼图。你的目标是将它们排列成一种特定的模式，以使用尽可能少的能量。在物理学中，这被称为寻找“基态”。

长期以来，科学家们一直使用**神经量子态（Neural Quantum States, NQS）**来解决这个问题。你可以把 NQS 想象成一个超级聪明的 AI 机器人，它试图猜测磁铁的正确排列方式。机器人的猜测越准确，它就越接近真实的答案。

然而，教导这个机器人一直非常困难。这篇论文介绍了一种新的训练方法，它更快、更稳定，并且能处理比以前大出数千倍的拼图。

问题所在：“摇摆不定”的训练

为了教导机器人，科学家们使用一种叫做“训练”的方法。想象你在教一只狗坐下：

旧方法 (Adam)： 每当狗坐下时，你都会给它一颗零食，但你并不在意它在坐下之前如何扭动。有时，狗会变得很困惑，开始疯狂旋转，导致很难学习。
严格方法 (Stochastic Reconfiguration)： 你试图变得非常精确，测量每一次动作时狗的姿态发生了多少变化。这种方法非常准确，但它需要极其繁琐的数学计算，导致训练过程异常缓慢，且计算机经常崩溃（就像计算器尝试除以零一样）。

论文指出：“我们需要一种既像第一种方法那样快，又像第二种方法那样稳定的方法。”

解决方案：“置信区域”（PWO）

作者意识到，训练这些量子机器人的数学原理与**强化学习（Reinforcement Learning, RL）**非常相似，而强化学习正是用于教导 AI 玩《超级马里奥》或《星际争霸》等电子游戏的相同技术。

在强化学习中，有一种著名的技术叫做近端策略优化（Proximal Policy Optimization, PPO）。想象一位教练对狗说：“你可以移动，但不要离你刚才的位置太远。如果你移动得太狂野，我就阻止你。” 这让训练保持稳定，防止狗感到困惑。

作者创建了一种名为**近端波函数优化（Proximal Wavefunction Optimization, PWO）**的新算法。它将这种“不要移动得太远”的规则应用到了量子机器人身上。

PWO 如何通过两个“通道”工作：
量子波有两个部分：振幅（Amplitude）（波有多强）和相位（Phase）（波的时序或“颜色”）。

振幅通道： 算法会限制强度的变化。如果机器人试图过于剧烈地改变其猜测，算法会将它拉回，确保它保持在之前的“良好猜测”附近。
相位通道： 算法对时序也做同样的处理。它防止机器人过快地旋转波的“相位”，否则会导致数学计算崩溃。

结果：更快、更强

团队在几个困难的量子谜题（称为自旋系统）上测试了这种新方法。

速度： 在标准谜题上，PWO 比旧方法更快地找到了解决方案。其他方法可能需要 30 分钟才能达到一定的准确度，而 PWO 仅用约 5 分钟即可完成。
稳定性： 在最难的谜题上（即磁铁之间存在“挫折感”、无法达成一致模式的情况），旧方法经常崩溃或放弃。PWO 则能稳步进行。
规模： 最大的突破在于规模化。作者使用了一个巨大的 AI 模型（拥有 15 亿参数的大型语言模型，类似于驱动聊天机器人的模型）来解决一个量子谜题。
- 类比： 想象使用一台设计用来写小说的超级计算机来解决一个简单的数学问题。以前的方法无法在不损坏的情况下处理如此庞大的机器。PWO 让作者能够成功地微调这个巨大的模型，证明了量子模拟现在可以使用与现代 AI 相同的庞大工具。

核心总结

这篇论文架起了两个世界之间的桥梁：量子物理学与强化学习。通过意识到训练量子 AI 就像训练玩游戏的 AI 一样，作者借鉴了这种“置信区域”的技巧。这个技巧阻止了 AI 做出狂野、令人困惑的动作，使其能够以前所未有的速度和规模来学习复杂的量子模式。

简而言之： 他们找到了教导量子机器人走路而不绊倒的方法，这让机器人能够跑得更快，并能比以往更轻松地攀登更高的山峰。

技术摘要：再一次：从强化学习视角重新审视神经量子态

问题陈述

神经量子态（Neural Quantum States, NQS）为近似量子多体波函数提供了一个可扩展的框架，特别是利用自回归模型实现从 Born 分布中进行精确、独立的采样时。然而，这些模型的优化仍然是一个显著的瓶颈。现有方法面临着尖锐的权衡：

一阶优化器（如 Adam）： 计算效率高且具有可扩展性，但忽略了变分波函数的几何结构，常导致在 NQS 应用中出现不稳定或不准确的收敛。
随机重构（Stochastic Reconfiguration, SR）及其变体（如 minSR）： 具有几何原理（近似自然梯度下降），但由于需要求解大型且通常是病态的线性系统，对于大型网络而言计算成本极高。它们在复杂机制下也存在数值脆弱性问题。

虽然自回归 NQS 解决了采样瓶颈，但针对大型自回归波函数模型实现稳定且可扩展的优化仍是一个开放性挑战。

方法论

作者提出了近端波函数优化（Proximal Wavefunction Optimization, PWO），这是一种受强化学习（RL）中近端策略优化（PPO）启发的置信区域算法。其核心方法论建立在变分能量最小化（NQS 中）与策略梯度优化（RL 中）之间的形式等价性之上。

RL-VMC 等价性： 本文证明了对于无符号（stoquastic）哈密顿量，变分能量的梯度可以表示为基于 Born 分布的优势加权策略梯度更新。在此映射中：
- 自旋构型对应于动作（actions）。
- 中心化局部能量（ $E_{loc}(s) - \mathbb{E}[E_{loc}]$ ）对应于优势（advantages）。
- Born 分布对应于策略（policy）。
双通道优化： 不同于标准 PPO 处理单一概率分布，NQS 波函数是复数值的，需要分别处理振幅（amplitude）和相位（phase）。PWO 引入了两个剪切代理目标（clipped surrogate objectives）：
- 振幅通道： 使用剪切概率比（ $r_\theta = P_\theta / P_{\theta_{old}}$ ）来约束更新，模仿标准 PPO。这确保了更新后的波函数在概率质量方面与参考态保持接近。
- 相位通道： 引入了一种新型的剪切代理，它约束的是缠绕相位增量（ $\phi_\theta$ ）而非概率比。这可以防止波函数发生剧烈的旋转，同时遵循变分蒙特卡洛（VMC）梯度的虚部。
算法实现： PPO 在从参考分布 $P_{\theta_{old}}$ 抽取的冻结样本批次上执行多次内部更新（ $K$ 次）。它通过使用重要性采样权重（配合相位通道的停止梯度算子）在多次更新中复用这些样本，以纠正分布失配。这避免了显式的矩阵求逆，保留了一阶方法的扩展性，同时强制执行置信区域约束。

核心贡献

形式化联系： 作者正式建立了变分能量最小化与优势策略梯度 RL 之间的联系，证明了 NQS 梯度可以表示为 Born 分布上的优势加权形式。
PWO 算法： 引入了近端波函数优化，该算法在相位通道中对概率比变化进行剪切，并在振幅通道中对相位增量进行剪切。
理论保证： 证明了 PPO 代理目标满足置信区域改进界限，并且在是在线（on-policy）情况下，一阶更新与精确的 VMC 梯度方向一致。
可扩展性演示： 成功微调了一个拥有 15 亿参数的 RWKV-7 大语言模型（LLM）作为自回归 NQS，展示了其在规模上超过此前工作三个数量级的优化能力。

实验结果

作者在多个基准测试中评估了 PWO 对比 Adam、minSR 和 SPRING 的表现：

一维自旋系统（Ising 和 J1–J2 模型）：
- Ising 模型： PPO 在约 5 分钟内收敛至 $10^{-7}$ 的相对误差，显著快于 minSR（约 30 分钟）和 Adam。
- 受挫 J1–J2 链： PPO 保持了稳定的收敛并伴随递减的 V-score。相比之下，minSR 数值不稳定（10 次运行中有 6 次产生 NaN），而 Adam 则在较高的误差处陷入平台期。
二维受挫 J1–J2 模型： 在 $10 \times 10$ 格点上，PWO 在相同的墙钟时间预算内，比 Adam 更快达到更低的能量区间，并保持了更低的方差相关误差信号（V-score）。
可扩展性： 随着模型规模的增加（从“微型”到“中型”NQS），PPO 展示了持续的稳定性以及单调的能量改进。Adam 在更大模型下的稳定性与效率有所下降，而 minSR 则无法达到具有竞争力的能量值。
大规模微调： 使用 PPO 微调的 15 亿参数 RWKV-7 模型实现了比 Adam 更低的最终相对误差和 V-score，并在整个预算期间保持了训练的稳定性。

重要性与主张

本文声称，PWO 通过利用强化学习中的置信区域原则，弥合了第一阶优化器的可扩展性与几何方法（如 SR）的稳定性之间的鸿沟。

困难机制下的稳定性： 作者断言，PPO 式的近端目标为在困难、受挫的量子哈密顿量上训练高表达力 NQS 提供了必要的稳定性，而传统方法在这些场景下会失效或变得不稳定。
样本效率： 通过允许在多次更新中复用样本而不进行显式的矩阵求逆，PPO 提高了墙钟收敛速度。
规模： 将其成功应用于 15 亿参数模型的案例表明，NQS 优化现在可以进入现代大规模序列建模的领域。作者认为，这为研究“规模本身是否可以克服当前量子多体模拟障碍”打开了大门，符合 AI 领域的“苦涩教训”（bitter lesson）。

本文并非声称 LLM 是 1D 哈密顿量的最优归纳偏置，而是利用 RWKV-7 模型来演示近端目标在空前规模下的有效性。