⚛️ quantum physics

Neural Quantum States in Mixed Precision

本文确立了理论误差界限与经验证据，证明了混合精度算术（特别是使用半精度进行采样）可以在不牺牲准确性的情况下，显著增强变分蒙特卡洛模拟中神经量子态的可扩展性与能量效率。

原作者： Massimo Solinas, Agnes Valenti, Nawaf Bou-Rabee, Roeland Wiersema

发布于 2026-01-29

📖 1 分钟阅读🧠 深度阅读

原作者： Massimo Solinas, Agnes Valenti, Nawaf Bou-Rabee, Roeland Wiersema

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤、雾气缭绕的山脉中寻找最低点。这正是科学家在尝试模拟复杂量子系统（例如新材料中的原子相互作用）时所做的事情。这个“最低点”代表了系统的最稳定状态，即所谓的基态（ground state）。

为了找到这个位置，他们使用了一种叫做**变分蒙特卡洛（Variational Monte Carlo, VMC）**的方法。你可以把这想象成派出成千上万名徒步旅行者（样本）去探索这座大山。这些徒步者并不仅仅是随机游荡；他们使用一套特定的规则（神经网络）来猜测哪里可能是低点，然后迈出小步，看看是否能走得更低。这个“徒步”的过程被称为 MCMC 采样（MCMC sampling）。

问题：沉重的背包

几十年来，科学家们一直坚持要求这些徒步者必须背负双精度（double-precision）背包（64位数字）。这些背包极其沉重且精确，确保每一步的计算都拥有完美的准确度。然而，背着这些沉重的背包既缓慢又耗能，尤其是在使用现代超快速计算机（GPU）时，而这些计算机实际上是为携带较轻负载而设计的。

解决方案：混合精度策略

本文作者提出了一个简单的问题：如果我们让徒步者在“行走”阶段背负较轻的背包，但在进行“重要计算”时仍保留沉重且精确的背包，会怎样呢？

他们称之为混合精度（Mixed Precision）。

行走（采样）： 他们让徒步者使用半精度（非常轻、快速）或单精度背包，仅仅是为了决定迈步的方向。
规划（训练）： 他们保留沉重的双精度背包，用于更新地图和神经网络的实际数学运算。

理论：为什么它不会出错

你可能会担心，使用较轻、精度较低的背包会导致徒步者迷失方向。作者从数学上证明了并非如此，只要徒步者的移动速度足够快。

他们创建了一个“安全网”理论：

噪声很小： 轻量化背包引入的误差就像路径上微小的、随机的颠簸。
徒步速度至关重要： 如果徒步者移动得很快，并且高效地探索整座大山（这是一个被称为“混合”的概念），这些微小的颠簸并不会让他们偏离航线。他们所走的路径仍然会通向同一个最低点。
结果： 只要来自轻量化背包的“噪声”足够小，徒步者最终找到的目标点与他们全程背负沉重背包时找到的目标点是完全一致的。

实验：测试徒步者

为了证明这一点，团队在一个著名的量子模型（横场伊辛模型，Transverse-Field Ising Model）上运行了模拟，这个模型就像是一个由旋转磁铁组成的网格。

设置： 他们训练了神经网络来寻找这些磁铁的基态。
测试： 他们使用不同的背包重量进行了“徒步”（采样）测试：双精度（重）、单精度、半精度以及 Brain（bf16）。
结果：
- 准确性： 使用轻量化背包的徒步者找到了与使用重型背包者完全相同的最低点。最终结果同样精确。
- 速度： 使用轻量化背包的徒步者速度提升了高达 3.5 倍。
- 原因： 现代计算机芯片（GPU）在处理这些较轻的数字时速度更快，就像跑车处理轻载比重型卡车更轻松一样。

“颠簸”的比喻

想象你正在走钢丝。

双精度就像是在一条完美平滑且宽阔的桥上行走。
低精度就像是在一条布满细小碎石（噪声）的桥上行走。
论文表明，如果你走得很快且碎石很小，你不会掉下去。你仍然能安全到达另一端。然而，如果碎石变得太大（噪声过多）或者你走得太慢，你可能会绊倒。作者精确计算了碎石在多大程度下会导致你开始踉跄。

核心结论

这篇论文证明了，在量子模拟的世界里，你并不需要背负最沉重的背包才能完成任务。通过在“行走”阶段切换到更轻、更快的格式，科学家可以更快速、更高效地运行模拟，而不会损失任何准确性。这是一种用更少的能量和时间获得同等高质量结果的方法。

技术摘要：混合精度下的神经量子态

问题陈述
科学计算传统上依赖双精度（64位）算术来确保准确性，特别是在模拟现实世界现象的仿真中。然而，随着硬件加速器（如 GPU）的日益普及，低精度格式（例如单精度 f32、半精度 f16、bfloat16）因其卓越的性能、更小的内存占用和更高的能量效率而变得极具吸引力。在现代科学计算中，特别是求解量子多体系统的变分蒙特卡洛（VMC）方法中，一个显著的瓶颈是生成足够去相关（decorrelated）的马尔可夫链蒙特卡洛（MCMC）样本的计算成本。虽然低精度算术提供了加速，但其对 MCMC 采样准确性的影响——特别是关于引入偏差以及破坏遍历性（ergodicity）的可能性——仍未得到充分探索。本研究旨在通过针对神经量子态（NQS）的严格评估，探讨混合精度算术在 MCMC 驱动的科学应用中的适用性。

方法论
作者通过理论推导与实证验证相结合的方法来解决这一问题：

理论框架：
- 研究将降低的精度建模为目标分布 $\pi(x)$ 对数概率的一个加性扰动 $\delta(x)$ ，从而产生一个扰动后的分布 $\tilde{\pi}(x)$ 。
- 作者推导了这种扰动在 Metropolis-Hastings (MH) MCMC 中引入误差的解析界限。他们利用全变分（Total Variation, TV）距离来量化精确分布与扰动分布之间的差异。
- 通过结合马尔可夫链的混合特性（具体使用 Doeblin minorization 条件来建立收缩率 $r$ ），他们推导出了比标准粗略界限更紧凑的偏差界限。
- 定理 III.3 为具有高斯噪声的局部 MH 提议提供了一个特定的界限，表明偏差随噪声水平 $\sigma$ 和收缩率 $r$ 缩放。至关重要的是，如果链的混合速度很快（ $r \ll 1$ ），则偏差随 $O(\sigma^2)$ 而非 $O(\sigma)$ 缩放。
实证验证：
- 玩具模型： 作者首先使用一个“带噪声”的受限玻尔兹曼机（RBM）验证了理论界限，其中通过向对数密度注入显式的高斯噪声来模拟精度误差。
- 混合精度 VMC 框架： 他们实现了一种实际的混合精度方案，其中 VMC 的采样部分在低精度（f16 或 bf16）下执行，而梯度计算和参数更新（前向/后向传递）保持在双精度（f64）下。参数在高精度下更新，然后向下转换（downcast）以进行采样步骤。
- 基准测试： 该方法在反铁磁相和顺磁相下的横场伊辛模型（TFIM）以及海森堡模型上进行了测试。测试的架构包括 RBM 和残差卷积神经网络（ResCNN）。

核心贡献

误差界限的推导： 本文推导了离散 MH MCMC 中由低精度算术引入的采样误差的一般解析界限。它建立了噪声水平、链的混合时间与产生的分布偏差之间的理论联系。
混合精度 VMC 框架： 作者引入了一个框架，在保持优化循环其余部分为高精度的同时，在低精度下执行 MCMC 采样。这有效地将采样瓶颈与梯度更新的精度要求解耦。
可扩展性的实证展示： 该工作证明，在不降低训练性能或基态逼近精度的情况下，NQS 优化可以实现显著的加速（高达 3.5 倍）。

结果

理论一致性： 来自带噪声 RBM 玩具模型的实证结果显示，实验结果与推导的理论界限高度一致。在相对期望值的蒙特卡洛采样误差在噪声参数 $\sigma$ 达到 1 阶量级之前，对扰动保持不敏感。
精度保持： 在 2D TFIM 和海森堡模型的完整 VMC 优化中，相对于双精度参考解的相对能量误差在 f64、f32、f16 和 bf16 数据类型之间几乎是相同的。
噪声分析： 低精度评估中的数值误差 ( $\delta$ ) 分布被发现近似服从高斯分布，验证了理论假设。该误差的标准差始终很小 ( $\sigma < 1$ )，确保了 MCMC 链能够可靠收敛。
加速趋势： 加速因子随样本数量和模型参数数量的增加而系统性地提高。这归功于更好的 GPU 内存利用率以及算术单元的饱和度提升。
梯度噪声： 研究确认，在 f32 和 f16 机制下，随机蒙特卡洛采样噪声主导了低精度数值误差，这解释了为什么优化动力学保持稳定。

意义与主张
本文声称，混合精度算术是加速科学计算中 MCMC 采样的可行且有效的策略，特别是在神经量子态领域。作者断言：

VMC 算法的大部分环节，特别是量子态的采样，可以在半精度下执行而不损失精度。
推导出的理论框架提供了一种严谨的方法，用于评估依赖于 MCMC 的机器学习方法的混合精度适用性，其应用范围超出了 NQS，扩展到了贝叶斯学习和能量模型等领域。
虽然混合精度在通用机器学习中已是标准做法，但其在 MCMC 驱动的科学计算中的应用仍有待深入探索。本工作为采用这些技术来实现更具扩展性和能效比的量子多体系统模拟提供了理论依据和实践证据。
作者指出，虽然采样加速非常显著，但通过将混合精度应用于局部能量计算和预处理步骤，可能会获得进一步的收益，尽管这带来了额外的实际挑战。

研究结论认为，只要底层马尔可夫链的混合特性足够鲁棒以处理引入的数值噪声，混合精度将成为未来依赖 GPU 的科学工作流中的高影响力工具。