🔬 condensed matter

Universal sampling of spin systems across quenched disorder

本文介绍了一种基于编码器-解码器 Transformer 架构的通用神经变分框架，该框架通过在无序系综中实现推理摊销，使得无需针对每个实例进行平衡或重新训练即可对诸如 Edwards-Anderson 模型等受挫自旋系统进行高效采样。

原作者： Jing Liu, Yeyuan Wu, Ying Tang, Pan Zhang

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jing Liu, Yeyuan Wu, Ying Tang, Pan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在广袤的物理学领域中，理解微观世界如何孕育出宏观世界是一个根本性的挑战。科学家们研究由无数微小部分（如原子或自旋）组成的系统，这些部分彼此相互作用。为了预测整体的行为，他们必须将这些个体部分的混沌细节进行平均化处理。然而，当这些系统具有“无序性”时，就会出现一类特殊且困难的问题。想象一种材料，其微小部分之间的连接并非均匀分布，而是随机地断裂或扭曲，就像一团乱麻般的电线，有些强，有些弱。这种随机性是“冻结”在材料中的，这意味着它不会随时间而改变。要理解这样一个系统，物理学家不仅要对部件排列的无数种可能方式进行平均，还要对随机连接设置的无数种不同方式进行平均。这种双层平均使得问题变得异常困难，即使对于规模适中的材料，通常也需要巨大的计算能力才能求解。

几十年来，研究这些无序系统的标准方法是对它们进行逐一模拟。研究人员会选取一种特定的随机连接排列，运行复杂的计算机模拟来观察系统的行为，然后针对一个新的、不同的随机排列重复整个过程。这种方法极其缓慢，因为计算机必须为每一个新的排列从头开始，且经常陷入局部循环而无法找到系统的真实状态。这就像是通过为每一座不同的城市聘请一支新的探险队来绘制地图，迫使每支队伍都在没有任何前人帮助的情况下，从零开始学习街道布局。这一瓶颈阻碍了科学家以所需的精度来研究大规模无序系统，从而揭示其最深层的奥秘。

一组研究人员现在引入了一种新的方法来应对这一问题，将研究重点从解决单个实例转向学习适用于所有实例的通用规则。研究人员不再训练计算机模型去理解某一个特定的随机连接排列，而是教导一个单一的人工智能模型同时理解整个可能的排列家族。研究人员构建了一个神经网络——一种受人类大脑启发的计算机程序——它充当了一个“通用翻译官”。它将随机连接集的描述作为输入，并能瞬间预测系统的行为，而无需针对该特定集合进行重新训练。这种被称为“摊销推理”（amortized inference）的方法，使模型能够实现泛化。一旦训练完成，它就能观察到一个全新的、未见过的连接排列，并立即生成该系统状态的准确图像，从而绕过了长期困扰该领域的缓慢且重复的模拟过程。

该团队在经典的无序磁体模型——爱德华兹-安德森（Edwards-Anderson）模型上测试了这一新框架。在该模型中，微小的磁自旋排列在网格上，它们之间的连接被随机设定为吸引或排斥。研究人员利用一系列随机网格训练了他们的神经网络，然后挑战它去预测从未见过的网格行为。结果令人瞩目。该模型成功预测了跨越广泛温度范围的系统能量及其他物理性质，且其处理的网格规模远大于训练时使用的规模。它的表现非常出色，甚至可以预测边长为48个单位的网格行为，而这一规模对于传统方法来说难以企及。此外，该网络还学会了寻找这些系统的最低能量状态，即最稳定的构型，且具有极高的准确度。这证明了该网络不仅仅是记住了训练样本，而是真正学习了支配这些无序材料的底层物理定律。

为了证明其方法的威力，研究人员将其应用于一个涉及随机键伊辛模型（random-bond Ising model）的棘手问题，该系统用于研究无序如何影响磁相变。该系统的一个关键特征是一个被称为尼希莫里（Nishimori）多重临界点的特殊点，在此点处，材料的行为会发生复杂的变化。为了精确定位这个点，科学家需要对海量的随机排列进行平均——具体来说是一百万种不同的实现。使用传统方法，这将需要不切实际的时间和计算资源，因为这一百万种排列中的每一种都需要进行独立的、长时间的模拟。然而，新的神经网络轻松处理了这一任务。在单次训练之后，它在极短的时间内就为所有一百万种排列生成了独立的样本。产生的数据清晰地展示了定义多重临界点的曲线交点，以高精度证实了理论预测。这一成就凸显了新方法能够处理理解复杂无序系统所需的巨大统计平均任务，而这在以前是无法实现的。

这项工作的成功表明，物理学家对待复杂无序系统的方式正在发生重大转变。通过从针对特定实例的计算转向学习通用的框架，研究人员消除了一项研究这些材料的主要障碍。神经网络充当了一座桥梁，将随机排列的具体细节与支配它的通用物理定律联系起来。这种方法为研究更大、更复杂的系统打开了大门，可能有助于深入理解诸如自旋玻璃之类的材料，这类材料广泛应用于从数据存储到神经网络研究的各个领域。高效模拟这些系统，也有助于设计具有特定属性的新材料，或解决物流与金融领域中出现的复杂优化问题。虽然目前的工作侧重于经典磁性系统，但这种从无序学习通用映射的底层原理，最终可以扩展到物理学的其他领域，包括量子系统。研究人员已经证明，通过教会机器理解无序的本质，我们终于可以“见林而不见树”，从而揭示隐藏在混沌之中的普遍规律。

技术摘要：跨越淬火无序的自旋系统通用采样

问题陈述

无序自旋系统（如自旋玻璃）在统计物理学中提出了一个根本性的计算挑战：评估淬火热力学可观测量需要对庞大的无序实现系综进行广泛的平均。传统方法面临两个主要瓶颈：

马尔可夫链蒙特卡洛 (MCMC)： 诸如并行回火（parallel tempering）之类的算法需要为每一个单独的无序实现进行独立且昂贵的平衡过程。在接近低温相时，由于临界减慢效应和崎岖的自由能景观，这变得极其昂贵。
变分自回归网络 (VANs)： 虽然 VANs 通过生成全局提议来实现直接采样，但标准实现受限于无序系综中的一个基本局限。它们需要为每个不同的哈密顿量（无序实现）从头开始训练特定的神经网络拟设。这种“实例特定”的范式抵消了神经采样带来的计算效率，使得大规模系综研究变得难以实现。

核心挑战在于如何在不重新训练的情况下，将推理过程推广到变化的哈密顿量上，从而有效地从针对连续参数（如温度）的零样本推理，转向针对离散、高度受挫的无序拓扑结构的零样本推理。

方法论

作者引入了一种基于摊销推理（amortized inference）的通用神经变分框架，将变分推理的对象从单个实例转向整个无序系综。

1. 变分目标

该框架并非最小化特定无序实现 $J$ 的变分自由能，而是优化一个变分淬火平均自由能：
$F(\theta) = \mathbb{E}_{J \sim P(J)} \mathbb{E}_{s \sim q_\theta(\cdot|J)} \left[ E_J(s) + \frac{1}{\beta} \ln q_\theta(s|J) \right]$
该目标函数最小化了在无序系综 $P(J)$ 上对变分分布 $q_\theta(s|J)$ 与真实玻尔兹曼分布 $P_J(s)$ 之间的 Kullback-Leibler 散度。一旦训练完成，模型 $q_\theta(s|J)$ 即可为未见的无序实现生成样本，而无需进一步优化。

2. 编码器-解码器架构

为了显式地根据淬火无序进行条件化生成，作者提出了一种编码器-解码器 Transformer 架构：

编码器： 通过**轴向 Transformer 模块（axial transformer blocks）**处理耦合矩阵 $J$ （即无序实现）。这利用了规则的点阵几何结构来高效建立全局感受野，产生连续的每位点嵌入 $\{h_i\}$ ，从而聚合局部耦合拓扑和全局结构特征。为了处理 Ising 哈密顿量的 $Z_2$ 规范不变性，在输入 $J$ 之前应用了确定性的规范固定（spanning-tree canonicalization）程序。
解码器： 一个因果自回归 Transformer，按补丁（patch）逐个生成自旋构型。解码器状态通过以下内容初始化：
1. 学习到的自旋标记嵌入（来自前一个补丁）。
2. 源自当前补丁相邻键的局部耦合特征嵌入。
  解码器通过掩码自注意力机制（针对因果历史）和交叉注意力机制（针对来自编码器的无序嵌入 $\{h_i\}$ ）来更新其隐藏状态。这种交叉注意力机制将学习到的无序环境与生成过程显式耦合。

3. 训练与优化

梯度估计： 模型使用 REINFORCE 梯度估计器进行训练。为了控制方差，减去了一个依赖于无序的基准值（baseline）以优化奖励信号。
课程学习： 为了解决直接优化大型系统的困难，采用了课程学习策略。模型在不断增加的系统尺寸（ $L=8, 12, \dots, 48$ ）上进行顺序训练，每个阶段都从前一尺寸收敛的权重进行热启动。
基态搜索： 使用变分退火方案来迫使网络将概率质量集中在低能构型上，从而实现基态搜索。

关键结果

该框架在 2D Edwards-Anderson (EA) 模型和随机键 Ising 模型 (RBIM) 上得到了验证。

零样本泛化：
- 热泛化： 在离散逆温度（ $\beta$ ）集上训练的模型，成功实现了对未见连续热机制的插值和外推，且无需重新训练。
- 尺寸外推： 在 $L=12$ 上训练的模型直接在更大的晶格（ $L=20$ ）上进行评估，其表现优于平均场近似和随机初始化的模型，证明了学习到的非局部相关性的可迁移性。
性能指标：
- 自由能： 对于双峰（bimodal）和高斯（Gaussian）无序，均实现了准确的有限温度平衡采样和基态能量计算。通过课程学习，该方法实现了高达 $L=48$ 的准确自由能估计。
- 采样效率： 归一化有效样本量 (ESS) 在不同温度下保持较高水平，但在较低温度下由于自由能景观的崎岖性而有所下降。
Nishimori 多临界点：
- 应用于 2D 随机键 Ising 模型，该框架计算了包含 $10^6$ 个不同无序实现的淬火平均 Binder cumulant。
- 结果成功捕捉到了 Binder cumulant 曲线在 Nishimori 多临界点（ $p \approx 0.1092$ ）附近的交叉现象，这是一个通常需要海量采样资源的复杂非平凡临界现象。

意义与主张

本文声称将无序系统中的变分推理范式从实例特定转向了系综平均。

消除重新训练： 主要贡献在于消除了对每个实例进行马尔可夫链平衡以及为每个实例特定的变分拟设进行重新训练的需要。模型针对每个无序分布（例如，针对每个键概率 $p$ ）仅需训练一次，然后即可为该系综内的任何实现生成独立的样本。
可扩展性： 通过摊销推理，将计算成本对无序实现数量的依赖从 $O(N_{\text{ins}} \cdot N_{\text{epochs}})$ （标准 VANs）降低到了 $O(N_{\text{ins}})$ （摊销框架），使得大规模系综研究变得可行。
泛化能力： 该框架证明了深度生成模型可以学习从哈密顿量耦合到平衡统计量的映射，从而实现对未见无序实例、温度和系统尺寸的零样本推理。

作者指出，虽然目前的研究重点是经典自旋系统，但自回归方法由于具有精确归一化的波函数振幅，也为量子自旋玻璃提供了优势，这表明其向量子系统扩展的自然潜力。他们还强调，该框架可以扩展到随机动力学和随时间演化的分布，通过以演化算符作为条件进行建模。