Training Energy-Based Models with Non-MCMC Samplers and Efficient Temperature Estimation

技术摘要：使用非 MCMC 采样器与高效温度估计训练能量模型

1. 问题陈述

在离散变量上对玻尔兹曼分布进行高效采样，是训练能量模型（EBM，如玻尔兹曼机）以及统计物理学和量子多体系统应用中的一个基本需求。传统的马尔可夫链蒙特卡洛（MCMC）方法（包括吉布斯采样和 Metropolis–Hastings）本质上是顺序执行的，并且在处理高维或崎岖能量景观时经常面临混合速度慢的问题，从而限制了其可扩展性。

虽然快速的非马尔可夫链蒙特卡洛（non-MCMC）采样器（例如模拟分叉、量子退火器、相干伊辛机）已成为极具前景的替代方案，但其在概率学习中的实际应用受到一个关键限制的阻碍：生成的样本所具有的**有效逆温度（$\beta_{\text{eff}}$）**通常是未知的，且取决于具体问题实例和采样器参数。如果没有准确的 $\beta_{\text{eff}}$ 估计，采样将无法对应于目标分布，从而导致偏置的梯度估计并降低学习性能。此外，用于估计 $\beta_{\text{eff}}$ 的标准方法（如最小化 Kullback–Leibler 散度）对于大规模问题而言计算成本过高。

2. 方法论

作者提出了一个包含三个组成部分的研究框架，以解决这些挑战：一种新型采样器、一种高效的温度估计方法以及一个自适应学习框架。

A. 朗之万模拟分叉 (Langevin Simulated Bifurcation, LSB)
作者引入了 Langevin 模拟分叉 (LSB)，这是一种受模拟分叉算法启发的创新型玻尔兹曼采样器。LSB 旨在实现快速、并行的采样，同时保持与顺序 MCMC 方法相当的准确性。

• 机制： LSB 使用辛欧拉法（symplectic Euler method）求解由全局能量函数 $E(s|u)$ 推导出的位置 ($x_i$) 和动量 ($y_i$) 的运动方程。
• 离散化与随机性： 为了近似离散玻尔兹曼分布，LSB 在每次迭代结束时应用两个关键步骤：
  1. 离散化： $x_i \to \text{sgn}(x_i)$。
  2. 随机初始化： $y_i \to \xi_i \sim \mathcal{N}(0, \sigma)$，其中 $\xi_i$ 是从高斯分布中抽取的。
• 并行性： 与吉布斯采样不同，LSB 的更新规则基于矩阵-向量运算，允许自然的并行执行。

B. 条件期望匹配 (Conditional Expectation Matching, CEM)
为了解决未知的 $\beta_{\text{eff}}$ 问题，作者提出了 条件期望匹配 (CEM)。该方法适用于具有可利用条件独立结构的 EBM（例如半受限玻尔兹曼机）。

• 原理： 在半受限玻尔兹曼机（SRBM）等模型中，隐藏变量在给定可见变量的情况下是条件独立的。这使得条件期望 $\langle h_j \rangle_r$ 可以作为 $\beta_{\text{eff}}$ 的解析函数（具体涉及 $\tanh$ 函数）进行表达。
• 流程： CEM 通过最小化解析推导的条件期望与通过条件 LSB 采样获得的条件期望之间的平方差来估计 $\beta_{\text{eff}}$。
• 优势： 与 KL 散度最小化相比，CEM 计算效率更高，可以与采样过程并行化，且不会随系统规模呈指数级增长。

C. 采样器自适应学习 (Sampler Adaptive Learning, SAL)
作者将 LSB 和 CEM 集成到一个名为 采样器自适应学习 (SAL) 的学习框架中。

• 自适应性： 在传统学习中，模型的温度是固定的（通常 $\beta=1$）。在 SAL 中，模型温度被设置为采样器输出分布的估计 $\beta_{\text{eff}}$。随着模型参数 $u$ 的更新，$\beta_{\text{eff}}$ 会发生变化，模型函数 $Q_{\beta_{\text{eff}}}$ 会进行自适应调整以匹配采样器的分布。
• 优化： 学习通过对 KL 散度 $D_{\text{KL}}(P_D || Q_{\beta_{\text{eff}}})$ 进行梯度下降进行，利用负相（采样器下的期望）和正相（数据分布）。

3. 核心贡献与结果

所提方法主要在 半受限玻尔兹曼机 (SRBMs) 上进行了验证，SRBMs 是一类通过在可见单元之间添加成对连接来扩展受限玻尔兹曼机 (RBMs) 的 EBM。SRBMs 具有更强的表达能力，但由于可见单元失去了条件独立性，使用传统方法进行训练非常困难。

• 采样性能 (LSB vs. Gibbs)：

  • 在随机 SRBMs ($N_v=10, N_h=5$) 上，LSB 达到了与 Gibbs 采样相当甚至更好的采样准确度（通过 KL 散度衡量）。
  • LSB 在保持相似内存使用的同时，提供了比 Gibbs 采样高出几个数量级的加速，这归功于其并行化特性而非 Gibbs 更新的顺序性。
  • LSB 在 Sherrington–Kirkler 模型和更大规模的系统尺寸上展示了稳健的性能。

• 温度估计 (CEM)：

  • CEM 能够以极低的计算开销实现对 LSB 输出的 $\beta_{\text{eff}}$ 的准确估计。
  • CEM 估计值与通过 KL 最小化获得的估计值之间的平均符号相对误差约为 3.6%。
  • CEM 成功处理了困扰非 MCMC 采样器的与实例相关的 $\beta_{\text{eff}}$ 变异性问题。

• 学习性能 (SAL)：

  • 3-Spin 模型： 在合成自旋玻璃数据集上，使用 SAL 训练的 SRBMs 比 FBM、RBM 以及使用对比散度 (CD-100) 训练的 RBMs 更好地最小化了训练代价函数 ($D_{\text{KL}}$)。这突显了 SAL 在建模崎岖能量景观方面的优势。
  • Bars-and-Stripes (BAS) 数据集： 经 SAL 训练的 SRBMs 展示了高保真度的图像生成与重建能力。这些模型学习到了潜在的分布而非仅仅记忆样本，即使在 47.6% 的像素被遮蔽时，也能实现近乎完美的重建（误差为 0.5%）。
  • OptDigits 数据集： 在手写数字图像 ($N_v=74$) 上，经 SAL 训练的 SRBMs 实现了高质量的无条件和有条件生成。此外，这些模型在测试集上达到了 ~90% 的分类准确率，并从随机基准线快速收敛。

4. 重要性与主张

本文将这些结果定位为结合快速非 MCMC 采样与通过 CEM 进行准确温度估计有效性的原理验证。作者明确指出，这项工作并不声称能立即与最先进的生成式 AI 竞争，而是旨在弥合快速非 MCMC 采样器与其实际应用之间的差距。

核心主张包括：

• LSB 被确立为一种快速且准确的玻尔兹曼采样器，克服了 MCMC 的顺序瓶颈。
• CEM 为有效温度估计问题提供了可扩展的解决方案，使得在概率学习中使用非 MCMC 采样器成为可能。
• SAL 实现了对更具表达能力的模型（如 SRBMs）的高效训练，这些模型传统上难以训练，并在合成自旋玻璃数据集和真实世界图像任务中展现了性能优势。
• 该框架不限于 SRBMs；它适用于任何具有可利用条件独立结构的 EBM，包括具有高阶相互作用的模型，以及在神经量子态和能效硬件实现中的潜在应用。

作者承认了关于 LSB 对离散玻尔兹曼分布近似的理论基础以及需要系统性超参数选择策略的开放性问题，并将这些列为未来的研究方向。