🤖 machine learning

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

本文介绍了 SCALLOP，一种用于流式生成模型的可扩展、无需 Hutchinson 估计的似然蒸馏方法，该方法在显著降低训练方差和时间的同时，实现了比 F2D2 等现有基准模型快达 10 倍的推理速度。

原作者： RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试预测天气。你有一个超级聪明的计算机模型，它能准确地告诉你明天天空的样子（即样本）。但你还需要知道这种特定的天气模式发生的可能性有多大（即似然性）。

在人工智能的世界里，创建一个既能生成高质量图像或分子结构，又能精确计算其概率的模型是非常困难的。通常情况下，你必须做出选择：要么得到精美的图片但无法计算概率，要么可以计算概率但图片模糊不清，或者计算过程极其缓慢。

这篇论文介绍了一种名为 SCALLOP（Scalable Likelihood distillation of flOw maPs，可扩展的流图似然蒸馏）的新方法来解决这个问题。以下是它的工作原理，我使用了简单的类比：

问题所在：数学领域的“交通堵塞”

想象一条河流从平静的湖泊（随机噪声）流向复杂的城市（真实数据，如分子或人脸）。

旧方法： 为了知道在任何一点有多少水在流动（似然性），科学家们不得不停止河流，测量每一滴水，并进行复杂的计算。这就像是通过让每一辆车都停下来，来统计交通拥堵中的车辆总数。这非常缓慢，而且他们通常只能靠猜测，从而导致巨大的误差（高方差）。
“Hutchinson”快捷方式： 之前的尝试试图通过抽取随机样本来猜测总交通量，从而加快速度。但这就像是通过询问街上的三个人来猜测一座城市的汽车总数。有时这行得通，但经常会出现偏差巨大的情况，使得训练过程不稳定且充满噪声。

解决方案：SCALLOP 的“GPS 与速度计”

作者构建了一个新系统，它就像一辆内置了 GPS 和完美速度计的汽车，且不需要熄火检查速度。

流图（GPS）： 他们使用了一种“流图”（Flow Map），这就像是一张预先计算好的地图，告诉 AI 如何仅通过几步就从随机噪声移动到真实的图像或分子（就像走高速公路而不是绕弯的乡间小路）。
似然性（速度计）： 难点在于如何同时得知“概率”（速度计的读数）。
- 旧方法： 为了获得这个读数，旧模型（如 F2D2）必须使用那种“随机猜测”的方法（Hutchinson 估计器），这既多噪又缓慢。
- SCALLOP 的方法： 作者意识到他们可以使用一种数学技巧（条件散度匹配，Conditional Divergence Matching）来直接计算概率，而无需猜测。他们不再尝试通过让车辆停下来来计数，而是观察河流本身的流动。他们推导出了一个公式，让模型在移动时就能“看到”概率，而无需进行沉重的数学运算。

为什么这很重要？

论文声称 SCALLOP 在三个方面实现了重大升级：

更平滑（更少噪声）： 因为它不依赖于随机猜测，所以训练过程更加稳定。想象一下，你驾驶一辆速度计指针会剧烈跳动的汽车，SCALLOP 让指针变得平稳。这意味着模型的学习速度更快、更可靠。
更快： 旧方法就像是一辆每到一个红绿灯都要停下来看地图的汽车。SCALLOP 则直接穿梭其中。论文显示，在分子科学领域，它比现有的最佳方法快 10 倍，比其他一些竞争对手快 100 倍。
无处不在： 他们在两种截然不同的事物上进行了测试：
1. 分子： 他们利用它来模拟蛋白质（如丙氨酸肽）是如何折叠的。这对于药物研发至关重要，因为科学家不仅需要知道分子的形状，还需要知道该形状存在的可能性。SCALLOP 在速度和表现上都超越了目前的顶尖技术。
2. 图像： 他们还测试了生成人脸的能力（CelebA 数据集）。它生成了高质量的图像和准确的概率估计，证明了该方法适用于通用数据，而不仅仅是科学领域。

核心结论

可以将 SCALLOP 想象成 AI 生成器的一个新引擎。以前，如果你想知道生成的图像或分子的“概率”，你必须在时间和准确性上支付高昂的代价。SCLLOP 移除了这项税收。它允许 AI 生成复杂的数据（如 3D 分子或人脸），并能以单次、快速且稳定的过程，准确地告诉你这些事物存在的概率。

简而言之： 这是一种更快、更准确且更少“噪声”的方法，用于教导 AI 去创造事物并理解这些事物存在的可能性。

技术摘要：通过可扩展似然流映射实现少步数玻尔兹曼生成器 (SCALLOP)

问题陈述

最近在基于流的生成模型领域的进展使得通过极少的函数评估次数（NFE）实现高质量样本生成成为可能。然而，估计模型似然度（样本密度）仍然是一个瓶颈。现有方法面临着权衡：

受限的架构： 标准化流（Normalizing flows）通过变量代换公式确保精确的似然计算，但需要架构约束（例如可逆层），这限制了表达能力，特别是在具有对称性（如分子建模）的领域中。
高方差估计器： 连续标准化流（CNF）及其蒸馏版本（如流映射/Flow Maps）提供了更强的表达能力，但需要积分速度场的散度。这通常使用 Hutchinson 迹估计器进行估计，这会引入显著的方差，且其计算预算随维度增加而扩展效率极低。
蒸馏局限性： 最近的方法（如 F2D2, Ai et al., 2026）试图将采样和似然度同时蒸馏到极少数步骤中，但仍依赖于训练过程中的 Hutchinson 基于散度估计器，从而继承了其高方差和高计算开销的缺陷。

因此，目前缺乏可扩展、低方差的方法来为具有高表达能力的少步数生成模型估计似然度，这阻碍了其作为玻尔兹曼生成器应用于自由能估计和科学领域增强采样任务。

方法论：SCALLOP

作者提出了 SCAlable LikeLihood distillation of flOw maPs (SCALLOP) 框架，该框架构建在 F2D2 似然流映射模型之上，但用一种可扩展的、向量化的替代方案取代了基于 Hutchinson 的训练目标。

1. 似然流映射 (Likelihood Flow Maps)

SCALLOP 使用似然流映射 $\Psi$ ，这是一个将时刻 $t$ 的状态 $x_t$ 联合映射到时刻 $s$ 的状态 $x_s$ 及其相关对数密度变化的算子。其参数化形式为：
$\Psi_\theta(x_t, t, s) = \begin{bmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$
其中 $u_\theta$ 预测速度， $D_\theta$ 预测散度（对数密度变化）。

2. 条件散度匹配 (Conditional Divergence Matching, CDM)

核心创新在于使用 条件散度匹配 (CDM) 取代 Hutchinson 迹估计器。

推导： 利用沿流轨迹的对数密度链式法则（ $dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$ ），作者重新表述了散度项。
机制： 通过以目标数据点 $x_1$ 为条件（在线性插值设置 $x_t = (1-t)x_0 + tx_1$ 中），条件分布 $p_t(x_t|x_1)$ 变得可处理（高斯分布）。这使得散度可以被表达，而无需显式的散度算子或随机迹估计器。
目标： CDM 目标函数最小化预测散度 $D_\theta$ 与由已知速度场和条件得分导出的项之间的差异，从而完全绕过了对 Hutchinson 估计器的需求。

3. 向量化散度匹配 (Vectorized Divergence Matching)

为了进一步提高效率，作者引入了 向量化散度匹配 (CDM-v)。

神经网络不再预测标量散度 $\nabla \cdot v_t$ ，而是预测雅可比矩阵的对角线元素向量 $\text{diag}(\nabla v_t)$ 。
这将学习目标从标量转变为向量信号，使其更具数据效率，并允许全向量化表述。
理论分析表明，最小化向量化损失等价于最小化标准的散度匹配损失（仅差一个常数）。

4. 训练与架构

架构： SCALLOP 采用扩散 Transformer (DiT) 作为骨干网络，具有共享的编码层和独立的读出头（readout heads），用于分别输出样本速度和向量化对数密度变化。
对称性： 对于分子系统，架构为速度强制执行 SE(3) 等变性，并为对数密度变化强制执行 SE(3) 不变性（通过向量求和实现）。
稳定性： 为了处理 $t=1$ 处的奇异性，训练样本 $t$ 从 $[0, 1-\epsilon]$ 中采样，并对散度匹配项应用线性权重。

核心贡献

可扩展训练目标： SCALLOP 引入了一种无 Hutchinson 的、向量化的似然蒸馏目标 (CDM-v)，与 F2D2 相比，显著降低了训练方差和计算成本。
经验优越性： SCALLOP 在各项指标上均表现出优于 F2D2 的显著改进，将训练方差降低了高达 100 倍，收敛更快，并实现了更好的测试集性能。
推理效率： 在分子领域，SC-LLOP 的推理速度比标准化流快 10 倍，比 FALCON 快 100 倍，同时保持了竞争性或更优的样本质量。
泛化能力： 该方法在高维图像数据集 (CelebA-64) 上得到了验证，展示了准确的似然估计和相比于 F2D2 更稳定的训练动态。

结果

分子系统 (玻尔兹曼生成器)

在丙氨酸二肽 (ALA-2) 到六肽 (ALA-6) 系统上的评估结果如下：

性能： SCALLOP 在所有指标（有效样本量 ESS、能量 Wasserstein-2、扭转角 Wasserstein-2）上均一致优于 F2D2。它达到了与最先进的 FALCON 和 FALCON-A 相当的性能水平。
稳定性： 与 F2F2 相比，SCALLOP 的训练梯度表现出显著更低的方差和更高的信噪比 (SNR)。
速度： SCALLOP 支持在推理时使用大批量大小 ( $10^4$ )，而 FALCON 由于雅可比计算成本的原因，需要受到严格的批量大小限制。SCALLOP 比标准化流快 10 倍，比 FALCON 快 100 倍。

图像生成 (CelebA-64)

在 1 到 8 个 Euler 步数下，SCALLOP 的每维度比特数 (BPD) 和 Fréchet Inception Distance (FID) 与 F2D2 相当。
与 F2D2 相比，它始终能降低单样本 BPD 误差。
损失计算速度快 16.9%（耗时为 F2D2 墙钟时间的 83.1%），且具有更稳定的训练动态。

意义与主张

本文声称 SCALLOP 解决了在少步数生成模型中，表达能力与可处理的似然评估之间长期存在的权衡问题。通过消除 Hutchinson 迹估计器，SCALLOP 能够训练具有低方差和高可扩展性的高表达力似然流映射。

作者将 SCALLOP 定位为科学应用中（特别是需要玻尔兹曼生成器的应用）的实用解决方案，在这些应用中，准确的似然估计对于自由能计算和增强采样至关重要。他们指出，虽然 SCALLOP 在理论上可以在 1 步内生成样本，但在处理高维任务时，实际通常使用约 10 步。该方法依赖于速度场被充分学习的假设，而关于此假设引入偏差的理论差距尚未量化。尽管如此，实验结果表明，SCALLOP 是一个具有竞争力的、最先进的方法，它显著加速了具有似然感知能力的生成建模。