🤖 machine learning

Learning Energy-Based Models from Stochastic Interpolants using Spatiotemporal Differences

本文指出了现有仅依赖空间或时间差异的能量基模型训练方法中的失效模式，并提出了一种统一框架——时空噪声对比估计（stNCE），该框架利用联合时空差异，在图像和分子密度估计任务上实现了最先进的性能。

原作者： Hanlin Yu, RuiKang OuYang, Partha Kaushik, Arto Klami, Michael U. Gutmann, Omar Chehab

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanlin Yu, RuiKang OuYang, Partha Kaushik, Arto Klami, Michael U. Gutmann, Omar Chehab

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教计算机理解一个复杂世界的“形状”，比如一张拥挤的城市地图或一个分子结构。在机器学习中，这被称为学习概率密度。计算机需要知道事物可能发生的地点（高密度）和不太可能发生的地点（低密度）。

本文提出了一种新方法，利用称为**基于能量的模型（Energy-Based Models, EBMs）**的技术来教计算机理解这种形状。将 EBM 想象成一片由山丘和山谷组成的景观。计算机需要学会：“山谷”是安全、常见的地方（数据），而“山丘”则是罕见、不太可能的地方。

问题：两张破碎的地图

作者认为，以往教计算机理解这种景观的方法依赖于两种不同的策略，但两者都存在致命缺陷：

“时间旅行者”方法（时间维度方法）：
- 核心思路： 想象你有一张清晰的猫的照片（数据）和一张模糊、充满噪点的猫的照片（参考）。你通过询问“清晰照片与模糊照片有何不同？”来教导计算机。你是通过随时间逐步添加噪点来实现这一点的。
- 缺陷： 如果清晰照片和模糊照片看起来有些相似，这种方法效果很好。但如果“模糊”照片只是随机噪点（像旧电视上的雪花），而“清晰”照片是一只特定的猫，它们之间完全没有重叠。计算机在试图连接两个毫无共同点的事物时会迷失方向。本文将此称为**“支持不匹配”（support mismatch）**。
“邻居”方法（空间维度方法）：
- 核心思路： 不依赖时间，而是观察邻居。你询问“这张猫的照片与紧邻的猫的照片有何不同？”你通过比较景观上的微小步长来教导计算机。
- 缺陷： 如果景观是平滑的，这种方法效果很好。但想象一下，景观中有两个被大片空旷海洋隔开的猫岛。如果你只观察直接邻居，你永远无法跨越海洋去意识到存在两个岛屿。你会被困在一个岛上而错过另一个。本文将此称为**“多模态”（multimodal）**问题。

解决方案：时空桥梁

作者提出了一种名为**stNCE（时空噪声对比估计）**的新方法。

stNCE 不选择要么时间要么空间，而是同时使用两者。

类比：
想象你正在绘制一个隐藏宝藏岛屿的地图，该岛屿有两个分离的海滩（多模态问题），并被一片雾海环绕（支持不匹配问题）。

时间旅行者试图从雾海走到海滩，但因雾气太浓而受阻。
邻居试图从一个海滩走到另一个海滩，但因无法看穿水面而受阻。
stNCE方法就像一架直升机。它可以同时向前移动（时间）和横向移动（空间）。它可以飞越雾气找到第一个海滩，然后飞越水面找到第二个海滩。通过采取“对角线”步骤（同时改变时间和位置），它始终保持在安全、高密度的区域（海滩及其附近水域），永远不会迷失在空旷的危险区域中。

工作原理

该方法将学习过程转化为一个简单的**“找不同”**游戏。

计算机生成两对数据点：一对是“真实”数据点及其轻微修改版本；另一对则是交换后的组合。
计算机必须猜测哪一对是“真实”的，哪一对是“交换”的。
为了赢得这个游戏，计算机必须学习正确的能量景观（山丘和山谷），以便区分它们。

为何更优

本文表明，这种“直升机”方法解决了导致其他方法失败的问题：

它能处理多模态数据（多个岛屿），因为它可以利用时间步长在它们之间跳跃。
它能处理支持不匹配（雾海），因为它不依赖于从噪点到数据的单次巨大跳跃，而是采取相互连接的小步长。

结果

作者在三种类型的数据上测试了该方法：

合成数据： 简单的数学问题，已知答案。stNCE 几乎零误差地得出了正确答案，而其他方法则失败了。
图像（MNIST 和 ImageNet）： 识别手写数字和通用图像。stNCE 产生的结果与当前最佳方法（State-of-the-Art）一样好，但对为何有效有了更清晰的理解。
分子： 模拟蛋白质中原子的折叠方式。stNCE 能够高效地学习分子的正确形状，在与专门的基于物理的方法竞争的同时，训练速度快得多。

总结

简而言之，本文指出：“不要只关注数据随时间的变化，也不要只关注其在空间中的变化。要同时观察两者。通过结合这两种视角，我们可以构建一幅世界地图，它既不会在雾中迷失，也不会被困在一个岛屿上。”

技术摘要：利用时空差异从随机插值中学习基于能量的模型

问题陈述

从有限数据样本中学习基于能量的模型（EBM）是机器学习中的一个核心挑战，其应用范围涵盖计算化学到人工智能对齐。近期流行的方法，如用于扩散模型的去噪得分匹配，利用随机插值来定义数据空间 $x$ 和时间变量 $t$ （代表破坏程度）上的联合密度 $p(x, t)$ 。

现有的学习能量函数 $E_\theta(x, t)$ 的方法，根据其如何估计该联合密度的变化，通常分为两类：

时间方法：估计跨破坏程度（时间 $t$ ）的变化，例如噪声对比估计（NCE）和时间得分匹配。
空间方法：估计跨数据点（空间 $x$ ）的变化，例如条件 NCE（CNCE）和得分匹配。

本文指出，这两种方法都存在独特且灾难性的失效模式，而这些模式在孤立分析时往往未被充分理解或分析：

空间方法在多模态设置中失效。为了估计两个模态之间的能量差异，该方法必须穿越样本稀缺的低密度区域，从而导致巨大的估计误差。
时间方法在支撑集不匹配的情况下失效。如果数据分布的高密度区域（支撑集）与参考分布（例如高斯噪声）的高密度区域不重叠，时间路径将穿越低密度区域，从而降低估计质量。

虽然已提出多级训练策略来缓解这些问题，但实证证据表明，它们并未从根本上解决潜在的病理问题。

方法论：时空噪声对比估计（stNCE）

为了克服这些局限性，作者提出了时空噪声对比估计（stNCE），这是一个在空间和时间上联合学习能量变化的统一框架。

核心框架

stNCE 将学习任务表述为增强空间 $(x, t)$ 上的单个二分类问题。

数据生成：使用扰动核 $p_n(x', t' | x, t)$ $p_{n} (x^{'}, t^{'} ∣ x, t)$ 生成两个类别 $A$ $A$ 和 $B$ $B$ ：
- 类别 A：从联合密度 $p_d(x, t)$ 中采样 $(x, t)$ ，然后使用 $p_n$ 扰动至 $(x', t')$ 。
- 类别 B：从 $p_d(x', t')$ 中采样 $(x', t')$ ，然后使用反向核扰动回 $(x, t)$ 。
目标：最小化逻辑损失以学习分类器 $F(x, t, x', t')$ ，使其逼近对数密度比：
$F(x, t, x', t') \approx \log p_\theta(x, t) - \log p_\theta(x', t') + \text{已知项}$
这有效地学习了时空能量差 $E(x', t') - E(x, t)$ 。

扰动核

本文提出了三种特定的扰动核来定义 $(x, t)$ 与 $(x', t')$ 之间的关系：

混合核（stNCE-m）：独立扰动 $x$ 或 $t$ ，恢复出时间和空间目标的混合。
白噪声核（stNCE-w）：使用各向同性高斯噪声同时扰动 $x$ 和 $t$ 。在无穷小极限下，这恢复了对偶得分匹配。然而，有限扰动可能会将样本推离数据流形。
前向 - 反向核（stNCE-s/o）：沿与目标分布 $p_d(x, t)$ $p_{d} (x, t)$ 一致的轨迹扰动 $(x, t)$ $(x, t)$ 。
- 如果 $t' < t$ （加噪），则使用可处理的前向过程。
- 如果 $t' > t$ （去噪），则使用通过指数积分器或 oracle 得分近似的反向过程。
- 该核旨在将样本保持在数据的高密度流形内，避免那些导致纯空间或纯时间方法失效的低密度区域。

理论保证

本文确立了 stNCE 具有非参数一致性：随着样本数量 $N \to \infty$ ，估计量收敛于真实数据密度。此外，该框架将许多现有方法（NCE、CNCE、得分匹配等）统一为通过特定时间先验和扰动核选择定义的特殊情况。

主要贡献

统一分类法：作者根据现有 EBM 学习方法是估计时间变化还是空间变化，将其组织成分类法，并明确指出每种方法在孤立使用时存在的失效模式。
失效模式的识别：本文提供了启发式分析和实证验证，表明纯空间方法在多模态设置中失效，而纯时间方法在支撑集不匹配时失效，即使采用多级训练也是如此。
stNCE 框架：提出 stNCE 作为一个通用框架，通过联合学习时空差异来统一现有方法并解决已识别的局限性。
新的训练目标：推导了新的目标函数（特别是 stNCE-s 和 stNCE-s+DSM），它们在性能上与最先进的方法具有竞争力，同时提供了对其成功原因更清晰的理论理解。

实验结果

作者在合成数据、图像和分子构型上评估了 stNCE：

失效模式验证：在简单的 1D 和 2D 高斯混合模型上的实验证实，空间方法在多模态数据上失效，时间方法在支撑集不匹配时失效，而 stNCE 在这两种场景下均实现了接近零的误差。
MNIST 混合：在一个由 MNIST 数字构建的合成数据集（具有高度多模态和薄支撑集）上，stNCE-s 成功学习了密度，而纯空间（DSM）和纯时间（tNCE）方法则失效。
MNIST 和 ImageNet64：
- 在 MNIST 上，stNCE-s 在基于 NCE 的方法中实现了最先进的负对数似然（NLL）（1.61 bits/dim），当与空间得分匹配结合时（stNCE-s+DSM 为 1.00 bits/dim），其性能与归一化流模型具有竞争力。
- 在 ImageNet64 上，stNCE-s+DSM 实现了 2.94 bits/dim，优于对偶得分匹配（3.36 bits/dim），并与流匹配（3.31 bits/dim）具有竞争力。
分子动力学（丙氨酸二肽和 Chignolin）：
- stNCE-s+DSM 实现了与基于福克 - 普朗克方程（FPE）的方法相当的性能，但计算成本显著降低（训练速度快 2.5 倍）。
- 该方法成功生成了连贯的样本并提供了准确的平均力势（PMF）估计。

意义与主张

本文主张，尽管现有的 EBM 训练方法多种多样，但它们从根本上可分为三类：空间、时间和时空。这项工作的主要意义在于：

原则性分析：超越新技巧的开发，提供对为什么现有方法失效（支撑集不匹配和多模态性）以及时空方法如何克服这些具体问题的原则性分析。
统一性：证明广泛的流行方法实际上是单个二分类任务（stNCE）的实例，提供了一个统一的概念框架。
性能：表明时空方法，特别是那些使用前向 - 反向核的方法，在跨不同领域（合成、图像和分子数据）实现了具有竞争力或最先进的性能，同时提供了对其成功时机和原因更清晰的理解。

作者指出，虽然他们的方法倾向于为高效推理（一次性似然评估）而进行昂贵的训练，但对训练 - 推理权衡的系统研究仍是未来的工作。他们还承认，虽然基于 NCE 的模型可以恢复真实能量，但学习到的得分可能不如得分匹配变体精确，这暗示了未来需要针对 NCE 训练模型开发更好的采样器。