技术摘要：恒定目标能量匹配（CTEM）

问题陈述

密度估计是概率建模中的一项基础性任务，然而当前的方法论往往因状态空间的性质而支离破碎。连续方法通常依赖于得分匹配（学习 $\nabla \log \rho$），该方法利用了微分结构，但在离散空间上未定义。相反，离散扩展通常利用有限差分或密度比（例如 $\rho(\tilde{z})/\rho(z)$）。虽然这些离散方法推动了该领域的发展，但它们存在数值不稳定性问题。具体而言，普通密度比是无界的，并在低概率状态附近变得条件不良，这一问题在稀疏离散支撑集和混合变量域中尤为加剧。现有的补救措施，如得分 - 熵目标或吸收态参数化，通常与特定的状态空间几何结构或破坏过程紧密耦合，缺乏一种适用于连续、离散和混合域的统目标。

方法论

本文介绍了恒定目标能量匹配（CTEM），这是一个统一的基于能量的框架，旨在估计一般状态空间（连续、离散和混合）上的概率密度。

核心概念

CTEM 用有界修正密度比替代了对无界普通密度比的回归。该方法利用以下恒等式（引理 1），将对数密度差与有界双曲正切变换联系起来：
$$\tanh\left(\frac{\log \rho(z) - \log \rho(\tilde{z})}{2}\right) = \frac{\rho(z) - \rho(\tilde{z})}{\rho(z) + \rho(\tilde{z})}$$
CTEM 不直接学习比率，而是通过使模型的变换差值与目标比率匹配，来学习标量势 $f_\theta \approx \log \rho + C$。

恒定目标归约

基于能量的学习面临的一个关键挑战是，目标比率 $\frac{\rho(z) - \rho(\tilde{z})}{\rho(z) + \rho(\tilde{z})}$ 依赖于未知的数据密度 $\rho$。CTEM 通过对称性论证（定理 1）解决了这一问题。通过定义基于状态对 $(z, \tilde{z})$ 的密度加权匹配目标，并采用对称比较权重 $\omega(z, \tilde{z})$，作者证明了未知的密度项在代数上相互抵消。

这一归约产生了一个仅基于样本的训练目标，其回归目标为常数 1：
$$L_\omega(\theta) = \mathbb{E}_{z \sim P, \tilde{z} \sim \omega(\cdot|z)} \left[ \left( \tanh\left(\frac{f_\theta(z) - f_\theta(\tilde{z})}{2}\right) - 1 \right)^2 \right]$$
该公式避免了对不稳定密度比的显式估计。学习到的势函数在由比较结构诱导的状态空间的每个连通分量上，可恢复出 $\log \rho$（相差一个加性常数）。

具体实现

• 连续变量：比较权重 $\omega$ 通过局部方向扰动（球形）或各向同性高斯核来实现。尺度参数 $\epsilon$ 控制比较半径，但不改变极限能量目标，这与去噪得分匹配不同（在去噪得分匹配中，扰动水平决定了目标）。
• 离散变量：比较定义在基于图的邻域上（例如汉明距离为 1 的变化）或全局均匀破坏上。
• 混合空间：该框架通过结合连续和离散比较核，自然地扩展到乘积空间。

主要贡献

1. 统一框架：CTEM 为连续、离散和混合状态空间提供了单一的标量势参数化和共同的训练原则，使得无需特定领域的损失函数即可进行多模态概率建模。
2. 稳定的目标推导：本文从修正的密度比恒等式推导出了对比损失。该目标基于样本，避免了对无界比率的回归，且不依赖于无穷小扰动极限，允许调整比较尺度以优化稳定性而非减少偏差。
3. 实证验证：该框架在多样化的基准测试中得到了验证，在密度恢复、得分估计和采样质量方面，相较于竞争性基线模型表现出更优越的性能。

实验结果

作者在三类任务上评估了 CTEM：

• 连续密度估计：在二维基准测试（螺旋、双高斯、香蕉形、双环）和高维高斯混合模型（10 维和 30 维）上，CTEM 在密度恢复方面实现了最低的均方误差（MSE），在得分恢复方面实现了最低的 Fisher 散度。它显著优于核密度估计器（KDE）、RealNVP 和神经样条流，特别是在具有几何结构或不连通支撑集的情况下。
• 离散密度估计：在量化二维玩具分布（月亮形、瑞士卷、8 高斯）上，与混凝土得分匹配（CSM）和 SEDD 相比，CTEM 降低了总变差（TV）距离和 KL 散度。在二元 MNIST 上，CTEM 使用噪声条件能量和 Metropolis–Hastings 采样生成了可识别的数字样本，实现了 0.929 的分类器 top-1 可识别性得分（真实数据为 0.992）。
• 混合连续 - 离散空间：在乘积空间 $\mathbb{R}^2 \times \{0, \dots, 15\}$ 上，CTEM 成功恢复了全局对齐的能量，准确捕捉了全局混合分布以及与每个离散标签相关的条件结构。

意义与主张

本文主张，CTEM 提供了一条稳定且统一的密度估计途径，超越了连续与离散生成建模之间的传统分离。通过将密度估计转化为具有恒定目标的稳定能量匹配问题，它规避了基于比率方法的数值脆弱性。

作者将 CTEM 定位为迈向多模态生成建模共同训练目标的一步。他们指出，虽然该方法提高了稳定性和密度恢复能力，但尚未解决现代大型语言模型或多模态生成的规模问题，也未提出专门针对恒定目标目标的新的、更快的采样器。这项工作表明，恒定目标原则可能为异构数据环境中更稳定的得分函数学习提供有用的基础。