A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

技术摘要：关于 Kullback–Leibler 散度在梯度流采样中独特性质的说明

问题陈述
本文探讨了从目标概率分布 $\pi$ 中采样的基本问题，该分布的密度函数仅已知至一个归一化常数。这是计算统计学和机器学习中普遍存在的挑战。解决该问题的标准方法是将采样表述为概率分布空间上的优化任务，其目标是最小化一个衡量候选分布 $\mu$ 与目标 $\pi$ 之间差异的散度泛函 $F(\mu)$。该优化通常通过定义在概率测度空间上的梯度流来求解，其中度量（例如 Wasserstein 度量、Fisher–Rao 度量）的选择决定了控制该流的特定微分方程。

一个关键的实践约束是，许多源自这些梯度流的采样算法需要知道 $\pi$ 的归一化常数。然而，在大多数现实场景中，该常数是不可处理的。虽然反向 Kullback–Leibler (KL) 散度被广泛使用，因为其相关的梯度流（如 Langevin 扩散或 Fisher–Rao 流）自然地避免了对归一化常数的需求，但为何仅 KL 散度在更广泛的散度族中具有这一性质的理论依据尚未完全确立。

方法论
作者研究了Bregman 散度类，这是一个包含 KL 散度、$\beta$-散度和 $L_2$ 范数的灵活散度族。作者通过一个关于 $\mu$ 和 $\pi$ 密度（相对于主导测度 $\lambda$）的凸泛函 $\Phi$ 来定义 Bregman 散度 $B_\Phi(\mu|\pi)$。

核心方法论涉及分析在目标分布缩放下的梯度流行为。具体而言，作者考察了当目标 $\pi$ 被替换为缩放版本 $c\pi$（其中 $c > 0$）时，散度 $F(\mu) = B_\Phi(\mu|\pi)$ 的梯度流保持不变的（或导致等价最小化问题的）条件。

分析分两个阶段进行：

1. 严格不变性：作者首先考虑差值 $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ 独立于 $\mu$ 的条件。这确保了对于 $\pi$ 和 $c\pi$，一阶变分（泛函导数）$\delta F / \delta \mu$ 是相同的，意味着梯度流动力学严格保持不变。
2. 松弛不变性：随后，作者考虑一种松弛条件，即 $D(\mu|\pi)$ 和 $D(\mu|c\pi)$ 的最小值点重合，即使梯度流本身相差一个乘性常数。这形式化为 $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$。

作者利用泛函分析和凸函数性质，推导了满足这些不变性性质的生成函数 $\Phi$（针对 Bregman 散度）和凸函数 $f$（针对 $f$-散度）的必要条件。

主要贡献与结果

1. Bregman 散度中 KL 的唯一性（命题 1）：
   主要结果确立了Kullback–Leibler 散度是（在由密度定义的类中）唯一的 Bregman 散度，使得差值 $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ 独立于 $\mu$。

   • 证明概要：通过要求差值独立于 $\mu$，作者导出了生成函数导数 $\Phi'$ 的泛函方程。求解该方程表明 $\Phi'(t)$ 必须具有 $a \log t + b$ 的形式。因此，生成的散度与 KL 散度成比例（$B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$）。
   • 推论：对于任何其他 Bregman 散度（包括 $\beta$-散度和 $L_2$），梯度流显式依赖于 $\pi$ 的归一化常数。用其未归一化版本 $\gamma$ 替换 $\pi$ 会改变梯度流动力学，使得在不知晓常数的情况下，标准采样实现无效。

2. 扩展到 $f$-散度（命题 3）：
   作者分析了 $f$-散度的松弛条件 (11)。他们确定了满足该条件的 $f$-散度仅有：

   • 前向 Kullback–Leibler 散度 ($KL(\pi|\mu)$)。
   • 一个涉及周期函数的特定、复杂的 $f$-散度族（公式 12）。
   • 注：虽然确定了前向 KL，但论文指出该散度的梯度流难以在不进行额外近似的情况下实现。所识别的复杂族在理论上具有趣味性，但本文未表明其能产生实用的、可实现的采样算法。

3. 排除其他族：
   论文澄清，虽然存在其他避免归一化常数的方法（如特定核的核 Stein 差异或最大均值差异），但这些方法不属于主定理中使用的 Bregman 或 $f$-散度的标准定义。该结果特别将 KL 散度隔离为 Bregman 和 $f$-散度框架内的唯一解。

意义与主张
本文声称，为基于梯度的采样方法（如 Langevin 动力学、SVGD 和序贯蒙特卡洛）中 KL 散度的广泛实证成功提供了严格的理论依据。

• 理论完备性：该结果补充了 Chen 等人 [2023] 的先前工作，后者在勒贝格密度背景下确立了 $f$-散度的类似唯一性。本文将范围扩展到更广泛的 Bregman 散度类，并包含了离散测度。
• 实践指导：研究结果解释了为何替代散度（如 $\alpha$-散度或 $\beta$-散度），尽管在捕捉尾部行为或定位模式方面具有理想特性，但通常无法产生适用于未归一化目标的采样算法。作者断言，如果希望在不了解归一化常数的情况下使用梯度流，KL 散度（或前向 KL，尽管更难实现）在这些标准散度族中本质上是唯一可行的选择。
• 局限性：作者谦逊地指出，其结果并不排除存在可以绕过归一化常数的非标准散度（如核 Stein 差异），但他们明确划定了 Bregman 和 $f$-散度类的边界。

总之，本文证明，一种散度能够在无需知晓归一化常数的情况下通过梯度流促进采样的能力，是 Bregman 和 $f$-散度族中 Kullback–Leibler 散度的独特且定义性的性质。