技术摘要：约束下对数凹采样的随机中点法

问题陈述

本文解决了在凸紧集 $K \subset \mathbb{R}^p$ 上对对数凹概率分布进行采样的挑战。目标分布 $\nu$ 由密度 $\nu(\theta) \propto e^{-U(\theta)}$ 定义，其中势函数 $U(\theta) = f(\theta) + \ell_K(\theta)$。这里，$f$ 是一个光滑的势函数，而 $\ell_K$ 是集合 $K$ 的指示函数，这在边界处引入了不可微性和不连续性。

现有的基于扩散的采样方法，如朗之万蒙特卡洛 (LMC) 和动力学朗之万蒙特卡洛 (KLMC)，通常依赖于势函数的光滑性。在约束设置下，指示函数 $\ell_K$ 违反了这些光滑性假设，使得标准的离散化分析失效。虽然以往的工作尝试通过正则化（平滑指示函数）来处理这一问题，但现有的理论保证往往存在收敛速率较松或依赖于特定投影方案（例如仅限欧几里得投影）的问题。

方法论

1. 广义光滑近似框架

作者提出了一个统一的框架，用光滑代理函数 $\ell_{K,\lambda}$ 来近似非光滑的指示函数 $\ell_K$。该框架不仅限于依赖于莫罗包络（Moreau envelope，即欧几里得投影），还容纳了更广泛的投影算子：

• 基于度量的投影： 包括欧几里得投影和 Bregman 投影。距离函数定义为 $d_K(\theta) = \|\theta - P_K(\theta)\|_2^2$，其中 $P_K$ 是投影算子。
• 基于标度的投影： 特别是规函数（Gauge）投影，其中 $d_K(\theta) = (g_K(\theta) - 1)^2$，且 $g_K$ 是 $K$ 的闵可夫斯基泛函（Gauge function）。

代理势函数定义为 $U_\lambda(\theta) = f(\theta) + \frac{1}{2\lambda^2}d_K(\theta)$，从而产生光滑的目标分布 $\nu_\lambda$。在对 $K$ 的几何性质和 $f$ 的光滑性进行特定假设的前提下，作者确立了 $U_\lambda$ 是强凸且光滑的，从而能够应用标准的朗之万算法。

2. 近似误差分析（Wasserstein 界限）

本文的核心贡献是对代理分布 $\nu_\lambda$ 与真实目标 $\nu$ 之间的 Wasserstein-$q$ 距离 ($W_q$) 进行的严谨分析。

• 上界： 作者推导了 $W_q(\nu, \nu_\lambda)$ 的紧致非渐近上界。收敛速率取决于维度 $p$ 和阶数 $q$。值得注意的是，他们引入了一种新颖的证明技术，利用在极坐标下精心构造的传输映射，使 $\nu_\lambda$ 和 $\nu$ 的径向分量对齐。这产生了 $O(\lambda)$ 的速率（当 $1/p + 1/q > 1$ 时）以及 $O(\lambda^{1/p + 1/q})$ 的速率（当 $1/p + 1/q < 1$ 时），这些结果比以往的结果更为精确（例如，改进了先前工作中对于 $W_2$ 的 $O(\lambda^{1/4})$ 速率）。
• 下界： 本文推导了 $W_q(\nu, \nu_\lambda)$ 的首个下界，证明了所得到的上界在阶数上是近乎最优的。

3. 随机中点离散化

基于光滑代理，本文将随机中点法（最初为无约束设置提出）应用于过阻尼朗之万扩散和动力学朗之万扩散。

• CRLMC（约束随机中点 LMC）： 将中点方案应用于 $\nu_\lambda$ 上的过阻尼朗之万扩散。
• CRKLMC（约束随机中点 KLMC）： 将该方案应用于动力学朗之万扩散，并结合了动量和摩擦。

作者还在该框架内重新审视了标准的欧拉离散化方法（CLMC 和 CKLMC），以提供改进的基准保证。

核心贡献与结果

1. 统一的理论框架

本文将各种投影算子（欧几里得、Bregman、规函数）统一在一个单一的分析框架下。这推广了以往往往局限于欧几里得投影的工作。

2. 改进的收敛速率

通过将更紧密的 $\nu_\lambda$ 近似界限与随机中点离散化相结合，作者建立了实现 $\epsilon$-精度（在 Wasserstein 距离下）的新迭代复杂度界限：

• CRLMC： 对于 $W_1$ 实现 $\tilde{O}(\epsilon^{-10/3})$，对于 $W_2$ 实现 $\tilde{O}(\epsilon^{-6 + 16/(3p)})$。
• CRKLMC： 对于 $W_1$ 实现 $\tilde{O}(\epsilon^{-8/3})$，对于 $W_2$ 实现 $\tilde{O}(\epsilon^{-5 + 14/(3p)})$。
• CLMC/CKLMC (Euler)： 精细化的分析还改进了标准欧拉型约束采样器的界限，将 CLMC 在 $W_2$ 下的复杂度从 $\tilde{O}(\epsilon^{-18})$ 降低到 $\tilde{O}(\epsilon^{-6 + 4/p})$。

结果表明，随机中点方案在约束设置下提供了相对于标准欧拉离散化的明显加速。

3. 近似最优性

互补下界的推导证实了近似误差的上界在阶数上是近乎最优的，验证了所提分析的紧致性。

4. 实证验证

在合成数据（2D 散点图、贝叶斯 Lasso 回归）和真实世界数据（用于公平逻辑回归的 UCI Adult 数据集）上的数值实验支持了理论发现。实验表明 CRKLMC 收敛最快，其次是 CRLMC，两者均优于其欧拉型对应算法（CKLMC 和 CLMC）。

重要性与主张

本文声称通过以下方式推进了约束扩散采样理论的理解：

1. 解决非光滑性问题： 提供了一种通过光滑代理函数系统化处理硬约束的方法，该方法可以适应多样化的投影几何结构。
2. 收紧界限： 通过利用精细的最优传输论证，提供了比现有文献（特别是 [BDMP17] 和 [GHZ24]）显著更紧凑的收敛速率。
3. 验证中点法： 确立了已知在无约束采样中具有优势的随机中点法，在应用于约束对数凹采样时仍能保持其优势（减少偏差并改善对条件数的依赖）。
4. 实践指导： 提供了显式的常数和参数依赖关系，为选择步长和调节约束采样算法中的参数 ($\lambda$) 提供了原则性的依据。

作者指出，虽然目前的分析在采样误差分析中假设了强凸性和光滑性，但近似误差分析依赖于较弱的假设，这表明未来向非凸设置扩展的潜力。