DC-LA: Difference-of-Convex Langevin Algorithm

技术摘要：DC-LA：凸差分朗之万算法

问题陈述
本文解决了在 $\mathbb{R}^d$ 中从吉布斯分布 $\pi \propto \exp(-V)$ 采样的问题，其中势函数 $V$ 是复合且非光滑的。具体而言，作者考虑形式为 $V = f + r$ 的势函数，其中 $f$ 是 Lipschitz 光滑的数据保真项，而 $r$ 是一个定义为凸差分（DC）函数的非光滑正则化项，即 $r = r_1 - r_2$，其中 $r_1$ 和 $r_2$ 均为凸函数。这种设定在贝叶斯推断和机器学习中频繁出现，特别是在使用非凸先验（例如 $\ell_1 - \ell_2$、截断 $\ell_1$ 或基于输入凸神经网络的数据驱动先验）时，这些先验比凸对应项能更好地建模稀疏性或复杂数据结构。

现有方法在此类情形下面临局限性。标准的未调整朗之万算法（ULA）要求可微性，这对于非光滑的 $r$ 无法适用。近端朗之万算法（如 PSGLA）通常假设正则化项是弱凸或凸的。然而，许多有效的 DC 正则化项并非弱凸，这使得标准的收敛性保证不再适用。此外，对整个非弱凸项 $r$ 应用单个 Moreau 包络可能导致病态或不连续的近端算子。

方法论：DC-LA 算法
作者提出了凸差分朗之万算法（DC-LA），这是一种前向 - 后向采样器，利用正则化项特定的 DC 结构。核心创新在于分别对凸分量 $r_1$ 和 $r_2$ 应用 Moreau 平滑，而不是对整个差分项 $r$ 进行平滑。

给定平滑参数 $\lambda > 0$，该算法在增广势函数 $V_\lambda = (f - r_2^\lambda) + r_1^\lambda$ 上运行，其中 $r_i^\lambda$ 表示 $r_i$ 的 Moreau 包络。序列 $\{X_k\}$ 的更新规则为：
$$X_{k+1} = \text{Prox}_{\gamma r_1^\lambda} \left( X_k - \gamma \nabla f(X_k) + \gamma \nabla r_2^\lambda(X_k) + \sqrt{2\gamma} Z_{k+1} \right)$$
其中 $\gamma$ 是步长，$Z_{k+1} \sim \mathcal{N}(0, I)$。

该算法分解为基本算子：

1. 前向步： 涉及光滑项 $f$ 和平滑后的凹部分梯度 $\nabla r_2^\lambda$ 的梯度步。
2. 后向步： 涉及平滑后的凸部分 $r_1^\lambda$ 的近端步。

作者指出，如果 $r_2$ 本身已经是光滑的（例如在某些结构化 DC 正则化项中，如 Geman 或 SCAD 惩罚），则算法简化为DC-LA-S，此时直接使用 $\nabla r_2$ 而无需平滑。

理论贡献与收敛性
本文在势函数 $V$ 满足远距离耗散条件（也称为无穷远处的强凸性）的假设下，建立了 DC-LA 的收敛性保证。该条件要求漂移项仅在点相距足够远时具有耗散性，这是一个比全局强凸性更弱的假设。

关键理论结果包括：

• Wasserstein 距离下的收敛性： 对于任意 $q \in \mathbb{N}^*$，迭代 $X_k$ 的分布与目标分布 $\pi$ 之间的 $q$-Wasserstein 距离被界定为：
  $$W_q(p_{X_k}, \pi) \leq O(\rho^k \gamma) + O(\gamma^{1/2q}) + O(\lambda^{1/q})$$
  其中 $\rho \in (0, 1)$。各项分别代表马尔可夫链的收敛速率、离散化误差和平滑误差。
• 一般正则性假设： 分析涵盖了 $r_2$ 的连续正则性范围：
  1. $r_2$ 是 Lipschitz 连续的（非光滑）。
  2. $r_2$ 是可微的，且具有 $\kappa$-Hölder 连续梯度（$0 < \kappa < 1$）。
  3. $r_2$ 是光滑的（$C^{1,1}$）。
• 处理非弱凸函数： 与先前工作（例如 Renaud 等人，2025a）要求正则化项为弱凸不同，DC-LA 为非弱凸 DC 正则化项（如 $\ell_1 - \ell_2$ 和 DICNN）提供了收敛性保证，前提是满足远距离耗散条件。
• 稳定性分析： 作者利用关于具有通用漂移项的朗之万动力学的最新稳定性结果，界定了离散化过程与平滑势函数的不变分布之间的距离。

实验结果
作者通过两组实验验证了 DC-LA：

1. 合成数据（$\ell_1 - \ell_2$ 先验）： 在具有高斯似然的二维设置中，DC-LA 成功捕捉到了目标密度，该密度沿坐标轴表现出促进稀疏的行为。与基线方法（ULA、Moreau ULA 和 PSGLA）相比，DC-LA 产生了最忠实的经验分布，实现了最低的直方图 KL 散度。PSGLA 虽然锐利，但倾向于过度强调坐标，而 ULA 变体则显得模糊。
2. 真实世界计算机断层扫描（CT）： 使用基于两个输入凸神经网络（DICNN）之差的數據驱动 DC 先验，作者在 512 $\times$ 512 腹部扫描上进行了 CT 重建。DC-LA 以高结构相似性（SSIM）和峰值信噪比（PSNR）恢复了解剖结构，其表现与运行了显著更多迭代次数的近端次梯度法（PSM）优化器相当。关键在于，DC-LA 通过像素级后验方差提供了不确定性量化，突出了确定性最大后验（MAP）估计所遗漏的高不确定性区域（边界、精细纹理）。

意义与主张
本文声称提供了一个数学上合理的框架，用于从具有 DC 结构的非对数凹、非光滑分布中进行采样。其主要意义在于：

• 扩展朗之万采样的范围： 它超越了非对数凹和弱凸范畴，能够处理在压缩感知和逆问题中广泛使用的更广泛的非凸正则化项类别。
• 对非弱凸性的鲁棒性： 它是首个为应用于非弱凸 DC 正则化项的朗之万类算法提供收敛性保证的方法，且无需先前非对数凹采样文献中发现的限制性假设。
• 实用价值： 该方法在合成和真实世界应用中均表现出有效性，不仅提供点估计，还提供有意义的不确定性量化，这对于医学成像等安全关键应用至关重要。

作者承认，他们的分析依赖于远距离耗散条件，且 $r_1$ 的 Lipschitz 连续性是当前假设，建议未来的工作可以探索放宽这些条件或处理混合增长的正则化项。