Local and Global Contraction Principles for MCMC Mixing

技术摘要：用于 MCMC 混合的局部与全局收缩原理

问题陈述
本文针对马尔可夫链蒙特卡洛（MCMC）算法的混合时间进行定量分析。具体而言，旨在为马尔可夫链向其平稳分布（或受控近似分布）收敛的速度建立严谨的界限。作者关注两种标准的收敛分析面临局限性的不同算法设置：

1. 投影朗之万蒙特卡洛 (P-LMC)： 在紧致凸域上运行、且可能具有非凸光滑势函数的算法。
2. 独立 Metropolis–Hastings (IMH)： 在重要性权重 $w = d\pi/dq$（目标分布与提议分布之比）可能无界的情况下，传统的全局收缩论证会变得平庸（trivial）的算法。

核心挑战在于提供显式的、适用于广泛散度类（超越全变差距离）的、且对非凸性和重尾重要性权重具有鲁棒性的收敛保证。

方法论
作者开发了一个基于应用于 $E_\gamma$-散度（也称为曲棍球棒散度，hockey-stick divergence）的 强数据处理不等式 (SDPI) 框架，其中 $\gamma \ge 1$。$E_\gamma$-散度定义为 $E_\gamma(\mu\|\nu) = \sup_{A} \{\mu(A) - \gamma\nu(A)\}$。

核心理论洞察在于，$E_\gamma$-散度充当了一种“主”散度。通过积分表示（论文中的公式 2），控制 $E_\gamma(\mu\|\nu)$ 和 $E_\gamma(\nu\|\mu)$ 的完整剖面（full profile），可以推导出广泛的 $f$-散度（包括 KL、$\chi^2$ 和 Rényi 散度）以及 Rényi 散度的收敛界限。

作者根据特定算法的几何特性采用了两种不同的收缩策略：

1. 全局收缩： 对于 P-LMC，作者将转移核分解为漂移步、高斯平滑步和投影。他们利用了在高斯平滑作用于紧集时，会在 $E_\gamma$-散度中诱导产生严格全局收缩这一事实。
2. 局部收缩： 对于具有无界权重的 IMH，由于链可能以接近 1 的概率拒绝提议，全局收缩失效。作者引入了一个定义在“核心”集 $C_R = \{w \le R\}$ 上的局部收缩系数。他们证明了该局部系数控制了核心集上的逐点拒绝概率，而核心集之外的误差则由尾部剖面 $H_R = \pi(w > R)$ 控制。

关键贡献与结果

1. 用于投影朗之万蒙特卡洛 (P-LMC) 的全局 SDPI

• 处理非凸性： 作者证明了对于紧致凸集上的光滑势函数，P-LMC 在 $E_\gamma$-散度下表现出指数级收敛。至关重要的是，该结果不需要势函数是凸的。
• 显式系数： 收缩系数是基于高斯平滑步之前（即漂移步之后）的集合直径显式推导出的。收敛速率取决于该直径与噪声尺度 $\sqrt{\eta}$ 的比例。
• 任意批处理： 该框架容纳了任意随机批采样方案（例如泊松采样、无放回采样）。收敛速率被表示为特定批次收缩系数的平均值，相比于最坏情况下的平滑性假设，提供了更紧凑的界限。
• 散度传递： 通过控制正向和反向 $E_\gamma$ 剖面，作者推导出了 KL、$\chi^2$ 和 Rényi 散度的显式收敛界限。

2. 用于独立 Metropolis–Hastings (IMH) 的局部 SDPI

• 局部系数定义： 对于核心集 $C_R = \{w \le R\}$，作者定义了一个局部曲棍球棒收缩系数 $\rho_\alpha(R)$。他们证明了在非原子提议下，该系数直接上界约束了任何 $x \in C_R$ 的拒绝概率 $r(x)$。
• 尾部自适应界限： 收敛界限是以尾部剖面 $H_R = \pi(w > R)$ 和局部收缩率的形式给出的。界限形式为：
  $$E_\gamma(\mu_k\|\pi) \lesssim (L+1) \left[ e^{-k H_R/R} + H_R \right]$$
  其中 $L$ 是热启动常数。
• 重尾机制： 不同于以往依赖有限矩假设（$E_q[w^p] < \infty$）的工作，这种表述即使在不存在任何 $p > 1$ 阶有限矩的情况下仍然有效。作者通过一个 $E_q[w^p] = \infty$ 对所有 $p > 1$ 均成立的例子展示了这一点，尽管其得到的收敛速率较慢，但仍能给出显式的尾部剖面界限。
• 恢复现有速率： 在热启动假设和有限矩条件下，推导出的界限可以恢复先前工作中建立的精确多项式速率（例如 [DJKW24]）。

意义与主张
本文声称通过 $E_\gamma$-散度和收缩原理的视角，为 MCMC 混合提供了一个统一的结构化观点。

• 对于 P-LMC： 它提供了一个关于为什么全局收缩在紧致域上有效的“清晰解释”：一旦预噪声图像具有有界直径，高斯平滑步就会使曲棍球棒剖面发生收缩。这使得在非凸势函数下也能获得收敛保证，而以往的尖锐混合时间分析（通常受限于凸设置）在此处失效。
• 对于 IMH： 它将分析从全局一致遍历性（在权重无界时失效）转向了局部收缩框架。这种方法将高概率核心区域的混合行为与尾部行为解耦，为分析具有重尾重要性权重的算法提供了一个更灵活且具自适应性的工具。
• 方法论优势： 使用 $E_\gamma$-散度使得作者能够证明一个单一的“全剖面”界限，从而暗示了广泛的 $f$-散度的收敛，而不是分别为 TV、KL 或 $\chi^2$ 距离证明单独的结果。

作者对最优性保持了谦逊的态度，指出虽然他们的单步收缩系数对于特定的非凸势函数是紧致的，但多步界限可以通过分析非线性 SDPI 剖面（即追踪散度水平而非线性应用单一的最坏情况系数）来进一步改进。他们还指出，将此观点扩展到更复杂核函数（如 MALA）的非线性收缩剖面是未来的研究方向。