技术摘要：坐标上升变分推断的 Wasserstein 收缩

问题陈述

本文探讨了坐标上升变分推断（CAVI）算法的理论收敛保证。CAVI 是一种基础方法，通过在可处理的因子化分布族（例如 $\mu \otimes \nu$）上最小化 Kullback–Leibler（KL）散度，来近似难以处理的靶分布 $\pi$（通常是贝叶斯统计中的后验分布）。尽管 CAVI 因其计算效率而被广泛使用，但其严格的收敛保证在历史上一直受限。现有文献通常依赖于强假设，例如靶分布的全局强对数凹性，这排除了许多实际模型（例如混合模型、逻辑回归），在这些模型中，靶分布并非强对数凹，或者空间涉及离散或非光滑分量。

作者旨在在比全局强对数凹性更弱且更易验证的条件下，建立 CAVI 迭代序列 $(\mu_k, \nu_k)$ 在Wasserstein 距离下向不动点的局部指数收敛。

方法论

作者将 CAVI 更新分析为作用于概率测度的算子序列。设靶分布为 $\pi = e^{-f} \in \mathcal{P}(Z \times B)$。CAVI 更新通过最优映射定义：
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
其中 $\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$，且 $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$。

收敛分析依赖于在配备 Wasserstein-$p$ 距离（$W_p$）的概率测度空间上定义的两个主要条件：

1. Fisher 光滑性（交叉光滑性）：要求最优映射 $\mu^\star[\cdot]$ 和 $\nu^\star[\cdot]$ 在不动点附近是"Fisher 光滑”的。若算子 $\gamma^\star[\cdot]$ 满足常数 $L$ 的 Fisher 光滑性，则：
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   其中 $I$ 为相对 Fisher 信息。该条件本质上限制了势函数梯度随另一坐标变化的程度（即 $f = f_1 + f_2 + \omega$ 中相互作用项 $\omega$ 的交叉光滑性）。

2. 输运 - 信息（TI）不等式：不动点分布 $\mu^\star$ 和 $\nu^\star$ 必须满足具有常数 $\lambda_1, \lambda_2$ 的 TI 不等式：
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   这是关于不动点的曲率条件。它比对数 Sobolev 不等式和强对数凹性更弱，且具有张量化性质，因此适用于高维设置。

作者还将此框架扩展至数据增强设置（其中 $Z$ 代表辅助变量）。在这种情况下，他们表明，仅基于复合映射 $\nu^\star[\mu^\star[\cdot]]$ 的光滑性和 $\nu^\star$ 的 TI 不等式，即可建立参数边缘 $\nu_k$ 的收敛性，而无需对辅助不动点 $\mu^\star$ 施加曲率条件。这对于 $Z$ 为离散或非光滑的情况至关重要。

主要贡献

1. 一般收敛定理（定理 1）

本文证明，如果交叉光滑常数（$L_{1|2}, L_{2|1}$）和 TI 常数（$\lambda_{1|2}, \lambda_{2|1}$）满足条件 $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$，则 CAVI 迭代序列在 Wasserstein 距离下以速率 $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$ 指数级快速收敛至不动点。

• 普适性：该结果适用于一般的光滑黎曼流形，并允许非光滑空间（通过数据增强扩展）。
• 局部与全局：该定理提供局部收敛保证。若条件全局成立，则可实现全局收敛，但作者强调，在许多存在多个不动点的实际场景中，局部保证已足够。
• 尖锐性：对于高斯靶分布，推导出的速率与相关矩阵的谱范数一致，证明了该界限的尖锐性。

2. 数据增强框架（定理 4）

一项重要贡献是放宽了数据增强问题的假设。作者表明，如果仅关注参数 $\beta$（边缘 $\nu$），则可以在不要求辅助不动点 $\mu^\star$ 满足 TI 不等式的情况下证明收敛性。这使得 CAVI 收敛理论能够应用于具有离散潜变量的模型（例如高斯混合模型），其中辅助空间是非光滑的。

3. 特定贝叶斯模型的应用

作者将理论框架应用于三个具体模型，推导出了明确的收敛速率和条件：

• 非平衡高斯混合模型（GMM）：

  • 收敛由后验相变主导。
  • 速率取决于后验模态的分离程度。如果模态分离良好，算法在局部以指数级速度收敛。
  • 在平衡情况（$p=0.5$）下，全局收敛需要特定的信噪比条件（$r < 1$）。如果该条件不满足，后验将变为多模态，CAVI 将根据初始化收敛至不同的模态。
  • 结果强调，非平衡混合（不对称的 $p$）通过减少标签歧义促进了更快的收敛。

• 贝叶斯 Probit 回归：

  • 作者分析了带有数据增强的 Probit 回归的 CAVI 更新（Albert 和 Chib, 1993）。
  • 他们证明了全局指数收敛，其速率由缺失信息的贝叶斯分数决定：$\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$。
  • 他们表明，在高维设置（$n, p \to \infty$）中，在适当的先验缩放（例如 $g$-先验或直接缩放）下，速率保持有界且远离 1，从而确保即使维度增长也能保持稳定。

• 贝叶斯逻辑回归（Jaakkola-Jordan 算法）：

  • 本文分析了使用 Pólya-Gamma 增强的算法。
  • 他们推导出了依赖于逻辑链接函数导数和后验曲率的局部收敛速率 $r_\varepsilon$。
  • 关键在于，他们确立了在可比条件下，逻辑回归的收敛速率严格优于（更小）Probit 回归，这归因于 Pólya-Gamma 增强的性质以及相互作用项的具体形式。这是 Jaakkola-Jordan 算法首个可用的收敛速率结果。

意义与主张

本文声称提供了一种尖锐、直接且简短的 CAVI 收敛证明，该证明依赖于泛函不等式而非全局强对数凹性。

• 假设放宽：通过利用输运 - 信息不等式和 Fisher 光滑性，作者避免了要求靶分布 $\pi$ 为强对数凹。这是一个显著的放宽，因为混合模型和逻辑回归等标准模型并不满足强对数凹性。
• 处理非光滑空间：数据增强扩展允许在具有离散潜变量的设置中进行收敛分析，这是混合模型中的常见特征，此前在光滑流形假设下难以分析。
• 精度 - 收敛对偶性：本文指出，确保快速收敛的条件（相对于曲率，相互作用项较小）也意味着变分近似具有高质量（低 KL 散度）。这建立了算法速度与近似精度之间的对偶性。
• 实际相关性：高维回归（Probit 和逻辑回归）的推导速率表明，只要先验缩放正确，即使维度 $p$ 和样本量 $n$ 增长，CAVI 仍能保持稳定和高效。

作者明确指出，当前的分析仅限于双块（$m=2$）设置，多块动力学的扩展留待未来工作。他们还指出，虽然他们的结果是局部的，但它们与 CAVI 在复杂非凸景观中的经验行为相一致并解释了该行为。