Stability of Finite-Batch Particle Mean-Field Variational Inference Beyond Strong Convexity

技术摘要：超越强凸性的有限批次粒子均值场变分推断的稳定性

问题陈述
本文研究了有限批次粒子算法在均值场变分推断（PAVI）中的稳定性与非渐近收敛性。虽然均值场变分推断（MFVI）通过在乘积测度上最小化相对熵来逼近目标密度 $p(x) \propto e^{-V(x)}$，但实际应用往往依赖于粒子近似、投影漂移项的随机批次评估以及时间离散化。

现有的分析（如 Du 等人的工作）通常假设目标势函数 $V$ 是全局强凸的。这一假设确保了动力学的收缩性，但在现代应用中经常被违反。本文研究了当 $V$ 是全局光滑（梯度 Lipschitz 连续）但不一定是强凸时，PAVI 的稳定性。其挑战在于量化由于非凸区域导致的收缩性丧失如何影响全离散、有限批次算法的误差界。

方法论与框架
作者将 PAVI 算法建模为投影 Wasserstein 动力学的全离散随机逼近。其核心方法论创新在于引入了一个**曲率缺陷（curvature defect）**度量，用以量化强凸性的失效。

1. 曲率缺陷： 作者并未假设 $\nabla^2 V \succeq \alpha I$，而是定义了一个缺陷函数：
   $$d_\alpha(x, y) = \left[ \alpha \|x - y\|^2 - \langle \nabla V(x) - \nabla V(y), x - y \rangle \right]_+$$
   该函数衡量了单步欧拉收缩估计中的加性损失。分析假设存在一致的缺陷界限 $d_\alpha(x, y) \le \beta$，这允许在“负曲率”受限的情况下存在非凸性。

2. 平稳比较阵列（Stationary Comparison Array）： 为了推导非渐近界，作者构造了一个平稳比较过程。该过程由一个粒子阵列组成，其行向边缘分布是真实 MFVI 极小值点的最优耦合。至关重要的是，该平稳阵列的行经验测度的乘积是一个随机测度，不同于确定性的乘积律 $q^\star$。分析明确控制了在投影漂移项在这一随机经验律下评估的值与在 $q^\star$ 下评估的值之间的差异。

3. 误差分解： 证明过程利用了一个单步递归，将总误差分解为以下不同部分：

   • 初始化误差（瞬态收缩）。
   • 乘积经验近似误差（有限粒子数 $N$）。
   • 有限批次漂移误差（规模为 $B$ 的随机采样）。
   • 时间离散化误差（步长 $h$）。
   • 沿耦合轨迹累积的曲率缺陷。

主要贡献与结果

• 非渐近稳定性界： 主要结果（推论 7.3）给出了有限批次方案的 Wasserstein 稳定性界。在一致缺陷界 $d_\alpha \le \beta$ 下，粒子迭代 $q_{X_n}$ 与任何 MFVI 极小值 $q^\star$ 之间的均方根 Wasserstein 距离满足：
  $$\left( \mathbb{E} W_2^2(q_{X_n}, q^\star) \right)^{1/2} \lesssim (1 - c\alpha h)^{n/2} \left( \mathbb{E} W_2^2(q_{X_0}, q^\star) \right)^{1/2} + \left(1 + \frac{\kappa}{\alpha}\right)\varepsilon_N(q^\star) + \sqrt{\frac{\beta}{\alpha}} + \sqrt{\frac{h\Gamma^\star}{\alpha B}} + \sqrt{\frac{L}{\alpha}\sqrt{h(h\Gamma^\star + m)}}$$
  此处，$\varepsilon_N$ 是经验近似误差，$\kappa$ 衡量投影漂移对乘积律扰动的敏感度，$\Gamma^\star$ 是 $q^\star$ 下梯度的二阶矩。

• 参数分离： 该界限明确分离了粒子数 $N$、批次大小 $B$ 和步长 $h$ 的影响。它表明，只有当批次误差变得与粒子误差和离散化误差相当时，增加 $B$ 才会产生收益。

• 存在性与矩界： 在一致缺陷条件下，本文确立了 MFVI 极小值的存在性，并在未假设对数凹性（log-concavity）的情况下推导了显式的边缘分布矩界。作者明确指出，虽然存在性得到了保证，但唯一性并未被蕴含；当 $\beta > 0$ 时，极小值集合可能包含多个不同的元素。

• 维度无关的敏感度： 作者引入了坐标化缺陷估计，并证明在稀疏交互结构下，敏感度常数 $\kappa$ 可以是维度无关的，从而减轻了误差界中的维度灾难。

• 非凸基准测试： 构建了一个新型的任意维度的光滑非凸基准测试，具有闭式解的唯一 MFVI 极小值。这使得可以直接测量算法误差，而不会受到参考解优化不确定性的干扰。

• 对漂移增长的限制： 本文澄清了即使在强凸情况下，对于具有超线性增长梯度（多项式增长）的势函数，PAVI 所使用的显式欧拉方案也是不稳定的。作者认为，在这种情形下需要使用经过“驯化”（tamed）或隐式方案，因为标准的驯化处理会破坏对证明至关重要的有限批次无偏估计。

意义与主张
本文提供了一种放宽了强凸性假设的有限批次粒子 MFVI 的非渐近稳定性分析。通过量化“曲率缺陷”，这项工作将 Lipschitz 连续性的数值要求与收缩的几何机制分离开来。该分析建立并扩展了关于局部收缩和非凸 Langevin 动力学的先前工作。

作者强调，当 $\beta > 0$ 时，其关于收敛到特定极小值的结论是**适度（modest）**的；在这种情况下，算法会在极小值集合的 $O(\sqrt{\beta/\alpha})$ 邻域内保持稳定，而不是收敛到单个点。分析表明，非凸设置下 MFVI 解的非唯一性是由相同的缺陷尺度进行定量控制的。

数值实验验证了理论标度律，显示出对于光滑基准，批次误差随 $B^{-1/2}$ 缩放，粒子误差接近 $N^{-1/2}$ 缩放，同时终端误差随曲率缺陷强度的增大而单调增加。论文得出结论，曲率缺陷视角为理解变分推断中准确度、计算成本与目标势函数几何特性之间的权衡提供了一个严谨的框架。