Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

技术摘要：存在偶对称与椭圆对称情况下的变分推断广义保证

问题陈述
变分推断（Variational Inference, VI）通过在易于处理的分布族 $\mathcal{Q}$ 中寻找最佳匹配 $q$ 来近似目标密度 $p$，通常通过最小化散度 $D(p||q)$。虽然不同的散度（例如反向 KL、前向 KL、$\alpha$-散度）往往会产生不同的近似，但目前尚不清楚在何种条件下 VI 能提供对统计性质（如均值和相关矩阵）的证明准确的估计。以往的研究表明，如果 $p$ 是对数凹的且具有偶对称或椭圆对称性，那么最小化反向 Kullback-Leibler (KL) 散度可以恢复 $p$ 的均值和相关矩阵。然而，这些保证仅限于特定的散度，并且需要较强的对数凹性假设，这排除了实践中常见的重尾分布。

方法论
作者将这些保证推广到一类广泛的目标函数，并放宽了对目标密度的正则性条件。

1. 目标函数： 分析侧重于 $f$-散度，这是一个广泛的函数族，定义为 $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$，其中包括反向和前向 KL 散度、$\alpha$-散度以及平滑全变分距离。
2. 对称性定义： 本文形式化了偶对称（关于点 $\nu$ 对称）、椭圆对称（由散布矩阵 $M$ 定义）以及部分对称（沿坐标子集 $\sigma$ 对称）。
3. 变分族： 假设近似族 $\mathcal{Q}$ 是一个椭圆位置-尺度族，其中分布关于位置参数 $\nu$ 呈椭圆对称，且其散布矩阵与尺度矩阵 $S$ 成比例。
4. 理论框架：
   • 联合对角化： 作者采用了一种坐标变换（引理 1），通过合同变换同时对 $p$ 和 $q$ 的散布矩阵进行对角化。这通过变换后的变量重新表述了 $f$-散度，简化了对驻点的分析。
   • 单峰性 vs. 对数凹性： 作者不再要求 $p$ 是对数凹的，而是假设 $p$ 和 $q$ 是严格单峰的（其径向函数是严格递减的）。这使得包括 Student-$t$ 分布和 Cauchy 分布在内的重尾分布也能被纳入讨论。
   • 部分对称的链式法则： 对于部分对称性，作者利用 $f$-散度的链式法则属性（定义 9）将散度分解为条件分量和边缘分量，从而允许对具有对称性和不具有对称性的坐标分别进行分析。

主要贡献
本文提出了三个推广了以往结果的主定理：

• 定理 1（偶对称下的均值恢复）： 对于任何严格凸的 $f$-散度，如果目标 $p$ 是椭圆对称且严格单峰的，则关于位置参数 $\nu$ 的散度唯一极小值点即为 $p$ 的真实均值 ($\nu = \mu$)。即使 $p$ 是重尾的且非对数凹的，该结论依然成立。
• 定理 2（椭圆对称下的均值与散布矩阵恢复）： 在定理 1 的相同条件下，再加上要求 $p$ 的径向函数在其尾部是径向递减的，则关于位置-尺度参数 $(\nu, S)$ 的散度的任何驻点都满足 $\nu = \mu$ 且 $S = \gamma^2 M$（对于某个 $\gamma > 0$）。因此，VI 能够恢复 $p$ 的相关矩阵。
• 定理 3（部分对称保证）： 如果 $p$ 仅沿坐标子集 $\sigma$ 表现出对称性（其中条件分布 $p(z_\sigma | z_{\bar{\sigma}})$ 是关于线性条件均值和常数散布矩阵呈椭圆对称的），则变分近似会恢复沿 $\sigma$ 的条件均值和散布矩阵。如果条件均值是常数，则沿 $\sigma$ 的边缘均值和相关性也会被恢复。

结果

• 理论层面： 证明表明，对称匹配解是所有严格凸 $f$-散度的驻点。作者展示了对于单峰目标，这些驻点是均值和尺度参数的唯一极小值点。
• 数值实验： 作者在合成目标（多元 Student-$t$ 分布、椭圆漏斗、新月形分布）和贝叶斯层次模型（教育数据、疾病建模、遗传数据）上评估了 VI。
  • 他们测量了后验分布的不对称性，并发现对于更对称的目标，VI 在均值估计方面的绝对误差更低。
  • 在具有部分对称性的模型（例如椭圆漏斗）中，即使 VI 未能恢复非对称坐标 ($\tau$) 的均值，它也能准确恢复沿对称坐标 ($\theta$) 的均值和相关性。
  • 实验证实，通过参数化策略（例如非中心化参数化或边缘化）来减少层次模型中的不对称性，可以提高 VI 的性能。

意义与主张
本文声称提供了一个统一的理论框架，证明了 VI 的对称匹配属性在广泛的目标函数（$f$-散度）下是稳健的，并且不依赖于受限的对数凹性假设。作者强调，这些结果提供了“给从业者的处方”，表明可以通过重新参数化模型（例如使用非中心化参数化或折叠后验）来利用部分对称性，从而改善贝叶斯层次模型中的 VI 性能。这项工作扩展了对 VI 何时具有证明准确性的理解，将其从特定的散度选择扩展到了更广泛的目标函数及更现实的目标分布（包括重尾分布）。作者指出，虽然他们侧重于理论保证，但其发现与现有的事后诊断和修正工作互补。