技术摘要：基于重要性加权的变分推断学习

问题陈述

变分推断（VI）旨在利用一个可处理的分布族 $q_\phi(z|x)$ 来近似一个难以处理的靶标后验密度 $p_\theta(z|x)$。虽然标准的证据下界（ELBO）是传统的目标函数，但近期的研究聚焦于重要性加权界，例如重要性加权自编码器（IWAE）、变分 Rényi（VR）以及统一的 VR-IWAE 界。这些界依赖于蒙特卡洛样本数 $N$ 和一个超参数 $\alpha \in [0, 1)$。

尽管这些界颇受欢迎，但关于界的选择与梯度估计器的联合选择如何影响优化轨迹的理论理解仍然有限。具体而言，缺乏以下方面的综合分析：

1. **重参数化（REP）和双重重参数化（DREP）**梯度估计器在 $N \to \infty$ 时的渐近行为。
2. 超参数 $\alpha$ 在这些估计器中引入的偏差 - 方差权衡。
3. 这些估计器在“挑战性区域”（即变分近似恶化，亦即变分密度与后验密度之间的 Kullback-Leibler 散度很大）中的表现。

现有文献提供的见解支离破碎，通常局限于特定情况（例如 IWAE 中的 $\alpha=0$）或依赖于非正式的论证。实证研究表明 DREP 优于 REP，且调整 $\alpha$ 能提升性能，但缺乏统一的理论依据。

方法论

作者构建了一个统一的理论框架，用于分析 VR-IWAE 界梯度估计器的信噪比（SNR）。该方法依赖于两项主要的渐近分析：

1. $N \to \infty$ 时的渐近性（固定失配）

本文首先建立了一个关于样本均值比率的渐近期望和方差的通用理论结果。

• 定理 1：在温和的矩条件下，提供了 $E[X_N / (W_N)^\mu]$ 及其方差在 $N \to \infty$ 时的极限行为。这推广了现有关于自归一化重要性采样的结果。
• 在 VI 中的应用：通过将 REP 和 DREP 梯度估计器映射到该样本均值比率框架（其中 $X$ 和 $W$ 是重要性权重及其导数的函数），作者推导了两种估计器的渐近 SNR。
• 关键指标：SNR 定义为 $|E[\text{估计器}]| / \sqrt{\text{Var}[\text{估计器}]}$。高 SNR 表示可靠的梯度方向。

2. 恶化区域中的渐近性（$N, \text{KL} \to \infty$）

本文分析了一种变分近似较差的区域，其特征是 KL 散度 $KL(\theta, \phi; x) \to \infty$，同时 $N \to \infty$ 使得 $\log N = o(KL)$。

• 假设（B1）：对数重要性权重被建模为高斯随机场。这使得作者能够将 KL 散度直接与对数权重的方差联系起来。
• 分析：作者研究了当变分密度远离后验分布时，将 $N$ 增加到 1 以上是否有任何益处。他们推导出了梯度估计器退化为 $N=1$（ELBO）情况行为的条件。

主要贡献

1. REP 与 DREP 估计器的统一比较

本文首次提供了针对整个 $\alpha \in [0, 1)$ 范围内 VR-IWAE 界的 REP 和 DREP 梯度估计器的统一渐近表征。

• 偏差 - 方差权衡：分析表明，超参数 $\alpha$ 控制着一种权衡。在 REP 估计器中，减小 $\alpha$（向 IWAE 靠近）能改善偏差（更接近边缘对数似然），但会增加方差。
• DREP 的理论依据：作者正式证明了 DREP 估计器在最优解处（当 $q_\phi$ 匹配 $p_\theta$ 时）具有“零方差”特性。具体而言，当变分近似完美时，DREP 的渐近方差项消失，而由于得分函数项的存在，REP 的方差仍保持非零。这为实证观察到的 DREP 优越性提供了首个严格的理论依据。

2. 挑战性区域分析

本文刻画了当变分近似恶化时，重要性加权 VI 的行为。

• 权重坍缩：作者表明，如果 KL 散度很大，则实现重要性加权益处所需的样本量 $N$ 会呈指数级增长（$N \sim e^{KL}$）。
• 退化为 ELBO：如果 $N$ 没有随 KL 散度呈指数级增长，梯度估计器实际上会退化为 $N=1$ 的 ELBO 基线。至关重要的是，本文证明即使在这种区域下，梯度估计器仍指向一个有效的方向，能够最小化 KL 散度，从而改善变分近似，并最终使算法进入 $N > 1$ 有效的“表现良好”区域。

3. 通用蒙特卡洛工具

除了 VI 之外，本文还建立了用于分析样本均值比率的通用理论工具（定理 1）。这些工具在比先前工作（例如 Rainforth 等人，2018；Daudel 等人，2023）更严格的弱假设下运行，并适用于一般的幂次 $\mu > 0$，从而扩展了重要性加权理论的适用范围。

结果

渐近行为（$N \to \infty$）

• REP 估计器：对于 $\theta$ 参数，SNR 按 $\sqrt{N}$ 缩放。对于 $\phi$ 参数，仅当 $\alpha \in (0, 1)$ 时 SNR 才按 $\sqrt{N}$ 缩放。如果 $\alpha = 0$（IWAE），由于高方差，$\phi$ 的 SNR 按 $1/\sqrt{N}$ 衰减。
• DREP 估计器：对于 $\alpha \in [0, 1)$ 范围内的 $\theta$ 和 $\phi$ 参数，SNR 均按 $\sqrt{N}$ 缩放。
• 方差缩减：DREP 估计器的渐近方差严格低于 REP 估计器。在示例 2（线性高斯模型）中，对于 $\alpha \in (0, 1)$，DREP 的方差相比 REP 降低了 $\alpha^2/16$ 倍。

恶化区域结果

• $N$ 的阈值：本文确立了 $N$ 必须满足 $\log N \ll KL(\theta, \phi; x)$ 以避免权重坍缩。
• 优化轨迹：在高失配区域，将 $N$ 增加到 1 以上并不会像 $N=1$ 那样显著改变优化方向。梯度估计器的行为如同在优化 ELBO，这有利于驱动 KL 散度的降低。
• 两阶段训练：结果表明存在一种两阶段训练动态：
  1. 初始阶段（高失配）：$N=1$ 是最优的，以最大化梯度步数并快速降低 KL 散度。
  2. 最终阶段（低失配）：一旦变分近似足够接近后验分布，增加 $N$ 即可降低方差并改善收敛。

意义与主张

本文声称通过以下方式推进了对重要性加权 VI 的理解：

1. 形式化 DREP 优势：提供了首个严格证明，表明 DREP 估计器在重要性加权 VI 中优于 REP 估计器，具体通过在最优解处消除得分函数的方差贡献来实现。
2. 阐明 $\alpha$ 的作用：证明了 $\alpha$ 控制着偏差 - 方差权衡，解释了为何在实证中调整 $\alpha$ 能提升性能。
3. 连接训练阶段：统一了对 VI 行为的理解，从糟糕的初始化（高 KL）到收敛（低 KL）。本文认为，高失配区域中的“权重坍缩”现象并非失败，而是一种机制，它自然地将算法回退到鲁棒的 ELBO 基线，确保在变分族变得足够强大以支持更大的 $N$ 之前取得进展。
4. 方法论贡献：提供了一个分析样本均值比率的通用框架，该框架不仅适用于 VI，还适用于其他蒙特卡洛应用，例如大型语言模型的微调。

作者通过在 Gaussian 模型、Linear Gaussian 模型以及 MNIST 上的变分自编码器（VAE）进行的数值实验验证了这些理论发现，表明观测到的 SNR 趋势与推导出的渐近预测相一致。