技术摘要：重要性采样与具有无界权重函数的独立 Metropolis–Hastings 方法

1. 问题陈述

蒙特卡洛方法，特别是重要性采样（Importance Sampling, IS）和独立 Metropolis–Hastings（IMH），依赖于提议分布 $q$ 来近似目标分布 $\pi$。其中一个关键组成部分是权重函数 $\omega(x) = \pi(x)/q(x)$。虽然理论分析通常假设 $\omega$ 是有界的，但实际应用中经常涉及无界权重。

本文解决了文献中关于无界权重的两个主要空白：

1. 偏差分析（Bias Analysis）： 自归一化重要性采样（SNIS）和 IMH 估计器的非渐近偏差往往被忽略，取而代之的是渐近方差分析，但这种偏差会对下游任务产生显著影响，例如随机梯度优化、嵌套期望以及稳健均值估计。
2. 收敛速率（Convergence Rates）： 现有关于具有无界权重的 IMH 的界限往往缺乏对粒子数 $N$（在粒子 IMH 变体中）的显式依赖，或者依赖于难以验证的假设。

作者研究了在不假设权重有界的情况下这些估计器的偏差，转而依赖于 $\omega$ 在 $q$ 下具有 $p > 1$ 阶有限矩的假设。

2. 方法论与理论框架

2.1 矩条件

核心假设（假设 2）是权重函数在提议分布下具有有限的 $p$ 阶矩：$q(\omega^p) < \infty$，其中 $p > 1$。这比几何遍历性分析中通常假设的有界性是一个更弱的条件。

2.2 耦合与相遇时间

为了分析 IMH 的收敛性，作者采用了共同随机数耦合（Common Random Numbers Coupling，算法 4）。他们证明了这种耦合是最大化的（定理 3.1），这意味着两个链在时刻 $t$ 相遇的概率恰好等于 $1 - |P^t(x, \cdot) - P^t(y, \cdot)|_{TV}$。

• 相遇时间 $\tau$ 被证明在给定拒绝概率的条件下服从几何分布。
• 作者推导出了 $\tau$ 尾概率的显式多项式界限（命题 4.3），将其与平均权重 $\hat{Z}_N$ 的矩联系起来。

2.3 通过耦合消除偏差

基于 Glynn & Rhee (2014) 和 Middleton 等人 (2019) 的工作，本文利用滞后 PIMH 链的耦合（算法 5）来构建无偏估计器（Coupling-UIS）。该估计器被定义为一个级数和：
$$\hat{F}^u_N = \hat{F}_N(X^N_0) + \sum_{t=1}^{\tau-1} \{ \hat{F}_N(X^N_t) - \hat{F}_N(Y^N_{t-1}) \}$$
本文引入了该估计器的 Rao–Blackwellized 版本（算法 6）以提高效率。

3. 核心贡献与结果

3.1 自归一化重要性采样 (SNIS) 的偏差

• 渐近偏差： 定理 2.1 确定了 SNIS 估计器的渐近偏差阶数为 $O(N^{-1})$，具体为：
  $$\lim_{N \to \infty} N \times E[\hat{F}_N - \pi(f)] = -\int (f(x) - \pi(f)) \omega^2(x) q(dx)$$
  该结果在要求 $\omega$ 的逆矩有限且 $f$ 满足特定矩条件的条件下成立。
• 矩界限： 定理 2.2 和命题 2.1 提供了无界测试函数的 $s$ 阶矩误差界限，将之前的研究扩展到了 $p < 2$（重尾权重）的情况。

3.2 IMH 的收敛速率

• 多项式收敛： 定理 4.1 和推论 4.1 提供了 PIMH 链与目标分布 $\bar{\pi}$ 之间全变差距离的显式界限。
  • 对于 $p \ge 2$，距离按 $O(N^{-1/2} (1+t)^{-(p-1)})$ 衰减。
  • 对于 $1 < p < 2$，衰减为 $O(N^{-(p-1)/p} (1+t)^{-(p-1)})$。
• 最优性： 示例 3 提供了一个下界，表明在没有进一步假设的情况下，速率 $t^{-(p-1)}$ 本质上是优的（忽略对数因子），这表明矩条件几乎是多项式收敛所必需的。
• 偏差比较： 第 4.6 节比较了 IMH 和 SNIS 的偏差。对于 $p > 2$，IMH 的偏差（经过 burn-in 期后）衰减为 $O(N^{-(p-1)})$，这比 SNIS 的 $O(N^{-1})$ 偏差更快。然而，如果 $p \le 2$，SNIS 的偏差可能更小。

3.3 无偏估计器 (Coupling-UIS)

• 有限矩： 命题 5.3 确立了 Coupling-UIS 无偏估计器具有有限矩的条件。具体而言，如果 $p > 2$ 且 $r > 2$（其中 $r$ 是 $f$ 的矩），则该估计器具有有限方差。
• 渐近效率： 命题 5.5 和定理 5.6 表明，当 $p > 4$ 时（或对于特定测试函数如 $1/Z$ 满足稍弱的条件），无偏估计器的低效性（方差 $\times$ 代价）在渐近意义上与 SNIS 等价。
• 改进： Rao–Blackwellized 估计器（算法 6）相比标准耦合方法，将渐近低效性降低了一倍，使其在 $N \to \infty$ 时效率提高了两倍。

3.4 归一化常数的无偏估计

第 5.6 节和命题 5.7 特别讨论了 $1/Z$（其中 $Z = q(\omega)$）的无偏估计。通过设置测试函数 $f = 1/\omega$，作者推导出了在何种条件下无偏估计器具有有限矩，并能实现与自然 SNIS 估计器 $1/\hat{Z}_N$ 的渐近等价性，即使在 $p$ 不严格大于 4 的情况下（这是针对一般 $f$ 的条件）。

4. 意义与应用

本文认为，虽然 SNIS 在方差方面在渐近意义上更有效，但 IMH（及其无偏变体）在特定机制下提供了更优的偏差特性，使其成为处理偏差敏感型任务的可行替代方案。

作者通过三个应用阐述了这些发现：

1. 逆归一化常数： 将 Coupling-UIS 与 MLMC-UIS 和 Taylor-UIS 方法进行比较。结果显示，Coupling-UIS 达到了与 SNIS 相同的渐近低效性，但比其他无偏方法具有更低的计算开销。
2. 嵌套期望： 在带有缺失数据的贝叶斯推断背景下，本文展示了在内层期望中使用无偏估计器（Coupling-UIS）可以实现最优预算分配，从而恢复经典的蒙特卡洛收敛速率（$O(C^{-1})$），而有偏估计器则会导致较慢的速率（$O(C^{-2/3})$ 或 $O(C^{-4/5})$）。
3. 稳健均值估计： 本文将 Coupling-UIS 应用于中位数之均值（Median-of-Means, MoM）估计器。由于 MoM 需要无偏输入以保证亚高斯集中不等式的成立，Coupling-UIS 的无偏性质使得可以直接应用 MoM，而无需针对有偏 SNIS 输入进行理论调整。

5. 结论

本文为在权重函数无界时使用 IMH 和无偏 IS 提供了严谨的理论基础。它确立了：

• IMH 以由权重函数矩决定的多项式速率收敛。
• 基于耦合的去偏差技术可以完全消除 IS 的偏差，同时保持与 SNIS 相当的渐近效率。
• 这些无偏估计器对于嵌套期望和稳健统计等无法容忍偏差的下游任务特别有价值。

这项工作通过提供对迭代次数 $t$ 和粒子数 $N$ 的显式依赖关系，并提供了一种在与标准 SNIS 相同条件下即可实现的实用 Rao–Blackwellized 算法（算法 6），从而体现了其独特之处。