技術要約：非有界な重み関数を持つ重要サンプリングおよび独立メトロポリス・ヘイスティングス法

1. 問題設定

モンテカルロ法、特に重要サンプリング（IS）および独立メトロポリス・ヘイスティングス法（IMH）は、標的分布 $\pi$ を近似するために提案分布 $q$ に依存する。極めて重要な構成要素は、重み関数 $\omega(x) = \pi(x)/q(x)$ である。理論的な解析では、$\omega$ が有界であることを仮定することが多いが、実用的なアプリケーションでは、しばしば非有界な重みが問題となる。

本論文は、非有界な重みに関する文献における主に2つのギャップに対処している：

1. バイアス解析： 自己正規化重要サンプリング（SNIS）およびIMH推定量の非漸近的バイアスは、漸近分散に比べて軽視されがちであるが、確率的勾配最適化、入れ子状の期待値（nested expectations）、およびロバストな平均推定などのダウンストリームのタスクにおいて、バイアスは大きな影響を与える。
2. 収束率： 非有界な重みを伴うIMHに関する既存の境界は、$N$（粒子IMH変数の場合）への明示的な依存関係を欠いているか、あるいは検証が困難な仮定に基づいている。

著者らは、$\omega$ が $q$ の下で $p > 1$ 次の有限モーメントを持つという仮定に基づき、有界性を仮定せずにこれらの推定量のバイアスを調査している。

2. 手法および理論的枠組み

2.1. モーメント条件

核となる仮定（仮定2）は、重み関数が提案分布の下で有限の $p$ 次モーメントを持つことである：$q(\omega^p) < \infty$（ただし $p > 1$）。これは、幾何学的エルゴード性解析でよく仮定される有界性よりも弱い条件である。

2.2. カップリングと遭遇時間（Meeting Times）

IMHの収束を解析するために、著者らは共通乱数カップリング（アルゴリズム4）を用いている。彼らは、このカップリングが**最大（maximal）**であること（定理3.1）、すなわち、2つのチェインが時刻 $t$ で出会う確率は、正確に $1 - |P^t(x, \cdot) - P^t(y, \cdot)|_{TV}$ に等しいことを示している。

• 遭遇時間 $\tau$ は、棄却確率を条件として幾何分布に従うことが示されている。
• 著者らは、平均重み $\hat{Z}_N$ の裾の確率に対して、明示的な多項式境界を導出している（命題4.3）。これは $\hat{Z}_N$ と結びついている。

2.3. カップリングによるバイアス除去

Glynn & Rhee (2014) および Middleton et al. (2019) の研究に基づき、本論文はラグ付きPIMHチェインのカップリング（アルゴリズム5）を利用して、不偏推定量（Coupling-UIS）を構築する。この推定量は、以下の望遠鏡和（telescopic sum）として定義される：
$$\hat{F}^u_N = \hat{F}_N(X^N_0) + \sum_{t=1}^{\tau-1} \{ \hat{F}_N(X^N_t) - \hat{F}_N(Y^N_{t-1}) \}$$
本論文では、効率を向上させるために、この推定量のラオ・ブラックウェライズ版（アルゴリズム6）を導入している。

3. 主な貢献と結果

3.1. 自己正規化重要サンプリング（SNIS）のバイアス

• 漸近的バイアス： 定理2.1は、SNIS推定量の漸近的バイアスが $O(N^{-1})$ のオーダーであることを確立している。具体的には：
  $$\lim_{N \to \infty} N \times E[\hat{F}_N - \pi(f)] = -\int (f(x) - \pi(x)) \omega^2(x) q(dx)$$
  この結果は、$\omega$ の逆モーメントの有限性と、$f$ に関する特定のモーメント条件を必要とする条件下で成立する。
• モーメント境界： 定理2.2および命題2.1は、非有界なテスト関数に対する誤差の $s$ 次モーメントの境界を提供し、以前の結果を $p < 2$（ヘビーテイルな重み）の場合へと拡張している。

3.2. IMHの収束率

• 多項式収束： 定理4.1および系4.1は、PIMHチェインと標的分布 $\bar{\pi}$ の間の全変動距離に関する明示的な境界を提供する。
  • $p \ge 2$ の場合、距離は $O(N^{-1/2} (1+t)^{-(p-1)})$ で減少する。
  • $1 < p < 2$ の場合、減少速度は $O(N^{-(p-1)/p} (1+t)^{-(p-1)})$ である。
• 最適性： 例3は、追加の仮定なしでは、レート $t^{-(p-1)}$ が本質的に最適（対数因子を除いて）であることを示す下限値を提供しており、これはモーメント条件が多項式収束のためにほぼ必要であることを示唆している。
• バイアス比較： セクション4.6では、IMHとSNISのバイアスを比較している。$p > 2$ の場合、IMH（バーンイン期間後）のバイアスは $O(N^{-(p-1)})$ で減少し、これはSNISの $O(N^{-1})$ のバイアスよりも速い。しかし、$p \le 2$ の場合、SNISの方が小さなバイアスを持つ可能性がある。

3.3. 不偏推定量（Coupling-UIS）

• 有限モーメント： 命題5.3は、不偏のCoupling-UIS推定量のモーメントが有限となる条件を確立している。具体的には、$p > 2$ かつ $r > 2$（$r$ は $f$ のモーメント）であれば、この推定量の分散は有限である。
• 漸近的効率性： 命題5.5および定理5.6は、非効率性（分散 $\times$ コスト）が、$N \to \infty$ においてSNISのそれと漸近的に等価であることを示している（ただし $p > 4$、または $1/Z$ のような特定のテスト関数の場合はより弱い条件が必要）。
• 改善： ラオ・ブラックウェライズされた推定量（アルゴリズム6）は、標準的なカップリング手法と比較して漸近的な非効率性を半分に削減し、$N \to \infty$ において2倍の効率を実現する。

3.4. 正規化定数の不偏推定

セクション5.6および命題5.7では、特に $1/Z$ （ここで $Z = q(\omega)$）の不偏推定について述べている。テスト関数を $f = 1/\omega$ と設定することで、著者らは、一般の $f$ に対して必要な条件 $p > 4$ を満たしていなくても、不偏推定量が有限モーメントを持ち、自然なSNIS推定量 $1/\hat{Z}_N$ と漸近的に等価になる条件を導出している。

4. 意義と応用

本論文は、$\omega$ が非有界な場合において、SNISは分散の観点で漸近的に効率的である一方、IMH（およびその不偏バリアント）は特定の領域において優れたバイアス特性を提供することを論じている。これにより、IMHはバイアスが有害となるタスクにおいて有力な選択肢となる。

著者らは、以下の3つの応用を通じてこれらの知見を実証している：

1. 逆正規化定数： Coupling-UISをMLMC-UISおよびTaylor-UISと比較している。結果は、Coupling-UISがSNISと同じ漸近的非効率性を達成しつつ、他の不偏手法よりも低い計算オーバーヘッドを持つことを示している。
2. 入れ子状の期待値（Nested Expectations）： 欠損データを含むベイズ推論の文脈において、内側の期待値に不偏推定量（Coupling-UIS）を使用することで、最適な予算配分が可能になり、標準的なモンテカルロ収束率（$O(C^{-1})$）を回復できることを示している。これに対し、バイアスのある推定量の場合は、より遅いレート（$O(C^{-2/3})$ または $O(C^{-4/5})$）に陥る。
3. ロバストな平均推定： 本論文は、Coupling-UISをMedian-of-Means (MoM) 推定量に適用している。MoMは、サブガウス集中不等式を保証するために不偏の入力を必要とするため、Coupling-UISの不偏性は、バイアスのあるSNISの入力に必要な理論的調整を行うことなく、直接MoMを適用することを可能にする。

5. 結論

本論文は、重み関数が非有界な場合のIMHおよび不偏ISの使用に関する厳密な理論的基礎を提供している。以下のことを確立している：

• IMHは、重みのモーメントによって決定される多項式的な速度で収束する。
• カップリングベースのデバイアス技術は、ISのバイアスを完全に除去しつつ、SNISと同等の漸近的効率性を維持できる。
• これらの不偏推定量は、バイアスが許容されない入れ子状の期待値やロバスト統計のようなダウンストリームのタスクにおいて特に価値がある。

本研究は、反復回数 $t$ と粒子数 $N$ の両方に対する明示的な依存関係を提供し、標準的なSNISと同じ条件下で実装可能な実用的なラオ・ブラックウェライズド・アルゴリズム（アルゴリズム6）を提示している点で、既存の研究と一線を画している。