Local and Global Contraction Principles for MCMC Mixing

技術要約：MCMCの混合に関する局所的および大域的収縮原理

問題提起
本論文は、マルコフ連鎖モンテカルロ（MCMC）アルゴリズムの混合時間に関する定量的な分析を扱う。具体的には、マルコフ連鎖の分布がその定常分布（またはその制御された近似）にどの程度の速さで収束するかについて、厳密な境界を確立することを目指している。著者らは、標準的な収束解析が限界に直面する、以下の2つの異なるアルゴリズム設定に焦点を当てている：

1. 投影ランジュバン・モンテカルロ（P-LMC）： コンパクトな凸領域上で動作し、非凸な滑らかなポテンシャルを持つ可能性があるアルゴリズム。
2. 独立メトロポリス・ヘイスティングス（IMH）： 重要度重み $w = d\pi/dq$（ターゲットと提案分布の比）が非有界となり、大域的な収縮議論が自明（無意味）になってしまうアルゴリズム。

中心となる課題は、広範なダイバージェンス（全変動距離を超えたもの）に対して適用可能であり、かつ非凸性や重い裾を持つ重要度重みに頑健な、明示的な収束保証を提供することである。

手法
著者らは、$\gamma \ge 1$ における $E_\gamma$-ダイバージェンス（ホッケースティック・ダイバージェンスとしても知られる）に適用される 強データ処理不等式（SDPI） に基づくフレームワークを開発している。$E_\gamma$-ダイバージェンスは、$E_\gamma(\mu\|\nu) = \sup_{A} \{\mu(A) - \gamma\nu(A)\}$ と定義される。

核となる理論的洞察は、$E_\gamma$-ダイバージェンスが「マスター」ダイバージェンスとして機能することである。積分表示（論文内の式2）を通じて、$E_\gamma(\mu\|\nu)$ と $E_\gamma(\nu\|\mu)$ のフルプロファイルを制御することで、広範なクラスの $f$-ダイバージェンス（KL、$\chi^2$、レニー・ダイバージェンスを含む）およびレニー・ダイバージェンスの収束境界を導出することが可能となる。

著者らは、特定のアルゴリズムの幾何学に合わせた2つの異なる収縮戦略を採用している：

1. 大域的収縮（Global Contraction）： P-LMCに対して、著者らは遷移カーネルをドリフトステップ、ガウス平滑化ステップ、および投影へと分解する。彼らは、コンパクト集合上でのガウス平滑化が、$E_\gamma$-ダイバージェンスにおいて厳密な大域的収縮を誘発するという事実を利用する。
2. 局所的収縮（Local Contraction）： 重みが非有界なIMHに対して、大域的収縮は失敗する（なぜなら、連鎖が確率1に近い確率で提案を拒絶するためである）。著者らは、「コア」集合 $C_R = \{w \le R\}$ 上で定義された局所的収縮係数を導入する。彼らは、この局所的係数がコアにおける点ごとの拒絶確率を制御し、コアの外側における誤差は裾のプロファイル $H_R = \pi(w > R)$ によって支配されることを証明する。

主要な貢献と結果

1. 投影ランジュバン・モンテカルロ（P-LMC）のための大域的SDPI

• 非凸性の取り扱い： 著者らは、コンパクト凸集合上の滑らかなポテンシャルに対して、P-LMCが $E_\gamma$-ダイバージェンスにおいて指数関数的な収束を示すことを証明した。決定的なのは、この結果はポテンシャルの凸性を必要としない点である。
• 明示的な係数： 収縮係数は、ガウス平滑化が行われる前、すなわちドリフトステップ後の集合の直径に基づいて明示的に導出される。収束率は、この直径とノイズスケール $\sqrt{\eta}$ の比に依存する。
• 任意のバッチ処理： 本フレームワークは、任意のランダムバッチサンプリングスキーム（例：ポアソンサンプリング、非復元抽出）に対応している。収束率は、バッチ固有の収縮係数の平均として表現され、バッチごとの滑らかさが変化する場合でも、最悪ケースの滑らかさの仮定よりも鋭い境界を提供する。
• ダイバージェンスの転送： 前方および逆方向の $E_\gamma$ プロファイルを制御することにより、著者らはKL、$\chi^2$、およびレニー・ダイバージェンスに対する明示的な収束境界を導出する。

2. 独立メトロポリス・ヘイスティングス（IMH）のための局所的SDPI

• 局所的係数の定義： コア $C_R = \{w \le R\}$ に対して、著者らは局所的なホッケースティック収縮係数 $\rho_\alpha(R)$ を定義する。非原子的な提案分布の下では、この係数が $x \in C_R$ における拒絶確率 $r(x)$ を直接的に上界で抑えることを証明している。
• 裾適応型境界： 収束境界は、裾のプロファイル $H_R = \pi(w > R)$ と局所的収縮率を用いて定式化される。境界は以下の形式をとる：
  $$E_\gamma(\mu_k\|\pi) \lesssim (L+1) \left[ e^{-k H_R/R} + H_R \right]$$
  ここで $L$ はウォームスタート定数である。
• 重い裾のレジーム： 有限モーメントの仮定（$E_q[w^p] < \infty$）に依存する従来の理論とは異なり、この定式化は $p > 1$ の有限モーメントが存在しない場合でも有効である。著者らは、$E_q[w^p] = \infty$ （すべての $p > 1$ に対して）となる例を用い、彼らの裾プロファイルによる境界が（緩やかではあるものの）明示的な収束率を与えることを示している。
• 既存のレートの回収： ウォームスタートの仮定と有限モーメント条件の下では、導出された境界は先行研究（例：[DJKW24]）で確立された鋭い多項式レートを回収する。

意義と主張
本論文は、$E_\gamma$-ダイバージェンスと収縮原理の観点から、MCMCの混合に関する統一的な構造的視点を提供することを主張している。

• P-LMCに対して： なぜ大域的収縮がコンパクトな領域で機能するのかについて、「クリーンな説明」を提供している。すなわち、ノイズ前の像が有界な直径を持つとき、ガウス平滑化ステップがホキックスティック・プロファイルを収縮させるためである。これにより、従来の鋭い混合時間解析（多くの場合、凸設定に限定されていた）が失敗していた非凸ポテンシャルに対する収束保証が可能となった。
• IMHに対して： 解析を、大域的な一様エルゴード性（重みが非有界な場合に失敗する）から、局所的収縮フレームワークへとシフトさせている。このアプローチは、高確率なコアにおける混合挙動と裾の挙動を分離しており、重い裾を持つ重要度重みを持つアルゴリズムを分析するための、より柔軟で適応的なツールを提供する。
• 方法論的な利点： $E_\gamma$-ダイバージェンスを使用することで、著者らは、個別のTV、KL、または $\chi^2$ 距離の収束を証明するのではなく、広範なクラスの $f$-ダイバージェンスの収束を暗示する単一の「フルプロファイル」の境界を証明することができる。

著者らは、最適性に関して謙虚な姿勢を維持している。具体的には、彼らの1ステップの収縮係数は特定の非凸ポテンシャルに対してタイトであるが、マルチステップの境界については、単一の最悪ケースの係数を線形に適用するのではなく、ダイバージェンスのレベルを追跡する非線形SDPIプロファイルを分析することで改善できる可能性があると述べている。また、より複雑なカーネル（MALAなど）に対してこの視点を拡張することが、今後の研究の方向性であると特定している。