Self-Certifying Transport MCMC via Dual Spectral-Gap Certificates

技術要約：二重スペクトル・ギャップ証明による自己認証型輸送MCMC

1. 問題設定

マルコフ連鎖モンテカルロ法（MCMC）は依然としてベイズ計算の標準であるが、収束の検証は未解決の課題である。実務者は、パソロジー（病理的挙動）を検出することはできるものの、収束を厳密に証明することはできないヒューリスティックな診断法（$\hat{R}$、トレースプロット、有効サンプルサイズ推定値など）に依存している。スペクトル・ギャップの境界は理論的にはこのような証明を提供し得るが、未知のターゲット分布に依存する量（重要度の重みの振動など）を厳密に制御する必要があるため、実用的なケースは極めて稀であった。

この問題は、学習された適応型プロポーザル、特にIndependence Metropolis–Hastings（IMH）を用いた正規化流（normalising flows）の台頭によってさらに深刻化している。これらのフローは経験的な混合（mixing）を改善する一方で、遷移カーネル自体が学習された高次元のオブジェクトとなり、監査可能性を困難にしている。ここで扱われる中心的な問いは、**「学習されたプロポーザルは、それ自身の収束を証明できるか？」**である。

2. 手法：CerT-MCMC フレームワーク

著者らは、IMHプロポーザルとして使用される正規化フローそのものから導出される、自動的かつ厳密な収束証明を備えた学習型輸送MCMCのためのフレームワーク、CerT-MCMCを提案する。

中核メカニズム:
正規化フロー $T_\phi$ は、ガウス基準分布 $q_0$ をターゲット事後分布 $\pi$ の近似へと写像する。潜在空間 $z$ において、IMHの受理確率は重要度の重みの比 $w(z) = \pi_z(z)/q_0(z) = e^{r(z)}$ に依存する。ここで $r(z)$ は対数重みの残差である。もし $T_\phi$ が完璧であれば $r(z)$ は一定となるが、そうでなければ $r(z)$ の振動が輸送の質を測定することになる。Mengersen–Tweedieの定理によれば、IMHカーネルのスペクトル・ギャップ $\gamma$ は、$C = \text{osc}(r)$（プロポーザルのサポートにおける対数重みの振動）を用いて $2/(1 + e^C)$ によって下限が抑えられる。

本フレームワークは、この振動を束縛するために2つの補完的な証明を開発している：

証明 I：カバリング証明 (The Covering Certificate)

• アプローチ: 有限サンプルによるカバリング議論を用いて、プロポーザルの全サポートにわたる振動を束縛する。これは、サンプル点間の隙間を考慮するために、観測されたサンプルの範囲にリプシッツ補正項を加えるものである。
• スケーリング: 補正半径は $O(n^{-1/D})$ でスケールする。ここで $n$ は認証サンプル数、$D$ は次元数である。
• 限界: 次元の呪いにより、この証明は中程度の次元（$D \gtrsim 6$）において、実用的なサンプルサイズでは無意味（vacuous：有用な境界を与えない状態）となる。著者らは、点的な評価アルゴリズムは、全サポートの振動を $\Omega(n^{-1/D})$ よりも速く証明することはできないという下限を証明している。

証明 II：クオンタイル・コア証明 (The Quantile-Core Certificate)

• アプローチ: 学習されたフローにおいて、残差 $r(z)$ は高度に集中しており、全振動は稀な境界の外れ値によって駆動されるという認識に基づいている。この証明は、プロポーザルの中心的な $(1-2\rho)$ の質量を含む「データ定義の残差コア」$\tilde{G}_\rho$ に注目する。これは $r(z)$ の経験的クオンタイルによって定義される。
• スケーリング: クオンタイル推定における有限サンプルの確率的な遊び（slack）は、Dvoretzky–Kiefer–Wolfowitz不等式から導かれる $O(n^{-1/2})$ であり、これは周囲の次元 $D$ に依存しない。
• 結果: これにより、コアに制限されたIMHカーネルに対する、計算可能な高信頼度のスペクトル・ギャップ下限を提供する。制限された重みの正規化定数は正確に相殺されるため、Mengersen–Tweedieの定理を直接適用できる。

二重証明フレームワーク:
これら2つの証明は補完関係にある。証明 I は、実行可能な場合（$D \lesssim 5$）の全サポートにおける最悪のケースの保証を提供する。証明 II は、高確率のコアにおける次元に依存しない保証を提供し、証明できないテールの割合を正直に報告する。これらは共に、以下の診断分類を形成する：

1. 全証明成功 (Full certificate success): 両者が無意味ではない。
2. コア証明成功 (Core certificate success): 証明 II は無意味ではないが、証明 I は無意味である（フローは良好だが、カバリングの証明がボトルネックとなっている）。
3. 輸送の劣化 (Transport degradation): 証明 II は無意味ではないが、弱い（純粋なフローの質の低下）。
4. 輸送の失敗 (Transport failure): 証明 II が無意味である（劣悪なフロー）。

3. 主な貢献

1. CerT-MCMC フレームワーク: 学習型輸送MCMCに対し、プロポーザル・フロー自体を用いて自動的かつ次元を考慮した収束証明を提供するシステム。
2. カバリング証明 (I): カバリングの障壁を定式化し、点的な全サポートの証明における最悪のケース $\Omega(n^{-1/D})$ 下限を証明することで、高次元における別のアプローチの必要性を動機付けた。
3. クオンタイル・コア証明 (II): 経験的クオンタイルを用いて、高確率のコアにおける次元に依存しない証明（$O(n^{-1/2})$ の遊び）を開発した。
4. 実証的検証: 証明 II から得られるスペクトル・ギャップのプロキシが、ベイズ・ロジスティック回帰（$D=20$）において、実際の混合効率（有効サンプルサイズ）を7%以内の誤差で追跡することを実証した。
5. 識別力: 負のコントロール実験を通じて、証明 II が標準的な受理率（差異は1.15倍のみ）とは対照的に、フローの質を10倍以上の係数で識別できることを示した。

4. 実験結果

本フレームワークは以下の対象で評価された：

• 合成ターゲット: Bananaターゲット（$D=2$ から $20$）。証明 I は$D \ge 6$ で無意味となったが、証明 II は $D=10$ まで安定して無意味ではなく、フローの容量が低下した場合でも $D=20$ で非自明な境界を提供した。
• 構造工学事後分布: Sailboat（$D=6$）およびShear building（$D=8$）モデル。証明 I は両者において無意味であったが、証明 II は、フローが $D=6$ のターゲットよりも $D=8$ のターゲットをより良く学習していることを明らかにした。これは証明 I が見逃した区別である。
• 実データ・ロジスティック回帰: 心疾患データセット（$D=13$）。証明 II は強いスペクトル・ギャップ（$\gamma \approx 0.64$）をもたらしたが、証明 I は依然として弱かった。
• 負のコントロール: Bananaターゲット（$D=10$）における、十分に学習されたフロー、学習不足のフロー、および誤設定されたフローの比較。証明 II は、受理率が似通っているにもかかわらず、劣悪なフロー（低い $\gamma$）を特定することに成功した。

5. 意義と主張

本論文は、学習型輸送MCMCのための、自動的かつ次元を考慮した収束証明を提供する初の二重証明フレームワークであると主張している。その主要な意義は以下の通りである：

• 監査可能なベイズ計算: 学習型輸送を、「ブラックボックス型の加速器」から、プロポーズを行うマップ自体が残差の幾何学を露呈させ、収束の証明を行う「監査可能なオブジェクト」へと変貌させた。
• 失敗モードの区別: 「証明手法の限界」（高次元におけるカバリングの障壁）と「純粋な輸送の失敗」を明確に分離した。標準的な診断法はこの区別ができない。
• 実用的有用性: 中程度の次元の問題に対して、経験的な混合効率を追跡する、計算可能なスペクトル・ギャップの下限を提供し、ヒューリスティックな診断に代わる厳密な選択肢を提示した。

著者らは、限界についても謙虚な姿勢を保っている。証明は全連鎖ではなくコアに制限されたカーネルに適用されること（ただし、コアは質量の大部分を占める）、およびフレームワークが現在はIndependence Metropolis–Hastingsに特化していることを述べている。また、非常に高次元な実データのターゲット（$D \ge 30$）の場合、フローが幾何学を効果的に近似できるようになる前に、標準的な前処理が必要になる場合があることも指摘している。