Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models

技術的サマリー：潜在ガウスモデルにおけるベイズ推論のための修正統合ラプラス近似

問題定義

潜在ガウスモデル（LGM）は、ガウス過程、空間モデル、混合効果モデルなどを含む、ベイズ階層モデルの普遍的なクラスである。これらは、$\pi(\theta, z, y) = \pi(\theta)\pi(z|\theta)\pi(y|\theta, z)$ という結合密度で定義され、ここで $\theta$ はハイパーパラメータ、$z$ は潜在ガウス変数、$y$ は観測値を表す。

LGM におけるベイズ推論の主な課題は、$z$ の高次元性と、結合事後分布 $\pi(\theta, z|y)$ の複雑な幾何学構造であり、これらは効率的なサンプリングを妨げることが多い。一般的な戦略は、$z$ を周辺化して低次元のターゲットである $\pi(\theta|y)$ を推論することである。尤度 $\pi(y|\theta, z)$ がガウス分布でない場合、正確な周辺化は扱いにくい。標準的なアプローチである統合ネストラプラス近似（INLA）は、モード $\hat{z}$ を中心としたガウス分布として条件付き事後分布 $\pi(z|\theta, y)$ を近似するために、ラプラス近似を用いる。

効率的ではあるが、この近似は体系的な「事後誤差」を導入する。尤度がガウス分布でない場合、近似周辺事後分布 $\hat{\pi}(\theta|y)$ は、漸近的であっても真の事後分布 $\pi(\theta|y)$ と異なる。ADLA（Adjoint-Differentiated Laplace Approximation）のような既存の手法は、この近似事後分布上で勾配ベースのサンプリング（例えば、ハミルトニアンモンテカルロ）を可能にするが、ラプラス近似によって導入される根本的なバイアスを修正するものではない。完全な結合事後分布 $\pi(\theta, z|y)$ 上で MCMC を実行することは漸近的に正確であるが、$z$ の高次元性により、計算的に実行不可能であることが多い。

手法

著者らは、周辺化の計算上の利点を維持しつつ、ラプラス近似によって導入された誤差を修正するための重要度サンプリング枠組みを提案する。核心的な洞察は、統合ラプラス近似を単一サンプルを持つ重要度サンプリング推定量として再定式化できるという点である。サンプル数を増やすことで、この推定量は真の周辺分布に収束する。

本論文は、このアイデアの 3 つの具体的な実装を詳述しており、これらはすべて勾配ベースの推論をサポートするために自動微分フレームワーク（JAX）に統合されている。

1. 疑似周辺 ADLA（PM-ADLA）:

   • メカニズム: このアプローチは、パラメータ $\theta$ と、ラプラス近似からサンプル $z_i$ を生成するために使用される補助ランダム変数 $\epsilon$ 上の拡張分布をターゲットとする。具体的には、$z_i = \hat{z} + \sqrt{\Sigma}\epsilon_i$ であり、ここで $\epsilon_i \sim \mathcal{N}(0, I)$ である。
   • 特性: これは周辺尤度の不偏推定量を提供する。サンプル数 $n \to \infty$ として、事後分布は正しいものへ収束する。
   • トレードオフ: 推論問題の次元を $(n-1)d_z$（$d_z$ は $z$ の次元）だけ増加させ、HMC ステップあたり $n$ 回の密度評価を必要とする。

2. 準モンテカルロ ADLA（QMC-ADLA）:

   • メカニズム: ランダムな補助変数の代わりに、この手法はソボル系列などの低不一致列（LDS）を用いてランダム性を固定する。補助変数 $u_i$ は単位立方体内の固定点であり、$z_i$ は逆 CDF 変換を通じて生成される。
   • 特性: 適切な条件下で、重要度サンプリングの推定分散を $O(n^{-2})$ に減少させ、標準的なモンテカルロよりも速い収束を提供する。低次元のパラメータ空間を維持する（ADLA と同じ）。
   • トレードオフ: 漸近的に正確であるが、論文は有限の $n$ においてはバイアスが顕著に残り得ると指摘しており、点の固定された性質により、中程度の $n$ でも実際には大きな誤差が生じる可能性がある。

3. ランダム化準モンテカルロ ADLA（RQMC-ADLA）:

   • メカニズム: これは前述の 2 つのアプローチを統合する。固定された LDS に適用される単一のランダムシフト変数 $U$ を用いて、補助変数 $u_i = (v_i + U) \pmod 1$ を生成する。
   • 特性: 周辺尤度の不偏推定量を提供し、モデル次元を増加させない（補助変数 $U$ は $z$ と同じ次元を持つが、サンプル間で共有される）。
   • トレードオフ: モジュロ演算は $U$ に対するターゲット密度に不連続性を導入するため、標準的な HMC は適用できない。著者らはメトロポリス・ウィズイン・ギブス（MwG）サンプリングを提案する：HMC で $U$ に条件付けられた $\theta$ を更新し、メトロポリス・ヘイスティングスステップで $\theta$ に条件付けられた $U$ を更新する。

潜在変数の回復:
論文はまた、標準的なラプラス近似よりも真の事後分布 $\pi(z|\theta, y)$ に近い潜在変数 $z$ のサンプルを回復する手法についても記述している。$n$ 個のサンプル $z_1, \dots, z_n$ に対して重要度重みを計算することで、真の条件付き事後分布の離散近似を構築でき、これにより潜在変数の推論も実質的に修正される。

主要な貢献

• 理論的再定式化: 著者らは、統合ラプラス近似が 1 サンプルを持つ重要度サンプリング推定量の特定のケースであることを実証する。この枠組みにおいてサンプル数を増やすことが、漸近的に正確な事後分布をもたらすことを証明する。
• アルゴリズム的バリエーション: 計算効率、次元性、漸近的正確性のバランスを取る 3 つの異なるアルゴリズム（PM-ADLA、QMC-ADLA、RQMC-ADLA）を提案し、実装する。
• 勾配計算: この作業は、これらの重要度サンプリング推定量の勾配を計算するために ADLA 枠組みを拡張し、ハミルトニアンモンテカルロ（HMC）や他の勾配ベースのサンプリング手法の使用を可能にする。
• 潜在変数の回復: 周辺推論中に導出された重要度重みを用いて、潜在変数 $z$ の改善された事後サンプルを取得する手順を提供する。

実験結果

これらの手法は、ポアソン尤度を持つ合成ガウス過程、実データ上の疎なカーネル相互作用モデル（SKIM）、および混合効果モデル（Epil2 データセット）で評価された。

• 誤差低減: すべての実験において、提案された手法（PM、QMC、RQMC）は、標準的な ADLA と比較してパラメータ平均の推定誤差を大幅に減少させた。
• 収束性:
  • PM-ADLA: 事後誤差を効果的に修正したが、次元の増加と複数の密度評価により計算速度が遅かった。
  • QMC-ADLA: 分散を減少させたが、SKIM における特定のパラメータの平均推定など、いくつかのケースでは大きな $n$ でも持続的なバイアスを示した。
  • RQMC-ADLA: バランスを達成し、ADLA のバイアスを修正するとともに、誤差の面で標準的な HMC と同等の性能を達成したが、ギブスサンプリングステップにより反復あたりの計算コストが高かった。
• 発散: 完全な事後分布上の標準的な HMC が発散遷移（悪い幾何学構造を示す）に苦しんだモデルにおいて、すべての周辺化手法（ADLA および提案された修正を含む）が発散を排除し、近似周辺幾何学が良好であることを示した。
• 効率性: ADLA は最も速かったが、バイアスに苦しんだ。提案された手法は調整可能なトレードオフを提供した：$n$ を増加させることで計算時間の犠牲を伴いながらバイアスを減少させる。

意義と主張

本論文は、周辺化のスケーラビリティを維持しつつ、正確性の漸近的保証を提供する、統合ラプラス近似の「修正された」バージョンを提供すると主張する。その意義は、近似手法（INLA/ADLA など）の効率性と、正確な MCMC の精度との間のギャップを埋める点にある。

著者らは、これらの手法により、ユーザーはラプラス近似の精度制限に制約されることなく、確率プログラミング言語の柔軟性（自動微分を通じて）を活用できることを強調している。彼らは、モデル次元を増加させることなく事後誤差を修正する RQMC-ADLA を特に有望なアプローチとして位置づけており、不連続性を処理するためのより複雑なサンプリング手法（MwG）を伴うものの、多くのアプリケーションにおいて、これらの修正の計算コストは事後バイアスの減少によって正当化され、より信頼性の高い下流アプリケーションを可能にすると示唆している。