Efficient sampling approaches based on generalized Golub-Kahan methods for large-scale hierarchical Bayesian inverse problems

技術的サマリー：大規模階層ベイズ逆問題に対する一般化 Golub-Kahan 法に基づく効率的なサンプリング手法

問題定義
大規模逆問題の不確実性定量化（UQ）は、特に階層ベイズ枠組みにおいて、依然として重要な計算上の課題である。加法性ガウスノイズとガウス事前分布を有する線形逆問題では、事後分布はガウス分布となる。しかし、未知パラメータの数が非常に大きい場合（例えば、動的逆問題における数百万）、または事前共分散行列の平方根および逆行列の計算が計算的に不可能な場合、その分布からのサンプリングは実行不可能となる。事前モデルとノイズモデルを定義するハイパーパラメータをデータから推定しなければならない階層設定においては、この課題はさらに深刻化する。これらの場合、結合事後分布は非ガウス分布となり、ブロック・ギブスサンプリングなどの標準的なマルコフ連鎖モンテカルロ（MCMC）法は深刻なボトルネックに直面する。具体的には、条件付きガウス分布からのサンプリングには、各反復で大規模な線形連立方程式を解くか、稠密な共分散行列を因数分解する必要があるが、これは前方演算子が関数評価のみを通じてアクセスされる大規模問題ではしばしば実行不可能である。

手法
著者らは、これらの計算上の障壁に対処するために、ギブスサンプリングとメトロポリス・ヘイスティングス（MH）独立サンプリングを組み合わせた枠組みを提案する。中核的な革新は、効率的な提案分布を構築するために一般化 Golub-Kahan（genGK）二重対角化法を使用することにある。

1. 階層枠組み: 本問題は、未知パラメータ $x$、ノイズ精度 $\lambda$、事前精度 $\delta$ を用いて定式化される。$\lambda$ と $\delta$ の両方は、ガンマ型ハイパー事前分布を持つ確率変数として扱われる。結合事後分布は非ガウス分布であるため、MCMC が必要となる。
2. MH 独立サンプリング付きギブス法: 条件付き分布 $\pi(x | b, \lambda, \delta)$ から直接サンプリングする（これには高価な線形連立方程式の解が必要となる）のではなく、著者らはギブスサンプリング内で MH ステップを採用する。提案 $x^*$ は、ターゲット条件付き分布を近似する分布 $g(x)$ から引き出され、サンプルは確率 $\min(1, \rho)$ で受理される。
3. 一般化 Golub-Kahan 近似: 提案分布は、事前共分散行列 $Q$ の明示的な因数分解や逆行列の計算を必要とせずに Krylov 部分空間を生成する genGK 二重対角化法を用いて構築される。これは、$Q$ が非構造化グリッド上の複雑なカーネル（例：Matérn カーネル）によって定義される問題において重要である。
   • 提案 1（低ランク共分散近似）: この手法は、genGK 行列を用いて条件付き共分散行列 $\Gamma_{cond}$ の低ランク近似を形成する。提案分布は、genGK 解 $x_k$ を中心とし、近似共分散 $\hat{\Gamma}_{cond}$ を持つガウス分布である。重要な特徴として、genGK 行列（$V_k, B_k$）はハイパーパラメータ $\lambda$ と $\delta$ に依存しないため、MCMC 反復全体で再利用可能である。
   • 提案 2（前処理 Lanczos）: 低ランク近似が不十分な場合（例：スペクトルが緩やかに減衰する場合）、著者らは前処理 Lanczos 反復に基づく手法を提案する。この手法は、サンプルを生成するために条件付き共分散行列の平方根を近似し、$GG^\top \approx F^{-1}$ となるような前処理行列 $G$ を利用する。

主要な貢献

• MCMC における genGK の新規統合: 本論文は、階層ベイズ逆問題におけるギブスサンプリング内の独立提案分布を定義するために、genGK 二重対角化法を具体的に使用することを導入する。著者らの知る限り、この特定の応用は以前に検討されたことがない。
• ハイパーパラメータからの独立性: 本手法は、一般化 Krylov 部分空間のシフト不変性を利用する。genGK 過程によって生成される基底ベクトルは、ハイパーパラメータ $\lambda$ と $\delta$ に依存しない。これにより、計算的に高価な部分空間の構築を一度（または頻繁でない頻度で）実行し、MCMC 連鎖全体で再利用することが可能となり、反復ごとのコストを大幅に削減する。
• 複雑な事前分布の行列フリー処理: このアプローチは、$Q^{-1}$ またはその平方根の明示的な計算を避け、代わりに $Q$ との行列 - ベクトル積に依存する。これにより、大気および地球物理モデリングで一般的でありながら、明示的な行列アクセスを必要とする標準的な低ランク手法（ランダム化 SVD など）では扱いが困難な、共分散カーネルによって定義される一般的な滑らかさの事前分布の処理が可能となる。
• 明示的な受理率の式: 著者らは、両方の提案戦略に対する受理比の明示的な式を導出し、生成されるマルコフ連鎖の理論的妥当性を保証する。

数値結果
提案された手法の有効性は、3 つの大規模応用を通じて実証される。

1. 地震トモグラフィ: 中規模問題（$n \approx 1,296$）を用いて、genGK 手法を切断 SVD（tSVD）およびランダム化 SVD（rSVD）と比較する。結果、genGK は高ランク（$k=1,000$ で 98% まで）の受理率を達成し、有効サンプルサイズ（ESS）も rSVD と同等かそれ以上であり、計算実行時間は著しく短いことが示された。
2. 大気逆モデリング: 温室効果ガスフラックスをモデル化する大規模問題（$n \approx 3,222$）。前方モデルは複雑であり、既存の手法との比較は不可能である。genGK 手法は 86% の受理率を生み出し、良好な収束（Gelman-Rubin 統計量 $\approx 1.001$）と平衡状態（Geweke 検定 p 値 $> 0.9$）を示した。
3. 動的光音響トモグラフィ: 高度に未決定な時空間問題（$n \approx 81,920$）。高次元性および共分散を正確に近似するために非常に大きなランクが必要となるため、低ランク提案（提案 1）では不十分であった。前処理 Lanczos 法（提案 2）が成功裡に適用され、100% の受理率を達成し、高い ESS を持つ非相関連鎖を生成した。

意義と主張
本論文は、反復的な線形連立方程式の解のコストにより標準的な MCMC 法が失敗する大規模階層ベイズ逆問題において、UQ を実行するための計算上便利かつ効率的なアプローチを提供すると主張する。genGK 部分空間がハイパーパラメータから独立していることを利用することで、本手法は階層サンプリングの主要なボトルネックを克服する。著者らは、数百万の未知数と複雑な事前構造を伴う問題において、従来の因数分解ベースのアプローチが実行不可能である場合、自らの研究を必要な進展として位置づけている。ギブス法およびギブス内 MH 法には既知の欠点（例：潜在的な混合の悪さ）があることを認めつつも、この特定の階層的大規模問題クラスに対しては代替手段がほとんど存在しないとしている。記述されたアプローチは、計算効率とベイズ不確実性定量化の厳密な要件とのバランスを取る実用的な解決策を提供する。今後の研究として、強い相関を持つシナリオの検討や、より高度な収束診断の組み込みが提案されている。