Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

技術要約：PDEに支配されたベイズ逆問題におけるハイパーパラメータ・マージナリゼーションのための償却低ランク近似

問題設定
本論文は、パラメータ・to・観測写像が線形偏微分方程式（PDE）によって支配される階層的ベイズ逆問題における計算上の課題に対処する。このような設定では、パラメータ場 $m$（例：初期条件または空間係数）は高次元または無限次元であるが、ハイパーパラメータ $\theta$（例：事前分布の相関長やノイズ分散）は中程度の次元である。

固定された $\theta$ に対して条件付き事後分布 $P(m|\theta, y)$ はガウス分布となるが、主要な目的はしばしばハイパーパラメータ自体を推論すること、あるいはパラメータ $m$ の事後分布を得るためにそれらを周辺化（marginalize）することである。これには、ハイパーパラメータの周辺密度 $P(\theta|y)$ の反復的な評価が必要となる。PDEに支配された問題において、$P(\theta|y)$ を直接評価することは、以下の理由により計算コストが極めて高い：

1. 各 $\theta$ に対して $m$ の最大事後確率（MAP）推定値を求めるための求解。
2. 事前分布および事後分布の精度行列の行列式の比の計算。

両方のステップは、フォワード演算子 $A$ およびその随伴演算子 $A^\sharp$ の反復的な適用を伴う高価な操作である。既存の低ランク近似手法（例：事前分布による事前条件付け（PP）精度更新）は、固定された事前分布に対しては効率的であるが、事前分布の精度 $Q_{pr}$ が $\theta$ に非線形に依存する場合（例：相関長スケールを介する場合）、階層的な設定では非効率となる。このような場合、PP法は $\theta$ の評価ごとに低ランク近似を再計算する必要があり、償却（amortization）の利点が打ち消されてしまう。

手法
著者らは、$\pi(\theta|y)$ の複数回の評価にわたって低ランク近似の計算コストを「償却」するフレームワークを提案している。核心となるアイデアは、$\theta$ に依存する事前分布の事前条件付け演算子を、$\theta$ に依存しない固定された参照事前条件付け演算子に置き換えることである。これにより、高価な低ランク分解を一度だけ（オフラインで）計算することが可能となり、オンラインでの繰り返し計算を回避できる。

本論文では、この償却フレームワークにおける2つの具体的なバリアントを導入し、分析している：

1. 最弱事前分布事前条件付け（WP）近似:

   • この手法は、ハイパー事前分布のサポート内で、真の事前分布精度 $Q_{pr}(\theta)$ よりも「弱い」（すなわち固有値が小さい）参照事前分布精度 $\hat{Q}_{pr}$ を選択する。
   • 数学的には、$\hat{R}^\top \hat{R} \preceq R^\top R$（ここで $Q_{pr} = \delta^2 R^\sharp R$）を要求する。
   • $\hat{Q}_{pr}$ によって事前条件付けされた更新の低ランク近似が一度だけ計算される。特定の $\theta$ に対しては、実際の $Q_{pr}(\theta)$ を用いてこの固定された基底を再重み付けすることで、事後精度が近似される。
   • 著者らは、参照事前条件付けされた更新の固有値とハイパーパラメータの最小値によって、切断誤差が制御されることを示す理論的誤差界（定理4.1）を提示している。

2. 無条件付け（UP）近似:

   • これは、参照事前分布を単位行列（またはその離散的な等価物）として選択し、事前分布による事前条件付けを事実上排除したWPの限定的なケースである。
   • この手法は収束のために高いランクを必要とする可能性があるが、特定の「最弱」事前分布を定義する必要がなく、オフライン段階での事前分布精度との演算を回避できる。

両手法は、低ランク基底を計算するために一般化固有値問題に依拠している。本フレームワークは、フォワード演算子 $A$ およびノイズ精度が $\theta$ に依存しない（または乗法的にのみ依存する）ことを前提としており、事前分布の精度が $\theta$ に依存して複雑かつ非線形に変化する場合を想定している。

主な貢献

• 償却フレームワーク: 本論文は、最新の低ランク近似技術を、非線形な事前分布ハイパーパラメータを持つ階層的問題へと拡張する。基底計算を特定のハイパーパラメータの値からデカップリングすることで、本手法は $N$ 回の評価に伴う $O(N \cdot r)$ のコストを回避する。
• 理論的保証: 著者らは、WP法に関する厳密な切断誤差の上限を確立している。これらの境界は、参照事前条件付けされた更新の固有値減衰とハイパーパラメータの範囲に基づいて、切断ランク $r$ の選択を導く。
• 複雑性分析: 詳細な計算複雑性の比較（表4.1）により、与えられた精度に対してWPおよびUPが直接的なPP法よりも高いランクを必要とする可能性があるものの、周辺密度の評価を多く必要とする問題において、オンラインフェーズでの繰り返しのPDE求解の排除が大幅な高速化をもたらすことが示されている。
• 決定論的求積法: MCMCベースのアプローチとは異り、この完全な決定論的フレームワークは、ハイパーパラメータ空間に対する効率的な求積法による積分を可能にする。これは、単一の点推定に依存する経験ベイズ推定に対する改善となる。

数値結果
提案手法は、2Dおよび3D空間領域における移流拡散初期条件逆問題を用いて評価された。

• 2D問題: 約4,500要素と32の空間センサーを持つメッシュを使用し、WPおよびUP手法は、100回の周辺密度評価に対して直接的なPP法と比較して約11倍から19倍の高速化を達成した。
• 3D問題: 約35,000要素と51のセンサーを使用するメッシュを用いた場合、計算上の優位性はさらに顕著となった。直接的なPP法は100回の評価に推定で約65時間を要したのに対し、WPおよびUPはそれぞれ約2時間および約3時間を要した。これは30〜45倍の高速化に相当する。
• 誤差分析: 数値実験により、対数行列式項（$e_1$）の誤差が、テストされたランクにおける事後平均近似（$e_2$）の誤差を一般に支配していることが確認された。その結果、低ランク近似単独でも（反復解法（共役勾配法など）を用いて平均を精緻化する必要なく）十分であることが多く、これがさらなる高速化に寄与した。
• 周辺化: 本フレームワークは、$\pi(\theta|y)$ の償却された評価とガウス求積を組み合わせることで、関心対象（QoI）の周辺分布を正常に計算し、ハイパーパラメータの不確実性を捉えてパラメータ推定へと伝播できることを示した。

意義と主張
本論文は、基底の最適性（$\theta$ に依存しない事前条件付けを使用することによる）を犠牲にすることは、フォワード問題が高価であり、周辺密度の評価を多く必要とする場合には非常に有利なトレードオフであると主張している。提案手法は、非線形な事前分布ハイパーパラメータ（相関長など）を持つ階層的ベイズ逆問題を、MCMCサンプリングや線形なハイパーパラメータ依存性に関する制約的な仮定に頼ることなく、効率的に解くことを可能にする。

著者らは、現在の手法が線形フォワード演算子およびフォワードマップ $A$ 自体に依存しないハイパーパラメータに限定されていることを指摘している。今後の課題として、サロゲートモデル技術を統合することで $A$ が $\theta$ に依存する問題へ拡張することや、近似的なINLA（Integrated Nested Laplace Approximation）と同様に、線形化とラプラス近似を通じて非ガウス設定へ拡張することを挙げている。しかし、現在の貢献は、線形ガウス条件付き設定と非線形事前分布ハイパーパラメータに厳密に焦点を当てたものである。