Data-informed posterior approximation for Bayesian linear inverse problems

技術的サマリー：ベイズ線形逆問題のためのデータ駆動型事後近似

問題の定義
本論文は、$y = Gx + \eta$ と定式化される大規模なベイズ線形逆問題に内在する計算上の課題に取り組む。ここで、$x \in \mathbb{R}^n$ は未知パラメータ、$y \in \mathbb{R}^m$ は観測データ、$\eta$ はガウスノイズである。主な困難は、パラメータ次元 $n$ が極めて大きい（$n \gg m$）場合に生じ、事後分布の平均と共分散の直接計算が非現実的となることにある。具体的には、行列 $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$（ここで $\Sigma$ は事前共分散、$\lambda$ はハイパーパラメータ）の逆行列計算が計算量的に不可能である。既存の次元削減手法、例えばカルーアン・ロベ展開や尤度情報部分空間（LIS）に基づく手法は、事前共分散の明示的な因数分解に依存するか、あるいは完全に高次元パラメータ空間内で動作するため、前方演算子と観測データとの相互作用を十分に活用できていない。さらに、ハイパーパラメータ $\lambda$ の選択は、通常、パラメータ空間内での反復的な大規模計算を必要とする。

手法
著者らは、計算の焦点をパラメータ空間からデータ空間へ移行させる枠組みを提案する。この手法の中核は以下の構成要素からなる。

1. データ空間幾何学枠組み:
   論文は、商ヒルベルト空間 $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$ を定義する。ここで $M = G\Sigma G^\top$ であり、$\mathcal{N}(M)$ はその核空間である。この空間には内積 $\langle [u], [v] \rangle_M = u^\top M v$ が与えられている。著者らは、このデータ空間からパラメータ空間 $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$ への等長埋め込み $\iota$ を確立する。事前分布から事後分布への更新が、この埋め込みの像 $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$ に完全に制限されることを証明する。この像の次元は $\text{rank}(G)$ に等しい。これは、事後分布の情報的方向が本質的に低次元であり、周囲のパラメータ次元 $n$ に依存しないことを示している。

2. 商空間ゴルブ・カーハン双対角化（Q-GKB）:
   $M$ を明示的に形成したり、その値域への直交射影を計算したりすることなく、データ駆動型クリロフ部分空間を構築するために、著者らは Q-GKB と呼ばれる新しい反復アルゴリズムを開発した。この手法は、商空間上で定義された演算子に対して直接ゴルブ・カーハン双対角化プロセスを適用する。アルゴリズムは、データ空間内の対になったクリロフ部分空間の正規直交基底を形成する 2 つのベクトル列 $\{u_i\}$ と $\{v_i\}$ を生成する。重要なのは、Q-GKB が $M$ と $\Gamma^{-1}$ による行列・ベクトル積のみに依存する行列フリー手法であり、大規模な密行列の保存や因数分解を回避する点である。

3. 統合された経験的ベイズ推論:
   この枠組みは、ハイパーパラメータ $\lambda$ の推定と事後分布の近似を同時に行うために、経験的ベイズ推論を統合している。Q-GKB によって生成された低次元クリロフ部分空間へ周辺尤度最適化問題を射影することで、反復から導出された小規模な行列のみを用いて近似負周辺対数尤度 $L^{(k)}(\lambda)$ を計算する。これにより、高次元パラメータ空間に戻る必要なく、各ステップで $\lambda_k$ を効率的に決定できる。

4. 事後近似:
   近似事後平均と共分散は、データ駆動型クリロフ部分空間内で構築される。近似平均は反復正則化解と一致し、近似共分散は小規模な行列の逆行列計算によって算出される。論文は、Förstner 距離とカルバック・ライブラー（KL）ダイバージェンスを用いてこれらの近似に対する理論的誤差 bound を提供し、誤差が行列対 $(M, \Gamma)$ の一般化固有値の減衰によって支配されることを示している。

主要な貢献

• 幾何学的特徴付け: 論文は、データ空間の商空間幾何学を通じて事後更新の低次元性を厳密に数学的に特徴付け、データ空間とパラメータ空間の間の等長対応を確立する。
• Q-GKB アルゴリズム: ゴルブ・カーハン双対角化プロセスの新しい商空間定式化が開発され、完全に行列フリーな方法でデータ駆動型クリロフ部分空間を構築可能となった。
• 同時推定: Q-GKB 反復への経験的ベイズ推論の統合により、ハイパーパラメータ推定と事後近似が同時に行われ、反復的な高次元計算の必要性が排除された。
• 理論的保証: 著者らは近似事後平均と共分散に対する明示的な誤差 bound を導出し、収束率をデータ空間のスペクトル特性に関連付けた。

数値結果
この手法は、3 つの代表的な問題で検証された。

1. 1 次元フレドホルム積分方程式: ハイパーパラメータと解の再構成の急速な収束を示し、有効なデータ空間次元がパラメータ次元よりも著しく小さいことを実証した。
2. 2 次元画像のぼけ除去: 中程度の悪条件問題に対する手法の能力を示す。Q-GKB アプローチは事後平均について直接 LIS 手法よりも速く収束し、共分散については同等の精度を達成する一方、LIS が適用不可能な標準ハードウェア上で計算的に実行可能であった。
3. X 線コンピュータ断層撮影（CT）: 事前共分散が行列フリーの FFT ベース手法で処理される大規模な応用例（$n=65,536$）。結果は、事後平均と不確実性（分散）を効果的に捉えることを示し、事後平均は急速に収束し、部分空間次元の増加に伴い共分散が安定化することを示した。

意義と主張
本論文は、データ空間定式化がベイズ逆問題に対して根本的に異なる計算パラダイムを提供すると主張する。焦点をデータ空間へ移行させることで、高次元パラメータ空間に関連する計算上のボトルネックや、明示的な事前共分散因数分解を回避する。著者らは、自らの枠組みがデータ駆動型部分空間に対する厳密な幾何学的理解を提供し、ハイパーパラメータ推定と事後近似のためのスケーラブルで行列フリーなアルゴリズムを提供すると述べている。数値実験は理論的知見を支持し、この手法が有効かつ安定しており、事後分布への直接アクセスが計算量的に不可能な大規模問題に対処できることを示している。論文は、この視点が事後推論への新たな道を開き、無限次元および非線形逆問題への枠組みの拡張などの将来の方向性を示唆すると結論付けている。