Data-informed posterior approximation for Bayesian linear inverse problems

技术摘要：贝叶斯线性逆问题的数据驱动后验近似

问题陈述
本文探讨了大规模贝叶斯线性逆问题中固有的计算挑战，其形式化为 $y = Gx + \eta$，其中 $x \in \mathbb{R}^n$ 为未知参数，$y \in \mathbb{R}^m$ 为观测值，$\eta$ 为高斯噪声。主要困难在于当参数维度 $n$ 极大（$n \gg m$）时，直接计算后验分布的均值和协方差变得不可行。具体而言，矩阵 $G^\top \Gamma^{-1} G + \lambda \Sigma^{-1}$（其中 $\Sigma$ 为先验协方差，$\lambda$ 为超参数）的求逆在计算上是不可行的。现有的降维技术，如基于 Karhunen–Loève 展开或似然信息子空间（LIS）的方法，通常依赖于先验协方差的显式分解，或完全在高维参数空间内操作，未能充分利用前向算子与观测数据之间的相互作用。此外，超参数 $\lambda$ 的选择通常需要在参数空间中进行重复的大规模计算。

方法论
作者提出了一种将计算焦点从参数空间转移到数据空间的框架。该方法的核心包含以下组成部分：

1. 数据空间几何框架：
   本文定义了一个商希尔伯特空间 $(\mathbb{R}^m/\mathcal{N}(M), \langle \cdot, \cdot \rangle_M)$，其中 $M = G\Sigma G^\top$，$\mathcal{N}(M)$ 为其零空间。该空间被赋予内积 $\langle [u], [v] \rangle_M = u^\top M v$。作者建立了一个从该数据空间到参数空间 $(\mathbb{R}^n, \langle \cdot, \cdot \rangle_{\Sigma^{-1}})$ 的等距嵌入 $\iota$。他们证明，先验到后验的更新完全局限于该嵌入的像 $\text{Im}(\iota) = \mathcal{R}(\Sigma G^\top)$ 内，其维度等于 $\text{rank}(G)$。这揭示了后验的信息方向本质上是低维的，且独立于环境参数维度 $n$。

2. 商空间 Golub–Kahan 双对角化（Q-GKB）：
   为了在不显式构建 $M$ 或不计算其值域上的正交投影的情况下构建数据驱动的 Krylov 子空间，作者开发了一种名为 Q-GKB 的新型迭代算法。该方法将 Golub–Kahan 双对角化过程直接应用于定义在商空间上的算子。该算法生成两个向量序列 $\{u_i\}$ 和 $\{v_i\}$，它们构成了数据空间中配对 Krylov 子空间的正交基。关键在于，Q-GKB 是一种无矩阵方法，仅依赖于与 $M$ 和 $\Gamma^{-1}$ 的矩阵 - 向量乘积，避免了存储和分解大型稠密矩阵。

3. 集成的经验贝叶斯推断：
   该框架集成了经验贝叶斯推断，以同时估计超参数 $\lambda$ 并近似后验分布。通过将边缘似然优化问题投影到由 Q-GKB 生成的低维 Krylov 子空间上，该方法仅利用迭代导出的小规模矩阵计算近似的负对数边缘似然 $L^{(k)}(\lambda)$。这使得能够在每一步高效地确定 $\lambda_k$，而无需返回高维参数空间。

4. 后验近似：
   近似的后验均值和协方差在数据驱动的 Krylov 子空间内构建。近似均值与迭代正则化解一致，近似协方差则通过小规模矩阵的求逆计算得出。本文使用 Förstner 距离和 Kullback–Leibler (KL) 散度为这些近似提供了理论误差界，表明误差由矩阵对 $(M, \Gamma)$ 的广义特征值的衰减所控制。

主要贡献

• 几何表征： 本文通过数据空间的商空间几何，对后验更新的低维特性进行了严格的数学表征，建立了数据空间与参数空间之间的等距对应关系。
• Q-GKB 算法： 开发了一种 Golub–Kahan 双对角化过程的新商空间表述，使得能够以完全无矩阵的方式构建数据驱动的 Krylov 子空间。
• 同时估计： 将经验贝叶斯推断集成到 Q-GKB 迭代中，实现了超参数估计与后验近似的同步进行，消除了对重复高维计算的需求。
• 理论保证： 作者推导了近似后验均值和协方差的显式误差界，将收敛速率与数据空间的谱特性联系起来。

数值结果
该方法在三个代表性问题上进行了验证：

1. 一维 Fredholm 积分方程： 展示了超参数和解重构的快速收敛，且有效数据空间维度显著小于参数维度。
2. 二维图像去模糊： 展示了该方法处理中等病态问题的能力。Q-GKB 方法在后验均值方面的收敛速度快于直接 LIS 方法，并在协方差方面达到了相当的精度，同时在 LIS 无法运行的标准硬件上具有计算可行性。
3. X 射线计算机断层扫描（CT）： 一个大规模应用案例（$n=65,536$），其中先验协方差通过基于矩阵 - 向量的 FFT 方法处理。结果表明，该方法有效地捕捉了后验均值和不确定性（方差），后验均值快速收敛，且随着子空间维度的增加，协方差趋于稳定。

意义与主张
本文主张，数据空间表述为贝叶斯逆问题提供了一种根本不同的计算范式。通过将焦点转移到数据空间，该方法规避了与高维参数空间和显式先验协方差分解相关的计算瓶颈。作者断言，其框架提供了对数据驱动子空间的严格几何理解，并提供了一种可扩展的、无矩阵的算法，用于同时估计超参数和近似后验分布。数值实验支持了理论发现，证明该方法有效、稳定，且能够处理那些直接访问后验分布在计算上不可行的大规模问题。本文结论认为，这一视角为后验推断开辟了新的路径，并提出了未来的方向，例如将该框架扩展到无限维和非线性逆问题。