Amortized low-rank approximation for hyperparameter marginalization in PDE-governed Bayesian inverse problems

技术摘要：用于受 PDE 控制的贝叶斯逆问题中超参数边际化的摊销低秩近似

问题陈述
本文解决了在由线性偏微分方程（PDE）控制参数-观测映射的分层贝叶斯逆问题中所固有的计算挑战。在这种设定下，参数场 $m$（例如初始条件或空间系数）是高维或无限维的，而超参数 $\theta$（例如先验相关长度或噪声方差）是中等维度的。

虽然对于固定的 $\theta$，条件后验分布 $P(m|\theta, y)$ 是高斯的，但主要目标通常是推断超参数本身，或通过边际化得到参数 $m$ 的后验分布。这需要重复评估超参数边际密度 $P(\theta|y)$。对于由 PDE 控制的问题，直接评估 $P(\theta|y)$ 在计算上是极其昂贵的，因为它需要：

1. 为每个 $\theta$ 计算最大后验（MAP）估计值 $m$。
2. 计算先验与后验精度矩阵行列式之比。

这两个步骤都涉及昂贵的操作，特别是对前向算子 $A$ 及其伴随算子 $A^\sharp$ 的重复应用（求解 PDE）。现有的低秩近似方法，如先验预处理（PP）精度更新法，对于固定的先验是高效的，但在超参数 $\theta$ 依赖于非线性关系（例如通过相关长度尺度）的分层设定中会变得低效。在这种情况下，PP 方法需要为每一次 $\theta$ 的评估重新计算低秩近似，从而抵消了摊销带来的收益。

方法论
作者提出了一个旨在“摊销”多次评估 $\pi(\theta|y)$ 时低秩近似计算成本的框架。其核心思想是用一个固定的、与 $\theta$ 无关的参考预条件子来替代 $\theta$ 相关的先验预条件子。这使得昂贵的低秩分解可以仅计算一次（离线），而不是在每次评估 $\theta$ 时重复进行（在线）。

本文引入并分析了该摊销框架下的两种特定变体：

1. 最弱先验预处理（WP）近似：

   • 该方法选择一个“最弱”的参考先验精度 $\hat{Q}_{pr}$，使其在整个超先验支撑集内，其特征值均小于真实的先验精度 $Q_{pr}(\theta)$。
   • 数学上，这要求 $\hat{R}^\top \hat{R} \preceq R^\top R$（其中 $Q_{pr} = \delta^2 R^\sharp R$）。
   • 计算一个由 $\hat{Q}_{pr}$ 预处理的更新的低秩近似。对于任何特定的 $\theta$，通过使用实际的 $Q_{pr}(\theta)$ 对该固定基底进行重新加权，即可得到后验精度的近似。
   • 作者提供了一个理论误差界限（定理 4.1），表明截断误差受控于参考预处理更新的特征值以及最小标度超参数的值。

2. 无预处理（UP）近似：

   • 这是 WP 的一种极限情况，其中参考先验被选为单位矩阵（或其离散等价物），从而实际上消除了先验预处理。
   • 虽然这可能需要更高的秩才能实现收敛，但它避免了定义特定“最弱”先验的需求，也避免了在离线阶段进行先验精度的运算。

这两种方法都依赖于广义特征值问题来计算低秩基底。该框架假设前向算子 $A$ 和噪声精度不依赖于 $\theta$（或仅以乘性方式依赖于 $\theta$），而先验精度可能以复杂且非线性的方式依赖于 $\theta$。

核心贡献

• 摊销框架： 本文将最先进的低秩近似技术扩展到了具有非线性先验超参数的分层问题中。通过将基底计算与特定超参数值解耦，该方法避免了在 $N$ 次评估中重复计算 $O(N \cdot r)$ 的成本。
• 理论保证： 作者为 WP 方法建立了严格的截断误差上界。这些界限根据参考预处理更新的特征值衰减和超参数范围，指导了截断秩 $r$ 的选择。
• 复杂度分析： 通过详细的计算复杂度对比（表 4.1）表明，尽管为了达到给定精度，WP 和 UP 可能需要比直接 PP 方法更高的秩，但通过消除在线阶段的重复 PDE 求解，实现了显著的加速。
• 确定性求积： 与基于 MCMC 的方法不同，这一完全确定性的框架能够实现对超参数空间的高效求积计算，相比于依赖单一点估计的经验贝叶斯估计，它提供了改进。

数值结果
该方法在 2D 和 3D 空间域的平流扩散初始条件逆问题上进行了评估。

• 2D 问题： 使用约 4,500 个单元和 32 个空间传感器的网格，WP 和 UP 方法在 100 次边际密度评估中，比直接 PP 方法实现了约 11 倍至 19 倍 的加速。
• 3D 问题： 在使用约 35,000 个单元和 51 个传感器的网格时，计算优势更加显著。直接 PP 方法在 100 次评估中外推时间约为 65 小时，而 WP 和 UP 分别仅需约 2 小时和 3 小时。这代表了 30–45 倍的加速。
• 误差分析： 数值实验证实，对于测试的秩，对数行列式项的误差（$e_1$）通常比后验均值近似的误差（$e_2$）占主导地位。因此，低秩近似本身往往已经足够，无需使用迭代求解器（如共轭梯度法）来精细化均值，从而进一步提升了速度。
• 边际化： 该框架通过结合 $\pi(\theta|y)$ 的摊销评估与高斯求积，成功计算了感兴趣量（QoL）的边际分布，展示了捕捉超参数不确定性并将其传播到参数估计中的能力。

意义与主张
本文声称，当正向问题非常昂贵且需要多次评估边际密度时，牺牲基底的最优性（通过使用一个与 $\theta$ 无关的预条件子）是一种极具吸引力的权衡。所提方法使得高效解决具有非线性先验超参数（如相关长度）的分层贝叶斯逆问题成为可能，而无需诉诸 MCMC 采样或关于线性超参数依赖性的限制性假设。

作者指出，目前的方法局限于线性前向算子以及不进入前向映射 $A$ 本身的超参数。他们建议未来的工作可以通过集成代理模型技术，将这些思想扩展到 $A$ 依赖于 $\theta$ 的问题中；或者通过类似于集成嵌套拉普拉斯近似（INLA）的线性化和拉普拉斯近似，将其扩展到非高斯设定。然而，目前的贡献严格聚焦于具有非线性先验超参数的线性高斯条件设定。