技术摘要：跨退火贝叶斯后验的似然信息降维

问题陈述

科学计算机模拟通常涉及高维参数和昂贵的黑盒前向映射，从而产生“模型 - 数据差距”， necessitating 贝叶斯反演。然而，维数灾难使得后验采样（例如通过马尔可夫链蒙特卡洛）在计算上变得不可行，通常需要进行 $10^5$ 次或更多的模拟器评估。为了缓解这一问题，现代工作流程采用降维技术，在训练模拟器或采样之前对数据进行预处理。

现有的似然信息子空间（LIS）方法旨在识别能够捕捉与后验分布相关信息低维子空间。这些方法通常分为两类：

1. 无数据（DF-LIS）： 基于先验分布优化界限，独立于特定观测值。
2. 基于数据（DB-LIS）： 基于特定后验分布（利用观测数据 $y^\dagger$）优化界限。

虽然 DB-LIS 在理论上对特定观测值是最优的，但在实践中往往具有局限性。它需要从完整后验分布中采样以构建诊断矩阵，而这正是待解决的任务。此外，标准的 LIS 方法通常假设可以获取前向映射的精确梯度，但对于混沌、随机或遗留系统，这些梯度要么不可用，要么缺乏信息量。此外，实际应用通常利用退火采样算法（例如集合卡尔曼反演），这些算法生成一系列中间分布而非单个后验样本，然而当前的 LIS 方法未能有效利用这些累积信息。

方法论

作者提出了一个称为 $\alpha$-LIS（似然信息子空间）的广义框架，该框架通过在定义如下 $\alpha$-退火（或退火）后验分布族上运行，弥合了 DF-LIS（$\alpha=0$）与 DB-LIS（$\alpha=1$）之间的差距：
$$\pi^{(\alpha)}_{X|Y}(x | y^\dagger) \propto \pi_X(x) \pi_{Y|X}(y^\dagger | x)^\alpha, \quad \alpha \in [0, 1]$$

1. 理论推广（$\alpha$-LIS）

核心理论贡献是推导诊断矩阵，以最小化真实后验与降维后验之间 Kullback–Leibler (KL) 散度的上界，其中期望值取自分布 $p_\alpha$，该分布插值于先验（$\alpha=0$）与观测处的狄拉克分布（$\alpha=1$）之间。

• 输入空间： 降维输入子空间由广义诊断矩阵 $H^\alpha_{X|y^\dagger}$ 的前导特征向量定义：
  $$H^\alpha_{X|y^\dagger} = \int \nabla G(x)^\top \Gamma^{-1} \left[ (1-\alpha)\Gamma + \alpha^2 (y^\dagger - G(x))(y^\dagger - G(x))^\top \right] \Gamma^{-1} \nabla G(x) \, \pi^{(\alpha)}(x | y^\dagger) \, dx$$
  该矩阵以非线性方式插值于无数据和基于数据的诊断矩阵之间。
• 输出空间： 降维输出空间定义为迹目标函数 $J(V_s)$ 的最小化器，该函数同样结合了 $\alpha$-退火分布。与输入空间不同，对于 $\alpha > 0$，这不会导出闭式特征值问题，因此需要数值优化（例如在格拉斯曼流形上）。

2. 实际扩展

为了解决现实世界的约束，作者提出了两个关键扩展：

• 累积信息： 该方法不使用来自单个 $\alpha_k$ 的样本，而是对一系列退火分布 $0 = \alpha_0 < \dots < \alpha_k$ 上的诊断矩阵进行聚合（或对目标函数进行积分）。这利用了由顺序退火算法（如集合卡尔曼反演）生成的所有可用样本，以构建更稳健的子空间，特别是在样本量有限的情况下。
• 无梯度近似： 认识到梯度 $\nabla G$ 经常不可用或存在噪声，作者提出使用统计线性化（SL）。这利用输入 - 输出对的经验协方差来近似梯度：$\nabla G(\cdot) \approx [(C_{xx})^\dagger C_{xG}]^\top$。这使得无需前向映射的显式导数即可构建 $\alpha$-LIS 子空间。

主要贡献

本文概述了三项主要贡献：

1. 理论推广（C1）： 定义 $\alpha$-LIS，这是一个统一 DF-LIS 和 DB-LIS 的单参数族。作者证明了该框架推广了现有方法，并提出了处理不可微似然函数以及累积退火序列数据的扩展。
2. 数值评估（C2）： 广泛的实验验证表明，虽然 $\alpha=1$ 在理论上是最优的，但在样本有限、存在噪声或梯度近似的实际设置中，$\alpha < 1$（特别是 $\alpha \approx 0.5$）往往能产生接近最优或更优越的性能。“累积”方法被证明特别稳健。
3. 框架集成（C3）： 将这些算法实现于**校准、模拟、采样（CES）**框架内。作者展示了 $\alpha$-LIS 如何用于在训练模拟器之前降低维度，从而加速混沌系统（特别是 Lorenz '96 模型）中的无导数采样。

实验结果

作者在线性、线性 - 指数、达西流和 Lorenz '96 问题上验证了他们的方法。

• 线性和线性 - 指数模型： 在样本量较大的设置中，$\alpha=0.5$ 的表现与 $\alpha=1$ 相当。然而，在样本量适中或存在噪声的场景中，$\alpha=1$ 变得数值上不稳定，而中间 $\alpha$ 值（例如 0.5）和累积方法显著优于 $\alpha=0$ 和 $\alpha=1$。
• 噪声评估和梯度近似： 当前向映射评估存在噪声或通过统计线性化近似梯度时，$\alpha=1$ 的性能急剧下降。累积 $\alpha$-LIS 方法保持了稳健性，通常优于主成分分析（PCA）和标准 LIS 变体。
• 达西流和 Lorenz '96： 在复杂的非线性反演问题中，使用统计线性化的累积 $\alpha$-LIS 方法成功降低了维度，从而实现了有效的模拟器训练。在 Lorenz '96 应用中，该方法成功恢复了混沌区域中的强迫参数，而直接 MCMC 采样在此区域是不可行的。

意义与主张

本文主张 $\alpha$-LIS 提供了“鱼与熊掌兼得”的性能，平衡了基于数据方法的理论最优性和无数据方法的稳健性。作者强调：

• 稳健性优于最优性： 在实际受限设置中（数据有限、噪声、缺乏导数），理论上最优的 $\alpha=1$ 往往并非次优。中间 $\alpha$ 值提供了针对蒙特卡洛误差和噪声的必要正则化。
• 利用退火序列： 该方法有效地利用了现代退火算法生成的完整分布序列，而不是丢弃中间样本。
• 适用于 CES： 该方法特别适用于 CES 框架，因为它能够利用校准步骤中生成的近似样本来训练准确、低维的模拟器。

作者得出结论，虽然 $\alpha$-LIS 并非解决所有噪声和近似场景的灵丹妙药，但它在具有挑战性的现实设置中显著改进了现有的 LIS 方法，并为高维贝叶斯反演问题提供了灵活的工具。