技术摘要：基于多数据源的贝叶斯代理模型训练

问题陈述

代理模型被广泛用于近似复杂且计算昂贵的模拟模型，以执行不确定性量化、敏感性分析和求解逆问题等任务。然而，存在一个根本性的局限：代理模型通常仅基于模拟数据进行训练。由于底层模拟模型往往是对现实世界系统的不完美简化（缺失过程、存在误设或边界条件不正确），代理模型会继承这些不准确之处。反之，现实世界的测量数据包含关于真实系统的宝贵信息，但往往数据稀缺、充满噪声，且缺乏模拟模型所需的完整输入参数信息（例如未知的强迫变量）。

现有的整合这些数据源的方法面临若干挑战：

1. 不对称性：模拟数据具有完全指定的输入，而现实世界数据通常存在未知输入。
2. 同质性假设：许多方法假设数据源是同质的，或者依赖于具有简化假设的特定代理模型族（例如高斯过程）。
3. 缺乏加权策略：关于如何在训练过程中适当加权异质数据源以反映不同置信度或信任水平的文献有限。
4. 间接整合：某些方法不直接将现实世界数据用于代理模型训练，而是用于事后校准或差异建模。

本文提出了一种通用框架，通过利用新颖的加权策略（独立于所选代理模型族），在多个数据源（模拟和现实世界）上训练贝叶斯代理模型，以解决上述问题。

方法论

作者提出了一个结合两种不同数据源的框架：

• 模拟数据 ($D_S$)：由具有已知输入 $x_S$ 和不确定参数 $\omega_S$ 的物理模型 $M$ 生成。
• 现实世界数据 ($D_R$)：由具有已知输入 $x_R$ 但未知参数 $\omega_R$ 和测量噪声的未知过程 $G$ 生成。

该框架引入了两种受权重因子 $\beta \in [0, 1]$ 控制的概率加权整合方法：

1. 后验预测加权 (PW)

该方法独立训练两个单独的代理模型：

• 一个基于模拟的代理模型 ($f_{M_S}$)，在 $D_S$ 上训练，并用于从 $D_R$ 推断未知参数。
• 一个数据驱动的代理模型 ($f_{M_R}$)，仅在 $D_R$ 上训练。

最终预测是其后验预测分布的加权和：
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
此处，$\beta$ 控制基于模拟模型的相对影响。该方法通过观察两个源预测分布的叠加，允许可视化两者之间的差异。

2. 似然函数的幂缩放 (PS)

该方法通过幂缩放将两个数据源直接整合到似然函数中，从而训练单个代理模型。联合后验定义为：
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
缩放因子 $\alpha_R$ 和 $\alpha_S$ 源自 $\beta$，以确保当 $\beta$ 趋近于 0 或 1 时，一个数据源的影响减弱，而另一个数据源仍被充分利用。该方法采用两步马尔可夫链蒙特卡洛 (MCMC) 程序：

1. 联合训练：利用幂缩放似然估计代理系数 $c$ 和中间参数。
2. 精细推断：仅使用现实世界数据 $D_R$ 的完整似然，基于步骤 1 中 $c$ 的后验分布，重新估计未知的现实世界参数 $(\omega_R, \sigma_R)$。这避免了对现实数据的“双重使用”，并确保参数是基于现实世界证据推断的。

实现

该框架设计为与代理模型无关，适用于任何概率代理模型（例如多项式混沌展开、高斯过程、神经网络），并可在 Stan 或 PyMC 等概率编程语言中实现。作者利用哈密顿蒙特卡洛 (HMC) 进行采样。

主要贡献

1. 新颖的加权策略：引入了两种不同的方法（PW 和 PS），用于在代理模型训练过程中结合异质数据源，提供了从纯数据驱动到纯基于模拟模型之间的连续谱。
2. 处理不对称性：PS 方法通过两步推断程序（将系数训练与参数细化分离），专门解决了数据源的不对称性（已知与未知输入）。
3. 代理模型无关性：提出的加权策略独立于特定的代理模型族，允许在不同建模背景下广泛适用。
4. 诊断能力：该框架提供了一种机制，通过可视化来自模拟和现实世界数据的竞争信息，来诊断模拟模型中的结构局限性。

结果

作者通过两个案例研究评估了这些方法：

案例研究 1：合成示例

• 设置：模拟模型捕捉全局趋势，而“真实”数据包含模拟中不存在的一个额外周期项。
• 发现：
  • 样本外 (OOS)：数据驱动的代理模型 ($\beta=0$) 表现最佳，因为它能完美拟合局部数据。
  • 分布外 (OOD)：基于模拟的代理模型 ($\beta=1$) 表现最佳，因其能够基于物理定律进行外推。
  • 混合性能：对于中间 $\beta$ 值，幂缩放 (PS) 方法通常实现了更低的均方根误差 (RMSE)（更接近合成真值），而后验预测加权 (PW) 提供了更好的期望对数预测密度 (ELPD)（更好的不确定性建模）。
  • 与 KOH 的比较：PS 方法在特定 $\beta$ 值下恢复均值函数的表现优于标准的 Kennedy-O'Hagan (KOH) 校准框架，尽管 KOH 在不确定性量化方面表现出色。

案例研究 2：流行病学建模 (SIR 模型)

• 合成设置：一个误设的 SIR 模型（固定恢复率）与具有不同恢复率的真实数据。
  • 结果：PS 通过利用模拟数据作为正则化项以防止数据驱动模型产生极端预测，在 OOD 区域表现出优越性能。PW 提供了冲突趋势的视觉叠加（数据中更陡峭的下降与模拟中较缓慢的下降）。
• 现实世界设置：意大利 COVID-19 数据（第一波）。
  • 结果：数据驱动模型未能外推（预测感染增加），而基于模拟的模型显示出高度不确定性并预测了过强的下降。幂缩放方法在 $\beta \approx 0.45$ 时实现了最优 ELPD，平衡了两个数据源。PW 方法随 $\beta$ 呈现单调改进，但未达到 PS 的峰值性能。

意义与主张

本文主张，这些混合建模方法提供了一种灵活的方式，以提高预测准确性和覆盖率，特别是在单源训练失效的具有挑战性的分布外 (OOD) 区域。

• 诊断洞察：作者强调，可视化后验预测分布（尤其是通过 PW）可作为一种诊断工具。它允许建模者通过观察模拟和现实数据在何处发散，来识别模拟模型中缺失的过程或误设。
• 权衡：本文适度指出，最佳方法和权重因子取决于具体场景和评估指标。
  • 推荐幂缩放用于恢复底层真值和实现稳健的均值预测，因为它在训练过程中将模拟数据用作正则化项。
  • 推荐后验预测加权用于诊断目的和对竞争信息源的直观解释，尽管如果数据驱动组件约束不足，其稳健性可能较差。
• 未来方向：作者建议，虽然他们专注于两个数据源，但该框架可扩展至多个数据源。他们还指出，通过线性搜索寻找最优 $\beta$ 对 PS 而言计算成本高昂，建议未来研究重要性采样或矩匹配以减少重新拟合成本。

总之，本文提出了一个框架，将代理模型从昂贵模拟的单纯“替代品”转变为混合建模诊断工具的组成部分，能够同时利用机理知识和经验证据。