技术摘要：基于分布鲁棒训练的保守神经后验估计

问题陈述

基于模拟的推断（SBI）利用神经后验估计（NPE）是一个强大的框架，用于推断那些似然函数难以处理但模拟可行的科学模型参数。然而，在有限的模拟预算下，NPE 面临一个关键局限：它往往产生过度自信且不可靠的后验近似。当训练数据有限时，标准 NPE 最小化的经验风险成为总体风险的糟糕代理，导致过拟合。这表现为“覆盖率不足”，即真实参数落在估计的可信区域之外的频率高于标称置信水平所暗示的频率。此类失败在科学应用中引发了“信任危机”，因为过度夸大的确定性可能导致误导性的结论。现有的诱导保守性的方法（例如正则化平衡 NRE、覆盖率正则化 NPE）大多是启发式的，缺乏对所得不确定性量化的统计保证。

方法论：DRO-NPE

作者提出了DRO-NPE，这是一种基于分布鲁棒优化（DRO）的 NPE 保守形式。DRO-NPE 不是最小化有限模拟参数 - 数据对集合上的标准经验风险，而是最小化以经验测度为中心的分布模糊集上的最坏情况损失。

核心组件

1. Wasserstein 模糊集：该方法将标准 NPE 目标替换为一个极小极大问题：
   $$\inf_{\phi} \sup_{\tilde{P} \in \mathcal{A}_p(P_n; \epsilon)} \mathcal{L}_{NPE}(q_\phi; \tilde{P})$$
   其中 $\mathcal{A}_p(P_n; \epsilon)$ 是半径为 $\epsilon$ 的、围绕经验测度 $P_n$ 的 Wasserstein 球。这能够抵御数据分布的扰动，有效应对由有限模拟引起的分布不确定性。

2. 基于 KL 的不确定性度量：本文引入了基于 Kullback–Leibler (KL) 散度的新不确定性量化度量：

   • 基于 KL 的覆盖率不足：衡量真实概率与估计概率之间的散度，即参数落在高概率密度区域（HPDR）内的概率。
   • 基于 KL 的校准误差：衡量真实后验下汇总统计量的分布与估计后验下该分布之间的散度。
     作者证明了总体 NPE 风险上界了这两个度量。因此，最小化 DRO 目标（其上界为总体风险）可同时控制拟合误差和不确定性量化误差。

3. 可处理的正则化目标：直接求解 Wasserstein DRO 问题在计算上具有挑战性。作者推导出了一个可处理的正则化目标，作为 DRO 目标的上界：
   $$\mathcal{L}_{NPE}(q_\phi; P_n) + \epsilon \Omega(\phi; P_n)$$
   其中正则化项 $\Omega(\phi; P_n)$ 是损失函数关于输入数据 $z = (x, \theta)$ 的梯度的经验 $L_2$ 范数：
   $$\Omega(\phi; P_n) = \left( \frac{1}{n} \sum_{i=1}^n \| \nabla_z \ell_{NPE}(q_\phi; z_i) \|^2 \right)^{1/2}$$
   该正则化项惩罚随输入数据剧烈变化的条件密度，鼓励更平滑、更保守的后验。作者验证了该目标适用于 SBI 中使用的标准归一化流架构（掩码自回归流和耦合流）。

4. 超参数选择：半径 $\epsilon$ 被视为超参数。作者提出通过在验证集上最小化基于 KL 的校准误差来选择 $\epsilon$，从而将正则化强度直接与校准性能联系起来。

主要贡献

1. 理论框架：本文确立了 DRO-NPE 目标上界了总体 NPE 损失以及所提出的基于 KL 的覆盖率不足和校准误差度量。这提供了统计保证，即最小化 DRO 目标可控制不确定性量化误差。
2. 新度量：引入了基于 KL 的覆盖率不足和校准误差定义，这些定义推广了标准概念，并直接与 NPE 目标相关联，避免了绝对覆盖率误差度量的“先验盲视”问题。
3. 可处理的实现：推导出了适用于标准归一化流的计算高效、基于梯度的正则化目标，避免了对昂贵对偶优化的需求。
4. 统计保证：为 DRO-NPE 提供了超额风险、覆盖率不足和校准误差界，表明其能产生比标准 NPE 更紧的界，特别是在经验最小化子表现出高函数变化时。

实验结果

作者在四个基准 SBI 任务（SLCP、Lotka–Volterra、Two Moons、逆运动学）和一个现实世界的宇宙学应用（CAMELS 套件）上评估了 DRO-NPE，并将其与标准 NPE、覆盖率正则化 NPE (CR-NPE) 和平衡 NPE (Bal-NPE) 进行了比较。

• 覆盖率与校准：DRO-NPE 在所有任务中一致地提高了期望覆盖率和校准度。在低模拟 regime（例如 $n=1024$）下，标准 NPE 表现出严重的过度自信，而 DRO-NPE 产生了覆盖真实参数的保守后验。
• 预测性能：与一些为了保守性而牺牲预测精度的基线不同，DRO-NPE 总体上实现了最低的负对数预测密度（NLPD），表明它在保持预测质量的同时改善了泛化能力。
• 鲁棒性：与标准 NPE 和其他保守基线相比，DRO-NPE 在不同随机种子下表现出更低的方差，而其他方法有时会出现数值不稳定或覆盖率不一致的情况。
• 宇宙学应用：在缺乏高保真模拟的 CAMELS 宇宙学任务中，DRO-NPE 提供了最可靠的推断，避免了标准 NPE 中出现的过度自信约束以及其他方法的覆盖率不足问题。

意义与主张

本文主张 DRO-NPE 提供了一种原则性、基于统计的方法，以解决基于模拟推断中的“信任危机”。通过将 NPE 置于分布鲁棒优化的视角下，该方法提供了标准 NPE 所缺乏的理论保证。该方法可处理、可并行化，并且与领域内现有的归一化流架构兼容。

作者谦逊地承认了局限性：由于高阶自动微分，DRO-NPE 会产生适度的计算开销（根据硬件不同，墙钟时间约为 1.25 倍至 2 倍）。此外，虽然理论上存在 $\epsilon$ 的选择，但实际选择依赖于验证度量，这导致理论集中半径与实际超参数调整之间存在差距。尽管如此，该方法仍被视为在低模拟 regime 中实现更可靠不确定性量化的重要一步。