Robust Simulation Based Inference Through Robust Optimal Transport

技术摘要：通过鲁棒最优传输实现鲁棒的基于模拟的推断

问题陈述
基于模拟的推断（SBI）是一种统计推断框架，适用于参数模型 $\{P_\theta : \theta \in \Theta\}$ 的似然函数在解析上不可处理，但可以从该模型进行模拟的情况。标准的 SBI 方法通常假设数据生成分布 $P$ 恰好是模型的一个成员（$P = P_{\theta^*}$）。然而，在实践中，模型很少是精确的，且数据可能受到污染。现有的鲁棒方法通常仅解决“休伯污染”（Huber contamination，即质量污染，其中一部分 $\epsilon$ 的数据被任意噪声替换）或几何扰动（即数据点被移动一个小距离）中的一种。在能够同时处理这两种污染类型的方法方面存在显著差距，特别是在似然函数不可用的 SBI 设置中。此外，许多鲁棒 SBI 方法依赖于最大均值差异（MMD）或 Wasserstein 距离，前者对超参数选择（如核带宽）敏感，后者则缺乏对质量污染的鲁棒性。

方法论
作者提出了自举最小鲁棒半约束 Wasserstein-2（B-MRSW），这是一个将新的散度度量与常规自举法相结合以进行不确定性量化的框架。

1. 散度（$\ell_\lambda$）： 该方法的核心是 $\lambda$-鲁棒半约束 Wasserstein-2（$\lambda$-RSW）散度。对于概率测度 $P_1, P_2$，其定义为：
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   其中 $KL$ 是 Kullback-Leibler 散度，$W_2$ 是 Wasserstein-2 距离。该公式通过允许第一个边缘分布被重新加权（通过 $Q$）并施加由 $KL$ 惩罚的成本，放松了标准最优传输中的硬边缘约束。这一动机源于分布约束的经验似然。

   • 鲁棒性： 作者证明，对于中间值的 $\lambda$（例如 $\lambda=1$），最小化 $\ell_\lambda(P, P_\theta)$ 产生的参数估计对**几何 + 休伯（G+H）**污染模型具有鲁棒性，其中 $P = (1-\epsilon)Q + \epsilon F$ 且 $W_2(Q, P_{\theta^*}) \le \rho$。
   • 极限情况： 当 $\lambda \to 0$ 时，$\ell_\lambda$ 收敛于 $W_2^2$（对休伯污染敏感）。当 $\lambda \to \infty$ 时，它收敛于平均最近邻距离（对方差估计无信息量）。

2. 半离散近似算法：
   由于 $P_n$（经验数据）是离散的，而 $P_\theta$ 通常是连续的，该问题是半离散的。作者推导了对偶公式（定理 3.1），将最小 - 最小问题转化为关于向量 $g \in \mathbb{R}^n$ 的凹最大化问题：
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   他们提出了算法 1，一种随机次梯度上升（SGA）算法来近似该值，提供了在 $O(n^2/\epsilon^2)$ 时间内达到 $O(\epsilon)$ 期望绝对误差的收敛保证。

3. 推断流程：

   • $\lambda$ 选择： 通过观察拟合模型与重新加权的经验测度之间的 Wasserstein-2 距离在不同 $\lambda$ 值范围内的曲线上的“肘部”，采用数据驱动的启发式方法来选择 $\lambda$。
   • 参数估计： 使用协方差矩阵自适应进化策略（CMA-ES）寻找最小散度估计量 $\hat{\theta}_\lambda$，以优化非凸目标 $\ell_\lambda(P_n, P_\theta)$，并通过算法 1 进行评估。
   • 不确定性量化： 在最小 $\lambda$-RSW 估计量之上应用常规自举法。生成 $M$ 个自举数据集，并对每个数据集运行 CMA-ES/SGA 流程以产生估计量的分布，从而形成置信区间。

主要贡献

1. 理论鲁棒性： 本文确立了 $\lambda$-RSW 散度在联合几何 + 休伯污染模型下的理论鲁棒性，这是 SBI 中此前尚未被单一统一方法解决的设置。
2. 算法开发： 作者提供了首个具有收敛保证的算法，用于计算半离散鲁棒半约束最优传输，利用了随机次梯度上升方法。
3. 数据驱动调优： 引入了一种原则性的、数据驱动的启发式方法来选择鲁棒性参数 $\lambda$，消除了对用户任意指定的需求。
4. 不确定性量化： 该框架集成了常规自举法，以提供具有正确渐近覆盖率的置信集，解决了鲁棒贝叶斯和频率推断中常见的失效模式。

结果
该方法在两个基准上进行了评估：

1. 单变量正态分布： 在 G+H 污染下（混合学生 $t$ 分布或离散化正态分布与狄拉克质量），B-MRSW 成功恢复了均值和方差。相比之下，标准的最小 Wasserstein-2 估计在休伯污染下失效。
2. G-and-K 分布： 一种复杂的四参数分布，用作标准 SBI 基准。作者将 B-MRSW 与 NPL-MMD 方法（Dellaporta 等人，2022）进行了比较。
   • 敏感性： NPL-MMD 的性能对高斯核带宽高度敏感；微小的变化会导致偏度估计出现巨大误差以及覆盖率不佳。
   • 鲁棒性： B-MRSW 在启发式方法选择的广泛 $\lambda$ 值范围内，保持了低均方误差（MSE）和高覆盖率。
   • 效率： 虽然由于使用 CMA-ES 进行全局优化（而非 NPL-MMD 的局部梯度下降），B-MRSW 需要更多的模拟器调用，但作者认为这对于避免局部极小值并确保鲁棒性是必要的。

意义与主张
本文主张，在模型设定错误且数据同时包含几何和质量污染的场景中，B-MRSW 为 SBI 提供了一种鲁棒的替代方案。作者强调，与现有依赖精心调整（且通常难以调整）的超参数（如 MMD 中的核带宽）的方法不同，他们的方法使用数据驱动策略来处理鲁棒性参数。他们指出，虽然由于自举和全局优化的要求，该方法的计算量较大，但它是可并行化的。这项工作并不声称解决所有 SBI 问题，而是专门针对无似然设置中几何鲁棒性与休伯鲁棒性之间的差距，提供了一种旨在逼近真实参数（在可识别性范围内）并提供有效置信集的工具。未来的工作建议涉及训练模拟器的非参数代理以降低计算成本。