Propagating data noise through the fit: the Monte Carlo replica distribution

技术摘要：拟合过程中的数据噪声传播：蒙特卡洛副本分布

问题陈述
蒙特卡洛（MC）副本法是高能物理中用于量化部分子分布函数（PDF）和标准模型有效场论（SMEFT）威尔逊系数全局拟合中参数不确定性的标准程序。该方法涉及生成许多受噪声扰动的实验数据副本（伪数据），并对每个副本进行独立的拟合。由此产生的最佳拟合参数的经验分布被用作不确定性估计。

虽然在理论模型对参数呈线性关系时，该方法已被证实能精确重现贝叶斯后验分布，但在非线性情况下，已知会出现偏差。然而，这种偏差的性质和量级尚未得到闭式表征。由于缺乏这种表征，从业者无法轻易判断原始的 MC 副本分布是一个忠实的贝最后验近似，还是需要进行计算昂贵的修正采样（例如 Metropolis–Hastets）以恢复精确的后验分布。

方法论
本文将极大似然估计量（MLE）不仅视为一个优化结果，而且视为一个从数据空间到参数空间的确定性映射 $\hat{\theta}(d)$。MC 副本分布被识别为高斯噪声 $\eta$ 在映射 $\eta \mapsto \hat{\theta}(D_0 + \eta)$ 下的推前分布（pushforward），其中 $D_0$ 为观测数据。

为了解析导出该分布，作者对 MLE 映射 $\hat{\theta}(\cdot)$ 在观测数据 $D_0$ 附近进行了阶一泰勒展开。这使得推前分布简化为一个线性高斯映射，其协方差由 MLE 映射的雅可比矩阵 $\partial \hat{\theta} / \partial d$（在 $D_0$ 处评估）决定。

该雅可比矩阵的闭式导出的核心技术创新在于利用损失函数的一阶最优性条件（梯度消失）进行隐函数微分。通过定义损失 $L(\theta; d) = \frac{1}{2}\|d - T(\theta)\|^2$ 及其梯度 $F(\theta, d) = J(\theta)^\top(T(\theta) - d) = 0$，作者对恒等式 $F(\hat{\theta}(d), d) \equiv 0$ 关于 $d$ 进行微分。由此得到雅可比矩阵：
$$\frac{\partial \hat{\theta}}{\partial d}(D_0) = A_\star^{-1} J_\star^\top$$
其中 $J_\star$ 是最佳拟合处的理论雅可比矩阵，$A_\star$ 是最佳拟合处损失函数的黑塞矩阵（Hessian）。至关重要的是，$A_\star$ 被分解为高斯-牛顿矩阵（$J_\star^\top J_\star$）以及一个涉及残差加权的理论映射二阶导数的“残差加权黑塞项”。

核心贡献与结果

1. 闭式领先阶分布： 本文导出了领先阶 MC 副本协方差矩阵的闭式表达式：
   $$\Sigma_{\text{MC}} = \sigma^2 A_\star^{-1} J_\star^\top J_\star A_\star^{-1}$$
   （假设噪声为各向同性 $C = \sigma^2 I$）。

2. 与贝叶斯后验的比较： 作者将此 MC 协方差与贝叶斯后验的拉普拉斯近似（一个协方差为 $\Sigma_{\text{Bayes}} = \sigma^2 A_\star^{-1}$ 的高斯分布）进行了比较。

3. 差异矩阵： 两分布之间的差异被证明为单个可计算矩阵：
   $$\Sigma_{\text{MC}} - \Sigma_{\text{Bayes}} = -\sigma^2 A_\star^{-1} \left( \sum_a r_a H_{a,\cdot\cdot}(\hat{\theta}_\star) \right) A_\star^{-1}$$
   其中 $r_a$ 是残差，$H_{a,\cdot\cdot}$ 是理论黑塞矩阵的分量。这一项，即残差加权黑塞项，是 MC 方法与贝叶斯推断在领先阶产生偏差的唯一来源。

4. 一致与不一致的机制：

   • 线性理论： 黑塞项消失，MC 分布与贝叶斯后验完全一致。
   • 非线性理论，良好拟合： 如果残差较小，差异可以忽略不计，MC 方法是一个忠实的近似。
   • 非线性理论，较差拟合： 如果残差显著且理论具有曲率，MC 方法可能会根据残差加权黑塞项的符号，出现过度估计或低估不确定性的情况。

5. 玩具示例： 作者使用两个单参数示例验证了推导过程：

   • 二次项理论： 证明了在“不可达”机制下（即数据位于理论范围之外），由于雅可比矩阵消失，MC 分布会坍缩为 $\delta$ 函数（零方差），而贝叶斯后验仍保持非退化的高斯分布。
   • 圆周理论： 说明了当数据在圆内时，MC 方法可能会过度覆盖（over-cover），而当数据在圆外时，则会低估覆盖（under-cover）相对于贝叶斯后验的情况，这与之前的数值发现一致。

意义与主张
本文声称提供了一种“补充推导”，使 MC 副本方法偏离贝叶斯推断的非线性特性变得显式且可计算。其主要意义在于将残差加权黑塞矩阵作为一种诊断工具。

作者认为，与运行修正采样方案相比，评估该矩阵的计算成本很低。因此，该表达式允许从业者在事前（a priori）确定原始 MC 副本分布是否满足其精度要求，或者其偏差是否大到需要采用更严格的贝叶斯采样。本文将此定位为理解复杂拟合（如 PDF 和 SMEFT）中 MC 方法可靠性的重要一步，其目的并非取代这些方法，而是为其有效性提供度量。作者明确指出，在完整的 PDF 和 SMEFT 拟合中评估该矩阵是“自然的下一步”，但在本研究中并未进行此类大规模应用。