⚛️ 唯象学

Faithful Uncertainties in ML-Based Inverse Problems: GPs, NNs and NTKs for the Triplet PDF

本文表明，在基于机器学习的部分子分布函数重构逆问题中，具有相似中心预测的方法可能会产生截然不同的不确定性估计，这凸显了纳入完整的实验协方差、适当的函数先验以及严格的闭合测试对于确保忠实的不确定性校准至关重要。

原作者： Nina Elmer, Sven Krippendorf, Maria Ubiali

发布于 2026-10-23

📖 1 分钟阅读🧠 深度阅读

原作者： Nina Elmer, Sven Krippendorf, Maria Ubiali

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在粒子物理学这个高风险的世界里，科学家们不仅仅是在观察宇宙的构建模块；他们必须从这些模块投下的阴影中将其重建。当质子以极高的速度碰撞时，会产生大量的碎片，但质子内部的基本粒子——夸克和胶子——仍然是隐藏的。为了理解质子的结构，研究人员必须从这些混乱、多噪的碰撞数据中进行逆向推导，以推断出动量如何在质子的组成部分之间分配的不可见图谱。这被称为一个逆问题，是一个答案不唯一且数据不完美的数学谜题。挑战不仅在于找到最可能的图谱，还在于知道该对这个图谱投入多少信任。如果图谱是错误的，那么对像大型强子对撞机这类设施未来实验的预测可能会产生误导。多年来，物理学家一直依赖复杂的统计方法来绘制这些图谱，但随着机器学习进入这一领域，一个新问题出现了：这些强大的算法能否不仅告诉我们图谱看起来是什么样子，还能告诉我们它们对该图谱有多大的不确定性？

剑桥大学的一个研究小组通过在一个受控环境中测试三种不同的机器学习方法，解决了这个问题。他们专注于一个特定的、简化的质子谜题版本：利用来自名为 BCDMS 的历史实验的数据，重建一种特定的夸克组合（称为三重态分布）的分布。为了确保能够公平地评判结果，他们没有使用没有已知“真实答案”的真实实验数据。相反，他们创建了一个预先知道确切底层真相的模拟环境。他们生成了模仿真实测量值的伪数据点，并包含了真实的误差和相关性，然后要求三个不同的机器学习系统恢复原始图谱。他们比较的系统包括：高斯过程（一种以量化不确定性能力著称的统计模型）；神经网络（许多现代人工智能突破背后的深度学习引擎）；以及一种试图描述神经网络如何学习的新方法——神经切线核。

研究人员发现，虽然这三种方法都能产生一个看起来与真相非常相似的中心图谱，但它们对该图谱的信心程度却大相径庭。事实证明，仅仅得到平均答案的正确性是不够的；关键的测试在于估计的不确定性是否与实际误差相匹配。研究表明，机器学习模型处理已知数据误差的方式是产生可靠不确定性估计的最重要因素。那些忽略不同数据点之间复杂相关性的模型，或者那些试图在未被告知误差结构的情况下从头开始学习误差的模型，产生的置信区间要么过窄，要么宽得具有误导性。只有那些明确考虑了实验误差完整结构的模型（包括一个测量值的误差如何与另一个测量值的误差相关联），才能产生统计学上诚实的置用于估计。

或许最令人惊讶的发现是关于这些模型在没有数据区域的表现。在现实世界中，物理学家经常必须猜测粒子在从未直接测量过的能量水平或距离下的行为。研究显示，在这些空白区域，机器学习模型并不会根据它们所见过的资料进行外推。相反，它们的猜测在很大程度上受制于在训练开始前就已内置其中的数学假设。这些被称为“先验”的假设就像一只隐形的手，引导着模型的预测。当研究人员改变这些初始假设时，模型在未测量区域的预测发生了剧烈变化，即使它们在已测量区域的表现保持不变。这意味着，机器学习模型在未探索区域报告的不确定性并不是对数据的纯粹反映，而是一个完全取决于模型所遵循的具体数学规则的条件陈述。

该团队还测试了一种涉及神经切线核的新技术，这种技术旨在弥合神经网络与传统统计模型之间的差距。他们发现，分析的时机至关重要。如果在模型训练的极早期（即它尚未从数据中学习到任何东西之前）评估其不确定性，所得到的不确定性将是危险地微小且完全不可靠的。只有在网络经过大量训练步骤之后，其不确定性估计才会变得可靠。这表明，对于这些先进方法而言，它们不能被视为静态工具；必须在正确的学习阶段对其内部状态进行监测和评估。

最终，这项研究为未来的物理研究提供了一个重要的警示和指南。它表明，一个机器学习模型在表面上可能看起来很完美，能以高精度重建已知数据，但仍可能无法提供对其自身无知的真实度量。研究人员得出结论，要信任这些工具，科学家必须超越仅仅检查中心预测是否正确的做法。他们必须严格测试模型的置信区间是否真的覆盖了真相，并使用能够处理现实世界中复杂相关性的方法。如果没有这些仔细的检查，人工智能的强大新工具可能会提供精确但具有危险误导性的答案，尤其是在它们被要求涉足未知领域时。前进的道路需要将机器学习的力量与传统物理学的严谨统计学科相结合，从而确保当我们观察亚原子世界的阴影时，我们确切知道图像中有多少是真实的，有多少是猜测。

技术摘要：机器学习逆问题中的忠实不确定性

问题陈述
本文探讨了机器学习（ML）在逆问题中——特别是在高能物理中部分子分布函数（PDF）测定的背景下——进行不确定性量化（UQ）所面临的关键挑战。作者重点研究了从 BCDMS 实验测量的深非弹性散射（DIS）结构函数中重建非奇异三重态 PDF， $T_3(x, Q_0^2)$ 的问题。这作为一个受控的全局 PDF 拟合测试平台，其目标是从有限且含有噪声的间接测量值中重建一个连续函数。核心问题在于，虽然许多机器学习方法可以产生准确的中心值，但它们相关的误差估计往往缺乏“忠实性”（faithfulness）——即报告的不确定性在统计上并不与实际偏离真实底层函数的程度相一致。这在数据缺失的推断区域（例如小 $x$ 区域）以及存在相关实验不确定性的区域尤为关键。

方法论
本研究采用了闭合测试框架（closure-test framework），其中伪数据是根据已知的“真值”（NNPDF4.0 全局分析的中心值）并结合具有现实相关性的实验不确定性生成的。这使得能够将重建的函数及其不确定性与地面真值进行直接比较。作者比较了三种不同的方法论途径：

高斯过程（Gaussian Processes, GPs）： 使用不同核函数（径向基函数 RBF、Gibbs 和 Matérn 核）的贝叶斯非参数模型。作者测试了“原始”高斯过程以及结合了端点预处理（ $x^\alpha(1-x)^\beta$ ）的高斯过程，以编码对小 $x$ 和大 $x$ 行为的物理先验。
神经网络（Neural Networks, NNs）： 使用不同损失函数训练的多层感知器（MLP）集成：
- 标准均方误差（MSE）。
- 异方差 MSE（学习逐点方差）。
- $\chi^2$ 损失（纳入完整的实验协方差矩阵 $C_{exp}$ ）。
  神经网络在三个层级的闭合测试数据上进行训练：Level-0（无噪声）、Level-1（单次含噪声实现）和 Level-2（含噪声数据的蒙特卡洛副本）。
神经切向核（Neural Tangent Kernels, NTKs）： 对神经网络训练动力学的经验近似。作者在三个阶段评估 NTK：随机初始化、100 个 epoch 后以及完整训练（5000 个 epoch）后。这些被视为在给定数据条件下 GP 先验的协方差。

核心贡献与诊断工具
论文引入并应用了特定的诊断工具来评估不确定性的“忠实性”：

归一化偏差（Normalized Bias, $R_b$ ）： 一种在插值（数据）区域评估的诊断指标。它衡量集成平均值与真值的偏差是否在统计上与集成协方差兼容。作者强调， $R_b$ 不仅取决于预测带宽的逐点宽度，更关键的是取决于预测协方差的相关结构。
外推传播（Extrapolation Propagation）： 将重建的 $T_3$ 函数传播到 HERA 中性流减缩截面（包含 BCDMS 训练范围之外的 $x$ 值的数据集），以测试外推区域不确定性的可靠性。
不确定性分解： 研究区分了“数据不确定性”（偶然不确定性，来自 $C_{exp}$ ）和“模型不确定性”（认知不确定性，来自集成展宽），并分析了不同训练层级（L0, L1, L2）和损失函数如何传播这些成分。

结果
作者发现，尽管不同方法产生的中心重建值相当，但它们产生的确定性估计却可能截然不同，且往往是不忠实的：

损失函数的影响： 在数据区域，使用 MSE、异方差 MSE 和 $\chi^2$ 损失训练的神经网络产生的中心预测相似。然而，它们的不确定性差异显著。使用完整 $C_{exp}$ 的 $\chi^2$ 损失在插值区域产生了忠实的误差。异方差损失虽然捕捉了逐点方差，但未能考虑相关性，导致不校准的带宽。而完全忽略数据不确定性的标准 MSE 则产生了过窄的带宽，低估了真实的不确定性。
先验与预处理的作用： 函数先验的选择在外推区域占据主导地位。
- 对于高斯过程（GPs），仅靠核函数的选择是不够的；如果没有端点预处理，中心预测无法重建峰值。通过预处理，重建得到了改善，但由于构造原因，其不确定性在端点处（ $x \to 0, 1$ ）会消失，如果假设的指数（ $\alpha$ ）不正确，则无法覆盖真值。
- 对于神经网络（NNs），端点预因子稳定了外推过程，但也使不确定性取决于所假设的指数。具有不同小 $x$ 指数（ $\alpha=0.5$ 与 $\alpha=1.0$ ）的模型在数据区域表现一致，但在外推区域显著分歧。
NTK 性能： 在随机初始化阶段评估的 NTK 是一个较差的代理，严重低估了峰值并提供了不忠实的不确定性（ $R_b \approx 9.5$ ）。在训练后（100 或 5000 个 epoch）评估 NTK 改善了中心预测和不确定性校准，尽管训练后的 NTK 与完整的神经网络集成相比，仍产生略显保守的不确定性。
外推测试： 当传播到 HERA 数据时，除初始化阶段的 NTK 外，所有模型都通过了一致性检查。然而，不确定性带宽的行为各异：经过 $\chi^2$ 训练的 NN 集成（L2）在小 $x$ 区域显示出增长的不确定性并覆盖了真值；而经过预处理的 GPs 则显示出消失的不确定性，如果先验不匹配，则无法覆盖真值。

意义与主张
论文得出结论，闭合测试结合协方差感知诊断对于验证基于机器学习的逆问题中的不确定性至关重要。作者确定了控制不确定性忠实性的三个具体要素：

似然处理： 在似然函数中纳入完整的实验协方差矩阵（或通过副本进行传播）对于捕捉相关不确定性是必要的。
函数先验： 外推区域的不确定性很大程度上由函数先验（编码在核函数或端点预处理中）决定，而非由数据决定。因此，外推不确定性是基于这些建模假设的条件性结果。
NTK 的训练阶段： 对于 NTK 近似，必须在训练后的参数处评估核函数；初始 NTK 并不是训练后网络的忠实代理。

作者谦虚地声称，其结果说明了为什么仅凭中心值的一致性和对误差带宽的视觉检查不足以进行验证。他们认为，此处采用的过程——即结合已知真值的闭合测试、L0/L1/L2 层级的对比以及协方差感知的诊断——为验证物理逆问题中的机器学习方法提供了一个必要的框架，尽管他们也指出，为了充分表征偏差诊断的分布，对许多独立实现的系统性研究是下一步的必要工作。

类似论文