📊 statistics

Beyond Point Estimates: Distributional Uncertainty in Machine Learning Performance Evaluation

本文倡导在机器学习评估中采用分布视角，通过将性能指标视为随机变量并利用分位数和置信区间分析其经验分布，论证了即使在样本量较小的情况下，对模型变异性的有意义的统计推断也是可行的，从而支持更具风险导向性和差异化的模型比较。

原作者： Christoph Lehmann, Yahor Paromau

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Christoph Lehmann, Yahor Paromau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图完善一道新菜谱。在机器学习（ML）的世界里，“菜谱”就是模型，而“品尝测试”则是性能指标（如准确率或错误率）。

旧方法：单次品尝测试
传统上，当厨师（或数据科学家）评估一道菜谱时，他们只做一次、尝一次，然后说：“这碗汤的评分是 9 分（满分 10 分）。”他们把那个单一的数字视为绝对真理。

但问题在于：烹饪并非完全可预测。如果你改变添加食材的顺序、使用略有不同的香料批次，或者以不同的速度搅拌锅子，这碗汤每次的味道都可能略有不同。在机器学习中，这些“食材”包括数据如何划分、计算机如何启动计算，或者它如何调整其设置。

旧方法忽略了这一点。它假设一次品尝测试就能代表整锅汤。

新方法：“风味分布”
本文提出了一种新的思维方式：不要问“分数是多少？”，而要问“分数的范围看起来像什么？”

想象一下，你不是只尝一次汤，而是用略有不同的随机技巧烹饪 20 次。你会得到 20 个不同的品尝分数。

有些可能是 8.5 分。
有些可能是 9.2 分。
有一个可能是令人失望的 7.0 分。

本文建议，我们不应仅仅将这些分数平均得出一个"9.0 分”。相反，我们应该观察这 20 个分数的分布（离散程度）。这能让我们更清晰地了解可靠性。

通过类比解释的关键概念

1. “最坏情况”与“最好情况”（分位数）
这种方法不仅关注平均值，还关注分布的边缘。

类比： 想想天气预报。标准预报可能会说：“气温将是 75 华氏度。”但分布性预报会说：“气温很可能在 70 华氏度到 80 华氏度之间，但有 10% 的可能性会降至 65 华氏度。”
在本文中： 他们观察分布中的特定点，称为分位数。
- 第 90 百分位数可能会告诉你：“在 90% 的情况下，我们的模型表现至少如此好。”
- 第 10 百分位数可能会告诉你：“在 10% 的情况下，模型的表现差于此水平。”
- 这对于“风险”至关重要。如果你正在制造一辆自动驾驶汽车，你关心的不仅仅是平均速度，而是最坏的情况（分布的尾部）。

2. “置信区间”（安全网）
既然我们无法烹饪 1,000 次汤（这太耗时且昂贵），我们通常只烹饪几次（比如 10 到 25 次）。由于样本量小，我们对“最坏情况”的猜测可能不太稳固。

类比： 想象你从远处观察一棵树来猜测它的高度。你可能会猜"50 英尺”。但因为距离较远，你无法 100% 确定。于是你说：“我很确定它在 45 到 55 英尺之间。”这个范围（45–55）就是你的置信区间。
在本文中： 作者表明，即使只有少量“烹饪运行”（10–25 次），我们也可以计算出这些安全网。他们发现，虽然如果你观察极端尾部（非常差或非常好的情况），区间会变宽（精度降低），但它们对于中间地带仍然有用。

3. “小样本”挑战
本文承认了一个主要限制：运行机器学习模型 1,000 次既昂贵又缓慢。大多数人只能负担得起运行 10 到 25 次。

发现： 作者进行了大规模模拟（在计算机模拟中烹饪汤 1,000 次），以查看“真实”分布的样子。然后，他们取了 10、15 或 25 次运行的小切片，试图猜测整体情况。
结果： 即使只有 15 或 20 次运行，你也能对模型的稳定性有一个惊人的准确了解。你可以判断一个模型是“一致的”（所有分数都靠得很近）还是“不稳定的”（分数剧烈波动）。

为什么这很重要（根据本文）
本文认为，观察结果的离散程度比观察单一的平均值更好。

两个模型，相同的平均值： 想象模型 A 和模型 B 的平均准确率都是 87%。
- 模型 A 是一致的：它的分数始终在 86% 到 88% 之间。
- 模型 B 是狂野的：它有时得 95 分，但有时却跌至 70 分。
旧方法： 会说：“它们是一样的。”
新方法： 会说：“模型 A 更安全。模型 B 风险较大，因为其离散范围很宽。”

总结
本文是一份指南，指导我们从“分数是多少？”转向“这个分数有多可靠？”。它教导我们将机器学习结果视为固定数字，而应视为可能性的云团。通过使用统计工具来描绘这片云团（即使数据有限），我们可以更明智、更安全地决定信任哪些模型，特别是在失败不可接受的情况下。

作者提供了实用的方法来实现这一点，而无需复杂的数学假设，使其成为工程师和科学家现在就可以使用的工具。

技术摘要：超越点估计：机器学习性能评估中的分布不确定性

问题陈述

机器学习（ML）模型传统上采用性能指标的点估计（例如准确率、F1 分数、RMSE）进行评估。这种方法将性能视为固定值，未能捕捉由训练过程中的随机因素（如数据划分、权重初始化和超参数优化）引起的固有变异性。尽管这些因素常被承认为“混杂因素”，但通常缺乏系统性分析，主要聚焦于实现单一的最佳指标值。

本文主张，应将机器学习训练视为科学实验，其中目标感兴趣指标（TMoI）是依赖于这些混杂因素的随机变量。然而，由于计算成本的限制，实际约束往往将重复训练运行的次数（样本量 $n$ ）限制在小到中等范围内（例如 $n \approx 10\text{--}25$ ）。因此，在给定这些有限样本量的情况下，如何对潜在的性能分布进行有意义的统计推断存在空白，特别是对于风险导向应用（如医学、银行业）至关重要的尾部分位数。

方法论

该工作提出了一种分布视角，将性能指标视为随机量。方法论侧重于使用频率派统计来估计分位数及其对应的置信区间（CIs）。

统计框架

研究假设目标感兴趣指标（TMoI）值来自种子控制的训练运行，且为独立同分布（i.i.d.）样本。它评估了两个主要统计任务：

分位数的点估计：本文比较了两种估计量：
- 样本分位数（ $\hat{Q}$ ）：基于顺序统计量（阶跃函数）。
- 线性插值分位数（ $\hat{Q}_L$ ）：一种更平滑的估计量，使用顺序统计量的线性插值。
区间估计（置信区间）：除了作为基线的均值标准 $t$ $t$ 区间外，还研究了三种非参数方法来构建分位数的置信区间：
- 精确非参数置信区间：基于顺序统计量和二项分布。这些方法是无分布的，但对于给定的置信水平，需要特定的最小样本量才能存在。
- 渐近非参数置信区间：基于样本分位数的渐近正态性。这些方法也有最小样本量要求，特别是对于极端分位数。
- 半参数 Bootstrap 置信区间：使用半参数分位数估计量（Hut02），该估计量利用分位数函数外推至尾部。这种方法避免了严格的参数假设，同时解决了标准 Bootstrap 在尾部附近分位数上的不稳定性。

实验设计

该方法论通过两个主要途径进行验证：

真实数据用例：分析了三个机器学习任务：
- 辛普森角色：图像分类（20 类）。
- CIFAR10：图像分类（10 类）。
- 超导体：回归（预测临界温度）。
  对于每个任务，执行了约 500–1,000 次种子控制的重复实验，以生成“真实”经验分布。从中抽取较小的子样本（ $n=10, 15, 25, 50$ ），以模拟现实约束并测试估计量的性能。
模拟研究：使用具有有界支撑（与准确率等指标相关）且形状各异（左偏 Beta 分布、正态分布和正态混合分布）的分布进行受控模拟，以在已知理论条件下验证方法的鲁棒性。

主要结果

点估计

偏差和 RMSE：样本分位数和线性插值估计量均表现出较低的相对偏差（最大 $\approx 1\%$ ）和可比的均方根误差（RMSE）。
分布形状：对于中心分位数（约 0.5），估计更为可靠；而对于尾部分位数（例如 0.05, 0.95），估计则更具挑战性。
估计量选择：在测试的样本量和分布下，样本分位数与线性插值估计量之间没有实质性的实践差异。

区间估计

覆盖率和样本量：
- 对于样本量高达 $n=25$ 的情况，建议置信水平为 0.90。更高的置信水平（例如 0.95 或 0.99）会导致区间过长，从而降低精度，特别是在小 $n$ 的情况下。
- 精确和渐近置信区间：当满足样本量要求时，这些方法表现良好。然而，对于小样本量（例如 $n=10$ ）下的极端分位数，它们通常无法生成有效的区间。
- Bootstrap 置信区间：当其他方法因样本量限制而无效时，半参数 Bootstrap 提供了一种实用的替代方案。虽然它们可能表现出略低的经验覆盖率（对于 $n=10$ 降至 $\approx 0.85$ ）且区间较长，但在精确/渐近方法无法计算的情况下，它们仍然适用。
不对称性：估计不确定性是不对称的；对于相同的置信水平，较低的分位数通常比分位数较高的分位数需要更大的样本量。这可以通过转换指标（例如，对准确率使用 $-X$ ）将感兴趣的分位数移至上尾来缓解。
与均值的比较：均值的 $t$ 区间始终产生更短且高度稳定的区间。然而，本文指出，虽然均值是稳定的，但它无法捕捉尾部行为和风险。所提出的分位数置信区间虽然更宽，但提供了关于变异性和最坏情况场景的必要信息。
分布影响：底层分布的偏度和多峰性显著影响区间长度。例如，在偏态分布中，长尾中的分位数表现出更高的不确定性和更长的置信区间。

意义与主张

本文声称通过提供一个在现实计算约束下可行的分布评估框架，弥合了统计理论与机器学习实践之间的鸿沟。

风险导向解释：主要贡献是使模型性能能够以风险为导向进行解读。从业者不再依赖平均值，而是可以做出概率陈述（例如，“准确率在最多 10% 的情况下低于 90%"），并由置信区间提供支持。
小样本可行性：研究表明，即使在小样本量（ $n \approx 10\text{--}25$ ）下也能进行有意义的统计推断，这在机器学习中由于重复训练的高成本而很常见。
实际适用性：所提出的方法（特别是非参数渐近置信区间和半参数 Bootstrap）是无分布的、易于实现的，并且适用于分类和回归指标。
差异化模型比较：该方法允许对模型进行更细致的比较。两个模型可能具有相似的均值性能，但它们的置信区间可以揭示点估计所忽略的稳定性和变异性差异。

作者总结道，虽然标准的点估计不足以应对高风险应用，但所提出的分布评估为标准机器学习工作流程提供了一种实用的扩展，无需参数假设即可提供更详细的不确定性表征。