🤖 machine learning

A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning

本文指出在小样本贝叶斯深度学习评估中，仅报告单次实验的指标均值会掩盖巨大的估计误差，并发现具有学习异方差能力的模型在训练中期会出现显著且难以预测的指标方差峰值，因此建议从业者应报告指标随训练规模变化的轨迹特征而非仅提供终点均值。

原作者： Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Qishi Zhan, Minxuan Hu, Liang He, Guansu Wang, Jiaxin Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章的研究非常有意思，它揭示了人工智能（AI）领域一个被大家长期忽视的“统计陷阱”。

为了让你轻松理解，我们可以把这个复杂的学术问题比喻成**“厨师做菜”**的故事。

1. 核心问题：那个“单次评分”的陷阱

想象一下，你正在参加一个厨艺大赛。评委每次只吃一盘菜，然后给出一个分数（比如 85 分）。你觉得这个 85 分就是这个厨师的真实水平，对吧？

但问题是：厨师的状态是波动的。 有时候手感好，做得好吃；有时候手感不好，盐放多了。如果你只吃一次，你得到的 85 分可能只是因为他那天刚好手抖了，或者刚好那天食材新鲜。

在论文里：

厨师 = 深度学习模型（AI）。
做菜的过程 = 训练模型的过程（具有随机性，每次开始的参数、数据的顺序都不一样）。
评委的分数 = 评估指标（比如 CRPS，用来衡量 AI 预测得准不准）。
论文的发现 = 很多科学家在写论文时，只报了一个“单次评分”（只吃了一盘菜），就宣称“这个 AI 达到了 90 分的水平”。但实际上，这个分数可能因为运气好或坏，产生巨大的误差。

2. 论文的惊人发现：AI 的“情绪波动期”

论文发现，AI 的表现并不是随着学习的数据越来越多就越来越稳的。有些 AI 模型会经历一种**“青春期焦虑”**。

比喻：
有些厨师（比如论文里的 MAP 和 Deep Ensembles 方法）在刚学艺时（数据很少）表现还算稳定，等他学到一半、正处于“半桶水”阶段时（数据量中等），他的表现会变得极其不稳定。这一分钟做得像米其林大厨，下一分钟做得像黑暗料理。

这种**“中间阶段的剧烈波动”**（论文称之为 Variance Spikes）非常危险。如果你恰好在它“发疯”的时候去测试它，你得到的评分可能完全误导了你。论文举例说，在某个数据集上，单次测试的误差竟然能达到 93.6%！这意味着你看到的成绩可能完全是“假象”。

3. 为什么会这样？（背后的“心理机制”）

论文提出了一个深刻的解释：这和 AI 的**“学习目标”**有关。

比喻：
这些不稳定的厨师，他们的学习目标是：“不仅要做出好吃的菜，还要同时猜出这道菜会有多咸。”
这种目标太复杂了。当数据量不够多时，厨师会陷入一种**“死循环”**：他觉得菜太咸了，于是拼命加水；结果水加多了，他又觉得味道不对，又开始乱加盐。这种“自我怀疑”导致他在学习中期表现得极其混乱。

4. 解决方案：如何让 AI 变稳？

论文给出了两个建议：

换个学习目标（ $\beta$ -NLL）：
这就像告诉厨师：“你先专心把菜做好吃，至于这道菜有多咸，以后再说。”通过修改数学公式，让 AI 在学习时不要过度纠结于预测“波动性”，这样它的表现就会变得非常平滑、稳定，不再有那种“情绪化”的波动。
别只吃一盘菜（多重复实验）：
论文呼吁科学家们：别再只报一个分数了！你应该让厨师做 50 盘菜，然后报一个平均分，并告诉大家分数的波动范围。只有这样，我们才知道这个 AI 到底是真厉害，还是仅仅运气好。

总结一下（一句话版）：

这篇文章告诉我们：不要被 AI 论文里那个漂亮的单一分数给骗了，有些 AI 在学习过程中会经历“情绪不稳定期”，如果不进行多次重复测试，你看到的成绩可能只是它的一次“运气爆发”或“临场失误”。

这是一篇关于贝叶斯深度学习（Bayesian Deep Learning, BDL）基准测试可靠性的重要研究论文。以下是对该论文的详细技术总结：

1. 研究问题 (Problem Statement)

在有限数据设置下，贝叶斯深度学习的评估指标（如连续排位概率评分，CRPS）通常被报告为一个单一的终点均值（Endpoint Mean）。然而，由于训练过程和数据采样具有随机性，这个“均值”本身也是一个随机变量。

核心问题是： 现有的基准测试实践往往将这个单一的数值视为方法的稳定属性，但实际上，在某些特定的训练样本量（ $n$ ）区间内，单次实验（Single-seed）的结果可能极度偏离多次重复实验的真实均值。这种“单次实验评估失效”现象在何时发生？其背后的机制是什么？

2. 研究方法 (Methodology)

研究团队通过在 6 个回归数据集（包括合成数据和真实世界数据）上进行 50 次独立重复实验，构建了一个多维度的评估框架：

方差轨迹分析 (Variance Trajectory Analysis)： 研究 CRPS 的方差 $\text{Var}[\text{CRPS}_n]$ 如何随训练集大小 $n$ 变化。作者假设方差遵循幂律衰减模型 $\text{Var} \approx Cn^{-\alpha}$ ，并以此衡量轨迹的正则性（Regularity）。
方法分类：
- 直接参数化方法 (Direct Methods)： 如 MAP 和 Deep Ensembles，通过学习异方差（Heteroscedastic）输出头来直接预测方差。
- 隐式不确定性方法 (Implicit Methods)： 如 MC Dropout (MCD) 和 Bayes by Backprop (BBB)，通过随机采样或后验近似获取不确定性。
可靠性量化指标：
- 相对 RMSE (Relative RMSE)： 衡量单次实验值与重复运行均值之间的偏差。
- 置信概率： 单次实验结果落在重复运行均值 $\pm 10\%$ 范围内的概率。
- Spearman 相关系数： 用于验证局部方差是否能有效预测单次实验的估计误差。
干预实验： 使用 $\beta$ -NLL 替换标准的异方差负对数似然（NLL）目标函数，以探究优化目标对不稳定性贡献的程度。

3. 核心贡献 (Key Contributions)

揭示了“方差峰值”现象： 发现直接参数化方法在处理真实数据时，其评估方差轨迹并非平滑下降，而是在中间样本量阶段会出现显著的、可重复的局部方差峰值。
建立了双层评估视角：
- 训练规模层面 (Training-size level)： 利用局部方差作为风险信号，识别单次实验最容易失效的危险区域。
- 方法层面 (Method level)： 利用幂律拟合质量（ $R^2$ ）和单调性（Monotonicity）来总结方法的评估稳定性。
识别了不稳定的根源： 通过对比实验证明，标准异方差 NLL 目标函数中的梯度衰减机制（Gradient Attenuation）是导致中间样本量阶段评估不稳定的重要诱因。

4. 主要结果 (Key Results)

评估失效的严重性： 在 Seoul Bike 数据集上，MAP 方法在样本量 $n=100$ 时的相对 RMSE 高达 93.6%，单次实验落在均值 $\pm 10\%$ 范围内的概率仅为 5.9%。这意味着单次实验报告几乎完全无法代表该方法的真实性能。
方法间的显著差异：
- 隐式方法 (MCD, BBB) 的方差轨迹通常是平滑且单调的，具有很高的 $R^2$ 。
- 直接方法 (MAP, Ensembles) 在真实数据集上表现出高度的不规则性（低 $R^2$ 、非单调），并伴随明显的方差峰值。
局部方差的预测力： 局部方差与单次实验误差之间的 Spearman 相关系数在所有真实数据集上均超过 0.96，证明了局部方差是预测评估风险的极佳指标。
$\beta$ -NLL 的有效性： 引入 $\beta$ -NLL 后，MAP 方法的方差轨迹显著变得平滑且符合幂律（ $R^2$ 大幅提升），证明了通过改进优化目标可以有效抑制评估的不稳定性。

5. 研究意义 (Significance)

该研究对机器学习社区具有重要的实践指导意义：

改变基准测试报告规范： 警告从业者不要仅报告单一的终点均值，而应同时报告轨迹摘要（如 $R^2$ 和单调性），并特别关注高方差区域。
优化实验资源分配： 建议在评估时，不应在所有样本量上均匀分配重复实验次数，而应将计算资源集中在局部方差较大的“高风险”样本量区间。
指导模型训练： 对于需要学习异方差的模型，建议考虑使用 $\beta$ -NLL 等改进的目标函数，以获得更稳定、更可靠的性能表现。
理论启示： 研究表明，基准测试的不稳定性不仅是模型性能问题，更是一个测量问题。在有限数据下，随机训练流水线产生的测量误差可能掩盖方法的真实能力。