📊 statistics

Enforcing tail calibration when training probabilistic forecast models

本文表明，通过加权评分规则和尾部校准正则化来调整损失函数，可以提高极端事件（如英国风速）概率预测的校准度，尽管这种改进会以常见结果的校准度为代价。

原作者： Jakob Benjamin Wessel, Maybritt Schillinger, Frank Kwasniok, Sam Allen

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jakob Benjamin Wessel, Maybritt Schillinger, Frank Kwasniok, Sam Allen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名天气预报员，但你不是只说“会下雨”，而是一位预测餐食的厨师。你端上的不是一道菜，而是一份概率菜单。你告诉客人：“有 70% 的概率是意大利面，20% 的概率是披萨，还有 10% 的概率是惊喜沙拉。”

在数据科学的世界里，这被称为概率预测。其目标是确保你的菜单与现实相符。如果你说有 10% 的概率会提供沙拉，而在 100 天里你实际上确实提供了 10 次沙拉，那么你的预测就是“校准”的。它是值得信赖的。

然而，存在一个大问题：极端事件。

问题：“惊喜沙拉”灾难

想象你的餐厅位于一个风暴频发的地区。大多数日子天气温和（意大利面或披萨）。但偶尔，一场巨大的飓风会来袭（那实际上是一场龙卷风的“惊喜沙拉”）。

该论文指出，即使是最聪明、技术最先进的厨师（机器学习模型）也擅长预测温和的日子，却极不擅长预测极端风暴。他们可能会说：“哦，龙卷风的概率只有微不足道的 1%。”而实际上，风暴正在逼近。

为什么？因为这些模型被训练成“平均表现良好”。它们专注于把常见日子（意大利面和披萨）预测正确，因为这些情况占了 99% 的时间。它们忽略了罕见且危险的日子，因为它们不想在这些事情上浪费“校准积分”。

作者将这种现象称为缺乏尾部校准。“尾部”指的是概率曲线的最末端——那些极端、罕见的事件。如果你的预测没有经过“尾部校准”，那么在你本该尖叫“快跑命要紧！”的时候，你却可能保持冷静。

解决方案：改变“记分牌”

在机器学习中，模型通过试图在测试中获得最高分来学习。通常，测试使用的是标准的“准确度分数”（如CRPS或对数分数）。这种记分牌奖励你正确预测常见事物的表现。

该论文建议我们需要改变记分牌，以迫使模型关注风暴。他们提出了两种主要方法：

1. “加权分数”（VIP 通行证）

想象标准测试中，正确预测意大利面得 1 分，而正确预测龙卷风只得 0.1 分。模型因此忽略了龙卷风。

作者建议给龙卷风预测一张VIP 通行证。他们使用加权评分规则。现在，正确预测龙卷风价值 100 分。

比喻：这就像告诉厨师：“如果你正确预测了那道罕见且危险的菜肴，你就获得一颗金星；如果你正确预测了那无聊的意大利面，你就获得一颗普通星。”
结果：厨师开始关注龙卷风。但是，因为他们如此专注于龙卷风，他们可能会在意大利面的预测上稍微出错。

2. “校准偏差惩罚”（严格的检查员）

这是一种更直接的方法。作者不是在分数上调整，而是在记分牌上增加了一项惩罚。

比喻：想象一位严格的卫生检查员（正则化项），他不在乎食物有多美味，只关心菜单是否与厨房的实际产出相符。如果菜单上写着“有 10% 的概率提供沙拉”，但厨房实际上 50% 的时间都提供了沙拉，检查员就会给厨师开出一张巨额罚单。
转折：他们专门为尾部（极端事件）创造了一位特殊的检查员。这位检查员只检查龙卷风的预测。如果模型在龙卷风预测上撒谎，它将受到重罚。
结果：厨师因害怕罚款而惊恐，于是调整他们的龙卷风预测，使其完全准确。

权衡：鱼与熊掌不可兼得

该论文最重要的发现是一种权衡。

当你迫使模型在预测极端风暴方面做到完美（使用这些新的记分牌）时，它在预测平静、日常天气方面往往会变得稍差。

类比：这就像一个学生只为了期末考试中最难的问题而学习。他们可能会攻克高难度的微积分问题（风暴），却忘记了基础算术（晴朗的日子）。
论文主张：作者在英国的风速数据上测试了三种不同类型的“厨师”（简单的数学模型、神经网络和复杂的生成模型）。他们发现，使用标准方法时，所有三种模型都无法准确预测极端风速。但是，当他们应用新的“尾部校准”惩罚时，这些模型在预测风暴方面变得好得多，即使它们在预测温和微风方面稍微变差了。

总结

问题：AI 天气模型擅长预测平均日子，却不擅长预测极端灾难，因为它们被训练成追求“平均”。
对策：作者改变了训练规则（损失函数），如果模型在极端事件上出错，将对其进行严厉惩罚。
结果：模型在极端事件（如强风）上的可靠性大大提高，但代价是对于正常、日常天气的预测准确性略有下降。
启示：如果你需要就关乎生死的极端事件做出决策，你就必须专门针对这些事件训练你的模型，即使这意味着它们在其他时间并非完美无缺。

该论文得出结论：虽然我们无法完美地预测一切，但我们可以利用这些新的“记分牌”，确保当风暴来袭时，我们的预测实际上是真实的。

技术摘要：训练概率预测模型时强制尾部校准

问题陈述
概率预测通常通过在训练数据上优化适当的评分规则（例如 CRPS 或对数评分）来估计模型参数，从而生成预测。虽然当模型类别设定良好时，这种方法能产生准确的预测，但现实世界的应用往往涉及设定不当的模型或数据有限。在这种情况下，优化标准的适当评分规则并不能保证生成的预测是校准的（可靠的）。这一问题对于极端事件尤为关键，因为极端事件往往带来最大的社会经济影响。最近的研究（Allen 等人，2025b）表明，预测可以满足标准的概率校准（概率积分变换，即 PIT 值的均匀性），却未能实现“尾部校准”——即对极端结果的预测不可靠。标准的训练程序无法保证尾部校准，而加权评分规则虽然可以针对极端结果，但并不能内在强制尾部校准。

方法论
作者研究了两种主要策略，通过在模型训练期间调整损失函数来强制实现尾部校准：

加权评分规则：作者利用加权评分规则（例如阈值加权 CRPS 或删失似然评分），将更高的权重放在特定阈值 $t$ 以上的结果上。他们提出将这些规则与未加权评分相结合（例如 $CRPS + \gamma \cdot twCRPS$ ），以保持严格的适当性，并避免单独使用加权规则时可能出现的解不唯一的问题。
通过误校准惩罚进行正则化：借鉴 Wilks (2018) 的工作，作者提出在损失函数中添加一个正则化项，直接惩罚误校准。
- MCB（误校准）：基于 PIT 值的经验分布与标准均匀分布之间的 Wasserstein-1 距离的惩罚项。
- TMCB（尾部误校准）：针对尾部对 MCB 概念的新颖改编。该指标惩罚条件 PIT（CPIT）值（针对超过阈值 $t$ 的结果）偏离均匀性的程度，同时也考虑了阈值超越的预测概率。TMCB 定义为尾部预测的经验分位数函数与恒等函数之间的 Wasserstein-1 距离。

这些方法被应用于英国风速概率预测的三个灵活程度递增的模型层级：

集合模型输出统计（EMOS）：一种简单的参数化方法（截断正态分布）。
分布回归网络（DRNs）：使用神经网络对 EMOS 进行的非线性扩展。
条件生成模型（CGMs）：非参数、基于样本的生成模型。

这些模型在英国气象局的风速数据（10 米风速）上进行训练，并以 12.5 m/s（约第 97.5 百分位）的阈值进行评估。

主要贡献

尾部误校准的经验证明：研究表明，当使用标准适当评分规则训练时，最先进模型（参数化、神经网络和生成式模型）无法发布针对极端风速的尾部校准预测，即使它们在整体上看起来校准良好。
尾部校准正则化：作者引入并实现了一个 TMCB 正则化项，在训练过程中明确惩罚尾部误校准。
权衡分析：该工作量化了提高尾部可靠性与保持整体预测准确性和校准度之间的权衡。

结果

模拟研究：在受控模拟中，惩罚尾部误校准成功地将模型参数推向尾部校准的解，而标准优化未能做到这一点。
天气预报应用：
- EMOS：惩罚尾部误校准（TMCB）或使用阈值加权 CRPS（twCRPS）显著改善了尾部校准（TMCB 技能提升高达约 65%），但导致整体校准度恶化（MCB 技能下降约 187%），且整体 CRPS 略有下降。
- DRNs：标准 CRPS 训练导致不同随机初始化下的尾部校准高度可变。使用 TMCB 或 twCRPS 进行正则化减少了这种变异性并改善了尾部校准，但代价是整体校准度下降。
- CGMs：与 DRNs 类似，标准训练产生了误校准的尾部。正则化改善了尾部校准并减少了模型运行间的变异性，其中 TMCB 正则化在尾部指标上显示出最强的改善效果。
一般发现：在所有模型类别中，通过正则化或加权评分强制尾部校准提高了极端事件预测的可靠性，但引入了权衡，即整体概率校准度有时甚至预测技能（CRPS）会受损。

意义与主张
该论文声称，当前最先进的概率预测模型并不能内在产生针对极端事件的校准预测。这项工作的意义在于证明，在训练过程中对损失函数进行适当的调整可以提高极端事件预测的可靠性。

作者谦逊地将他们的贡献框架化为一种“弱强制”尾部校准的方法。他们承认，这种方法引入了权衡：提高尾部可靠性通常以牺牲整体校准度和锐度为代价。他们指出，虽然他们的框架对研究的风速数据有效，但结果特定于所选的阈值和模型类别。论文建议未来的工作应探索多目标优化和更强的校准概念（例如共形预测），但强调所提出的正则化为需要更可靠极端事件预测的从业者提供了一种实用且可实施的方法。