📊 statistics

Model selection with proper scoring rules on data sets of time series

本文研究了得分分布的偏斜如何导致均值、中位数和基于秩次的统计量在时间序列数据上产生冲突的模型选择结果，并证明了尽管这些准则在大规模测试集下会趋于一致，但均值得分在识别短测试集上的真实模型方面具有独特的可靠性，这一点已在包括 M5 竞赛在内的间歇性时间序列分析中得到了证实。

原作者： Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名教练，正试图为你的球队挑选最优秀的球员。你拥有一个庞大的球员名单（时间序列），你想看看谁的平均表现最好。为了评判他们，你使用了一张“计分卡”（适当评分规则），每当他们犯错时，就会给出一个惩罚数值。数值越低，表示球员越优秀。

这篇论文讨论的是当你拥有众多球员和众多比赛时，该如何阅读这张计分卡。作者发现，我们通常统计分数的方式有时会误导我们，让我们选错球员，尤其是在比赛进程较短或错误虽然罕见但影响巨大的情况下。

以下是使用简单类比进行的解析：

1. 问题所在：两种计数方法

当你拥有一支球员队伍时，你不能只看一场比赛。你必须结合他们的结果。论文指出，教练们通常有两种主要的统计方式：

方法 A：“平均惩罚值”（均值缩放得分）。 你记录一名球员获得的每一个惩罚点数，将它们全部相加，然后除以比赛场数。这告诉了你错误的平均成本。
方法 B：“胜负记录”（平均排名）。 你不看具体的分数。相反，你只是询问：“在多少场比赛中，球员 A 击败了球员 B？”你统计的是胜场。如果球员 A 赢得了更多的比赛，他就获得顶尖位置。

2. 陷阱：“巨大错误”造成的偏差

作者发现，对于某些类型的预测（例如预测稀有事件或高数值），“计分卡”是倾斜的。

类比：
想象一场比赛，你通常只会犯一些小错误（比如绊到鞋带），但偶尔你会犯一个巨大的、灾难性的错误（比如掉下悬崖）。

“平均惩罚值”（方法 A） 看到了掉下悬崖的过程。它累加了所有的绊脚动作和那一次巨大的坠落，给出了一个很高的平均惩罚。它知道你是危险的。
“胜负记录”（方法 B） 是逐场观察比赛的。在 100 场比赛中的 99 场里，你只是绊了一下鞋带，这是一个微小的惩罚。而在剩下的 1 场中，你掉下了悬崖。
- 如果你的对手是一个从不掉下悬崖、但绊脚次数稍多的对手，方法 B 可能会说：“嘿，你赢了 99 场！你是冠军！”
- 但 方法 A 会说：“等等，那一次掉下悬崖让你损失了整个赛季。你的平均惩罚实际上更糟。”

论文认为，方法 B（平均排名） 是危险的，因为它忽略了错误的大小。它只关心谁在单个回合中赢得多。如果“掉下悬崖”（巨大的错误）是罕见的，方法 B 往往会漏掉它们，尤其是在你观察的比赛不够多（测试集较短）的情况下。

3. 解决方案：观看更多比赛

作者通过模拟实验，观察了当我们观看更多比赛时（增加测试集规模）会发生什么。

短测试集（比赛较少）： 方法 B 是不可靠的。它经常会选出一个靠着偶然避开了大错而显得“幸运”的玩家，即便该玩家的平均表现其实更差。
长测试集（比赛较多）： 随着你观看的比赛越来越多，“掉下悬崖”的情况最终会频繁出现，从而让方法 B 开始看到真相。此时，两种方法会趋于一致。

核心发现： 如果你只有较短的数据历史（短测试集），方法 A（平均惩罚值） 是唯一能始终如一地选出真正最佳模型的办法。方法 B 太容易被规避罕见巨大错误的“运气”所蒙蔽。

4. 现实世界测试：M5 竞赛

作者利用来自著名的“M5 预测竞赛”的真实数据对论文进行了测试，该竞赛涉及预测成千上万种产品的销量（其中一些是“间歇性”的，即销售非常罕见）。

他们对比了两个数学模型：

泊松模型 (Poisson Model)： 一个较简单的模型。
负二项分布模型 (Negative Binomial Model)： 一个以处理“需求激增”能力更强而闻名的复杂模型。

发生了什么？

当在短数据上使用 方法 B（平均排名） 时，它经常会选择 泊松模型。它认为这个较简单的模型更好，因为它在单个回合中“赢”得更多。
当使用 方法 A（平均惩罚值） 时，它始终能选出 负二项分布模型，正确识别出后者在处理那些巨大的需求激增方面表现更好。

作者得出结论，“平均惩罚值” 才是正确的。“胜负记录” 被骗了，因为它在测试集过短时，无法捕捉到那些由于模型缺陷导致的罕见且巨大的错误。

5. 衡量惩罚的方式是否重要？

论文还检查了改变衡量惩罚的“尺子”（缩放因子）是否会改变结果。

好消息： “平均惩罚值”方法非常稳健。无论你用美元、百分比还是相对于基准线来衡量惩罚，它几乎总能选出相同的获胜者。
坏消息： “胜负记录”方法非常脆弱。它会根据你衡量方式的不同以及你拥有的数据量多少而产生波动。

总结

如果你想挑选最好的预测模型：

不要只数胜场。（不要仅仅依赖平均排名）。
观察错误的平均成本。（使用平均缩放得分）。
对短数据保持警惕。 如果你的历史数据不够长，“胜负记录”法很可能会误导你，让你选出一个在纸面上看起来很好、但在罕见重大事件发生时会失败的模型。

这篇论文本质上是在说：“不要因为一个通过躲避一次巨大灾难而获得好运的玩家，就误以为他是最优秀的玩家。要看他的整体平均表现。”

技术摘要：基于适当评分规则的时间序列数据集模型选择

问题陈述
本文探讨了在包含多个时间序列的数据集中选择最佳概率模型的挑战。虽然在单个时间序列上进行模型选择非常直接（选择得分最低的模型），但要在 $n$ 个时间序列上聚合性能则需要汇总统计量。两种最常见的方法是平均缩放得分（在缩放以确保可比性后对得分取平均）和平均排名（对各序列中的模型排名取平均）。既往文献指出，这两类准则可能会产生冲突的决策，但其潜在原因以及每种准则的可靠性尚不明确。此外，平均缩放得分对缩放因子选择的敏感性也是一个悬而未决的问题。

方法论
作者通过理论分析、模拟实验以及在真实世界间歇性时间序列数据上的实证评估来研究这些问题。

偏斜性的理论分析： 本文分析了常用适当评分规则（分位数得分、区间得分、CRPS）的点值得分分布。研究表明，这些分布本质上是偏斜的，特别是在高分位数（ $p > 0.5$ ）时。这种偏斜性源于低估误差（对于高分位数而言是稀有事件）受到的惩罚远重于高估误差。
模拟研究： 进行了一项模拟研究，将真实模型（ $N(0, 1)$ ）与误设模型（ $N(0, 0.85^2)$ ）在不同测试集长度（ $n_{te}$ ）下进行对比。该研究评估了平均得分（估计期望值）和平均排名（估计中位数差异）如何随 $n_{te}$ 的增加而变化。
实证评估： 作者将这些准则应用于三个间歇性需求数据集：M5 竞赛的底层序列（30,490 个序列）、Auto（3,000 个序列）和 RAF（5,000 个序列）。他们比较了 Poisson 分布和 负二项分布（由于过度离散，后者在理论上更适合间歇性需求）在不同评分规则（CRPS、不同分位数的 QS）和不同缩放因子（MAE 朴素法、样本内均值、经验分布的样本内得分）下的表现。

核心贡献与发现

冲突的根源： 本文确定了平均排名与平均缩向得分之间决策冲突的原因在于得分分布的偏斜性。
- 平均缩放得分估计的是评分规则的期望值。
- 平均排名（以及相关的统计量如胜率或中位数得分）实际上估计的是中位数差异。
- 当得分差异的分布呈现偏斜时（这在短 $n_{te}$ 或高分位数情况下很常见），均值和中位数可能会指向不同的“最佳”模型。具体而言，误设模型在短测试集上可能会频繁获得较低的得分，因为它避开了那些被重罚的稀有低估误差，从而导致平均排名错误地偏向误设模型。
随测试集规模的收敛性： 随着测试集长度（ $n_{te}$ ）的增加，得分分布变得更加对称（由于中心极限定理），平均排名和平均缩放得分逐渐收敛到相同的结论。然而，对于短测试集，只有平均得分能可靠地识别出真实模型。
平均缩放得分的稳健性： 作者在 M5、Auto 和 RAF 数据集上的实证结果表明，基于平均缩放得分的决策是稳健的。它在所有测试集长度和所有测试的缩放因子下，都能一致地选择理论上更优的负二项分布模型。
缩放因子的敏感性： 与认为模型选择高度依赖于缩放因子的风险相反，研究发现在使用平均缩放得分时，缩放因子的选择（例如 MAE 朴素法 vs 样本内均值）对最终模型选择决策的影响很小。决策在不同的缩放方法之间保持稳定。
平均排名的可靠性： 研究表明，平均排名是不够可靠的准则，尤其是在处理短测试集及高分位数评估时。在 M5 数据集的实验中，即使在序列数量相当多的情况下，平均排名在处理高分位数（QS0.975, QS0.995）时仍倾向于较差的 Poisson 模型，而平均缩放得分则正确识别出了负二项分布。

意义与建议
本文得出结论，基于适当评分规则的模型选择从根本上要求估计得分的期望值。由于非均值统计量（平均排名、中位数、胜率）并不估计期望值，因此当评分分布发生偏斜时（这在具有短测试集或高分位数预测的时间序列中十分普遍），它们可能会导致错误的模型选择。

作者建议：

在进行模型选择时，优先考虑平均缩放得分而非平均排名，因为它是期望得分的直接估计量。
在依赖平均排名时要保持谨慎，特别是针对高分位数水平或较小的 $n_{te}$ 。
通过检查不同缩放因子下的结果来验证结论，尽管研究表明特定因子的选择并不像之前假设的那样关键。
承认确定确保收敛所需的“足够大”的 $n_{te}$ 的确切阈值仍然很困难，且取决于具体的评分规则和数据分布。

本文并未提出新的评分规则或特定的未来应用，而是为在概率时间序列模型选择中优先使用基于均值的聚合而非基于排名的聚合提供了关键的理论和实证依据。