📊 statistics

Measures of predictive accuracy, miscalibration and discrimination

本文批判了诸如 ABC 和基尼分数等广泛使用的预测准确度指标，指出其与均值一致损失函数不相匹配，并提出了一种新的默菲分解和基于洛伦兹曲线的度量方法，以确保诚实的模型评估和稳健的预测优势分析。

原作者： Łukasz Delong, Mario Wüthrich

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Łukasz Delong, Mario Wüthrich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位教练，正试图为你的城镇挑选一位最佳天气预报员。你有两位候选人：爱丽丝和鲍勃。他们每天都会给你一个数字来预测气温。你该如何决定谁更优秀？

这篇论文就像教练的规则手册，由统计学家 Lukasz Delong 和 Mario Wüthrich 撰写。它指出，我们通常评判这些预报员的方式往往存在缺陷，并提出了一种更好、更诚实的评判方法。

以下是他们研究发现的简要分解，使用了简单的类比：

1. 黄金法则：一致性

论文首先确立了一条基本规则：你必须使用与训练预报员时相同的“标尺”来评判他们。

如果你希望预报员预测的是平均气温，你就必须根据他们与平均值的接近程度来评判他们。如果你使用不同的标尺（例如，一种只惩罚预测过高却忽略预测过低的标尺），你可能会选出一位实际上根本不擅长预测平均值的“获胜者”。作者认为，我们应该使用“一致性损失函数”（具体称为Bregman 散度）。你可以将其想象为一个完美校准的秤，只有当你称量正确的物体时，它才能准确测量重量。

2. 预测中的两个缺陷

作者利用一个称为**墨菲分解（Murphy's Decomposition）**的概念，将预测的表现分解为两个部分。想象一下，预测就像向靶心投掷飞镖。

校准偏差（Miscalibration，即“瞄准”）： 这衡量预报员是否“诚实”。如果预报员说“气温将是 70 度”，那么平均而言，实际气温真的会是 70 度吗？如果他们持续偏离（例如，他们总是说 70 度，但实际是 65 度），那么他们就是“校准偏差”的。
区分度（Discrimination，即“散布”）： 这衡量预报员是否“有用”。如果预报员每天都说“气温将是 70 度”，他们可能校准得完美无缺（如果平均值确实是 70 度），但他们毫无用处，因为他们无法告诉你何时会热、何时会冷。一位优秀的预报员需要调整其预测以匹配变化的天气。

3. 流行工具的问题（"ABC"和"Gini"分数）

在现实世界（尤其是保险和金融行业）中，人们喜欢使用两种特定工具来评判预报员：

ABC 分数： 这观察两条曲线（洛伦兹曲线和集中曲线）之间的面积。这就像查看图表，以观察预报员的预测与真实情况相比“波动”了多少。
基尼指数（Gini Index）： 这是一个著名的统计量，用于衡量不平等（如财富）。在这里，它被用来观察预报员的预测变化程度。

论文的重大警告：
作者证明，这些流行工具是“不诚实”的评判者。

“移动标尺”问题： ABC 和基尼分数会根据被评判的对象改变规则。这就像足球比赛中的裁判，会根据参赛球队的不同而改变球门的大小。如果你使用这些分数来挑选最佳预报员，你可能会选出一位仅仅碰巧符合裁判不断变化的规则的人，而不是真正最优秀的人。
“零”陷阱： 作者表明，即使预报员在撒谎（存在校准偏差），ABC 分数也可能为零（完全平坦）。这就像一辆正在倒车行驶的汽车，速度表却显示"0 英里/小时”。新的ABC2分数修正了这一特定陷阱，但它仍然受困于“移动标尺”问题。

解决方案： 坚持使用墨菲分解指标。这些指标使用“一致性标尺”（Bregman 散度），并且不会根据预报员的不同而改变规则。它们能提供公平、诚实的比较。

4. 曲线交叉时（打破平局）

通常，我们通过观察预报员的曲线来比较他们。如果一条曲线始终位于另一条之上，很容易判断谁更好。但在现实生活中，曲线经常相互交叉（就像两名赛跑者在比赛中互换位置）。

旧观点： 如果曲线交叉，我们就很难轻易判断谁更好。
新观点： 作者表明，当这些曲线交叉时，它们交叉的次数与“墨菲曲线”（用于一致性标尺的技术图表）交叉的次数相同。
新规则： 如果曲线恰好交叉一次，我们仍然可以做出公平的决定，但必须更加具体。我们不能只说“预报员 A 更好”。我们必须说，“如果我们更关心大风暴（高方差），预报员 A 更好”，或者“如果我们更关心小雨，预报员 B 更好”。

他们证明，在这些交叉场景中，方差（预测波动的程度）成为决定因素，而不是基尼指数。

总结：你应该怎么做？

如果你正在评估预测（如天气、保险风险或股票价格）：

不要依赖 ABC 分数或基尼指数来挑选获胜者。它们就像会在比赛中途改变规则的偏袒裁判。
使用墨菲分解。 它使用一致且不可改变的标尺，将分数分解为“诚实度”（校准偏差）和“有用性”（区分度）。
如果图表交叉， 不要惊慌。观察方差以及你关心的特定错误类型。这篇论文为你提供了一种新的、数学上合理的方法，即使在比赛胶着时也能决定谁获胜。

简而言之：停止使用那些作弊的、花哨的流行指标。使用那些诚实、一致、真正衡量你所声称内容的指标。

技术摘要：预测准确性、校准偏差与区分度的度量

问题陈述
本文探讨了针对响应变量 $Y$ 均值的实值点预测器的评估。在 Gneiting (2011) 建立的决策理论框架内，点预测的评估依赖于一致性损失函数，具体为Bregman 散度，其中最优预测为条件均值。虽然评估的主要标准是期望损失（准确性），但良好的预测还必须表现出均值校准（预测器等于条件均值）和高区分度（预测器相对于无条件均值有显著变化）。

作者指出了文献中关于广泛使用的实用指标的一个空白：用于衡量校准偏差的浓度曲线与洛伦兹曲线之间的面积（ABC）、用于衡量区分度的基尼指数，以及它们的平方变体。尽管这些指标在精算科学和机器学习中很流行，但它们与一致性评分规则的决策理论要求之间的理论一致性尚不明确。具体而言，目前尚不清楚这些指标是否能提供不依赖于被评估的具体预测器的“诚实”评估。

方法论
本研究在一个决策理论设定下展开，其中 $(Y, X)$ 为随机对， $X$ 是 $\mathcal{A}$ -可测预测器， $L$ 是对均值一致性的损失函数。作者利用了以下工具：

Bregman 散度：由凸函数 $\phi$ 表征，或作为基本 Bregman 散度 $L_\theta$ 关于测度 $H$ 的积分。
Murphy 分解：将期望损失分解为不确定性、区分度和校准偏差三个组成部分。
洛伦兹曲线与浓度曲线：精算背景下衡量不平等和校准的标准工具。
随机占优：利用三阶随机占优和 Murphy 曲线的性质，分析曲线相交时的预测占优情况。

主要贡献与结果

1. Murphy 分解的新版本
作者推导了 Murphy 分解的一种新表述，其中校准偏差和区分度项仅依赖于预测器及其条件期望，而不直接依赖于响应变量 $Y$ 。

**校准偏差（$MCB $）**：定义为$ S_L(E[Y|X], X)$，衡量预测器与其校准版本之间的差异。
**区分度（$DSC $）**：定义为$ S_L(E[Y|X], E[Y])$，衡量校准后的预测器与无条件均值之间的差异。
意义：该表述提供了更直观的几何解释，并对响应变量的尾部性质具有鲁棒性，因为一旦条件均值确定，响应变量 $Y$ 便不再显式出现在统计量中。

2. 对 ABC 和 ABC2（校准偏差度量）的批判
本文研究了ABC统计量（洛伦兹曲线与浓度曲线之间的面积），并引入了一种新的均方版本 ABC2。

ABC 的局限性：作者证明，$ABC=0 $是均值校准的必要但**非充分**条件。一个预测器可能具有$ ABC=0$ 但却是未校准的（例如，当洛伦兹曲线与浓度曲线相交时）。
ABC2 的性质：$ABC2=0$ 被证明是均值校准的必要且充分条件。
理论错位：关键在于，ABC 和 ABC2 均被证明依赖于依赖于预测器的权重。它们无法表示为单一固定 Bregman 散度的期望损失。因此，它们无法与一致性评分规则的决策理论框架相一致。本文表明，最小化带有依赖于预测器权重的加权 Bregman 散度可能导致“不诚实”的预测，即有偏预测器优于无偏预测器。

3. 对基尼指数（区分度度量）的批判
作者将基尼指数与 Murphy 分解中的区分度项联系起来。

分解：基尼指数被证明是 Murphy 区分度项（基于特定于预测器的 Bregman 散度）与平均绝对偏差项之和。
理论错位：与 ABC 类似，基尼指数隐含了一个依赖于预测器本身分布的损失函数（ $H(\theta) = F_X(\theta)$ ）。正如 Hand (2009) 在分类问题中指出的那样，这意味着基尼指数使用不同的指标评估不同的分类器，违背了一致性评分规则的原则。
排序差异：本文提供了示例，表明当洛伦兹曲线相交时，基尼指数对预测器的排序与 Murphy 区分度项的排序存在差异。

4. 曲线相交时的预测占优
鉴于在实践中非相交的洛伦兹曲线（严格占优）较为罕见，作者将理论扩展到了曲线相交的情况。

交叉点的等价性：已证明，对于均值校准的预测器，洛伦兹曲线之间的交叉点数量与 Murphy 曲线之间的交叉点数量相同。
单次交叉占优：在单次交叉的情况下，作者利用三阶随机占优为 Bregman 散度的子类建立了较弱的占优标准。
方差的作用：与在单次交叉情况下无法提供一致排序的基尼指数不同，排序由预测器的方差和特定类别的 Bregman 散度（由生成函数 $\phi$ 的凸性性质表征）决定。具体而言，对于某些损失函数类别（例如具有特定参数的 Tweedie 偏差损失），方差较高的预测器可能占优于方差较低的预测器，反之亦然，这取决于损失函数的曲率。

意义与主张
本文认为，尽管 ABC、ABC2 和基尼指数等指标在实践中具有信息量且广受欢迎，但在 Gneiting (2011) 的决策理论框架下，它们用于模型选择和评估时存在理论缺陷。

不诚实的评估：由于这些指标依赖于依赖于预测器的权重，它们不构成一致性评分规则。它们可能导致选择次优或“不诚实”的预测器。
建议：作者主张使用基于 Murphy 分解导出的校准偏差和区分度统计量（基于固定的 Bregman 散度）作为评估点预测的首选工具。这些指标符合决策理论的要求，即损失函数应独立于被评估的具体预测器。
实际影响：当洛伦兹曲线相交时，基尼指数不足以对区分度进行排序；相反，必须考虑与应用相关的特定 Bregman 散度类别以及预测器的方差性质。

本文结论认为，Murphy 分解的新表述为预测评估提供了一个稳健、可解释且理论坚实的基础，在一致性评分的背景下，其优越于传统的基于曲线的指标。