技术摘要：多类预测的真实校准误差

1. 问题陈述

校准误差是评估概率预测器的标准指标，用于量化预测概率与真实条件标签分布之间的偏差。然而，该论文指出广泛使用的经验校准误差（如期望校准误差 ECE）存在一个关键缺陷：它们是非真实的（non-truthful）。

若一个预测器通过报告真实条件标签分布来最小化其预期测量误差，则称该校准度量是真实的。作者证明，标准指标会激励策略性扭曲。例如，预测器可以通过报告粗略概率（例如始终预测 0.5）而非真实、细粒度的概率，人为地降低其测量误差。这种非真实性导致了“排序鲁棒性问题”，即基于校准误差的模型相对排序会因估计中使用的分箱数量不同而发生翻转，这一现象在 prior 工作中已被观察到（例如 Minderer 等人，2021）。

本文重点将真实校准的概念从二值预测（最近由 Hartline 等人，2025 解决）扩展到多类预测，涵盖完整多类校准、类间校准和置信度校准。

2. 方法论

2.1 线性属性的真实校准

作者为标签分布的线性属性构建了真实校准误差。线性属性 $\Gamma_\phi(P)$ 是映射 $\phi: \mathcal{Y} \to \mathbb{R}^d$ 在分布 $P$ 下的期望。

• 构建方法：该方法用平方 $\ell_2$ 分箱误差替代标准的 $\ell_1$ 分箱误差。
• 分箱规则：误差计算使用与结果无关的分箱规则 $B$（例如固定分箱或分位数分箱）。
• 机制：预期误差允许进行偏差 - 方差分解。预期平方误差分离为依赖于报告的平方偏差项和采样方差项。当报告等于真实条件属性时，偏差项恰好达到最小。
• 范围：该框架可推广至：
  • 完整多类校准：其中 $\phi(y)$ 是 one-hot 向量 $e_y$。
  • 类间校准：其中对于每个类别 $r$，$\phi_r(y) = \mathbb{I}[y=r]$，分别应用于概率向量的每个坐标。

2.2 真实置信度校准

置信度校准要求：对于报告置信度 $c$（即最大预测概率）的样本，预测概率最高的类别正确的概率为 $c$。

• 挑战：直接将真实二值校准误差应用于置信度和正确性指示器，在多类设置中并非真实的。预测器可以操纵哪个类别成为"argmax"，从而改变被评估的二值问题，进而降低误差而不必保持真实。
• 解决方案：作者提出了一种修正平方置信度误差（$\text{ConfCE}^{\text{corr}}_B$）。该指标在标准平方分箱误差的基础上增加了一个趋于零的分类误差项（$\frac{1}{n}[1 - \frac{1}{n}\sum z_i]$）。这一修正恢复了有限样本的真实性，同时保留了渐近完备性和可靠性属性。

2.3 决策论解释

论文将真实校准误差与Blackwell 优势联系起来。

• Blackwell 优势：若预测器 $f$ 比 $g$ 提供更多信息，使得任何下游决策者都能实现更高的期望效用，则 $f$ Blackwell 占优于 $g$。
• 顺序保持：作者证明，对于校准（或近似校准）的预测器，真实校准误差保持 Blackwell 排序。如果 $f$ Blackwell 占优于 $g$，则 $f$ 的预期真实校准误差不大于 $g$。
• 近似校准：对于未完美校准的预测器，只要预测器之间的“适当损失差距”主导了剩余的校准偏差，排序即可保持不变。

3. 主要贡献

1. 真实误差构建：

   • 引入了适用于多类设置的 $\text{LinCE}^{\text{cw}}_B$（类间真实校准误差），推广了 Hartline 等人（2025）的二值真实误差。
   • 引入了 $\text{ConfCE}^{\text{corr}}_B$（修正置信度校准误差），通过添加特定的修正项，解决了标准置信度指标的非真实性问题。

2. 理论表征：

   • 证明了这些平方 $\ell_2$ 分箱误差对于任何与结果无关的分箱规则都是完全真实的。
   • 确立了真实误差在校准预测器之间保持Blackwell 优势。
   • 表明真实误差为近似校准预测器提供了稳定的排序，将校准指标与下游决策质量联系起来。

3. 实证验证：

   • 证明了非真实指标（如标准 ConfECE）表现出排序不稳定性：当分箱数量变化时，校准误差与预测性能（分类误差）之间的相关性可能会反转。
   • 表明所提出的真实误差在不同分箱选择（例如 5 个分箱与 2000 个分箱）下保持稳定排序，与预测质量一致。

4. 结果

实验在 CIFAR-100 数据集上进行，使用了各种神经网络架构（MobileNetV3、ResNet 变体）和后验温度缩放。

• 排序鲁棒性：
  • 非真实指标：基于置信度的标准误差（ConfECE）对分箱大小表现出高度敏感性。在模型内实验中，随着分箱数量减少，分类误差与校准误差之间的关系发生翻转（例如，从正相关变为负相关）。
  • 真实指标：所提出的 $\text{LinCE}^{\text{cw}}_B$ 和 $\text{ConfCE}^{\text{corr}}_B$ 在所有分箱大小下均与分类误差保持单调关系。不同分箱选择之间的 Spearman 秩相关系数在真实误差中显著更高（例如，在跨模型设置中，真实类间误差约为 0.99，而非真实置信度误差约为 0.65）。
• 决策论一致性：真实误差正确追踪了预测器的 Blackwell 优势顺序，证实了真实校准作为下游决策质量代理的理论主张。

5. 意义与主张

论文认为，真实性是校准度量的基本设计原则，而不仅仅是一个抽象的激励标准。

• 消除伪影：先前文献中观察到的“排序鲁棒性问题”被确定为非真实度量奖励策略性扭曲的症状。真实误差消除了这一伪影。
• 与效用的一致性：通过保持 Blackwell 优势，真实校准误差确保较低的测量误差对应于对下游决策任务真正更有用的预测器。
• 实际可行性：作者声称，实现真实性仅需对现有的标准误差进行简单修改（从 $\ell_1$ 切换到平方 $\ell_2$，并为置信度添加修正项），使其成为评估多类概率模型的实用改进。

局限性：论文指出，其关于排序保持的理论保证依赖于预测器是近似校准的假设。在预测器严重未校准的情况下（例如，置信度评分较差的预训练语言模型），校准偏差可能会主导损失差距，排序保证可能不再成立。