技术摘要：超越 ECE：校准尺寸比率、风险评估与置信度加权指标

1. 问题陈述

本文针对机器学习模型置信度校准评估中的一个关键局限性，特别是在高风险领域。当前的标准指标期望校准误差（ECE）被指出在风险评估方面存在根本性缺陷。ECE 是一个线性指标，无论校准偏差发生在何种置信度水平，都将其同等对待。因此，即使模型表现出任意大的过度自信风险（例如，对错误预测赋予高置信度），ECE 仍可能保持较小值。

作者认为，ECE 未能提取最重要的校准信息：高置信度水平下的偏差所隐含的失败幅度。由于 ECE 主要由低置信度区间（其中样本量最大）主导，它系统性地忽视了分布中校准偏差最危险的“尾部”。此外，本文指出，旨在最小化 ECE 的标准校准方法可能会无意中产生具有风险的置信度分布。

2. 方法论与 proposed 指标

作者提出了一种框架，将校准评估分为两个截然不同且互补的方面：风险评估（检测过度自信）和判别价值（衡量置信度分布的效用）。

2.1 校准尺寸比率（CSR）与风险概率（$P_{risk}$）

为了解决过度自信的风险，作者引入了校准尺寸比率（CSR）。与 ECE 不同，CSR 相对于 $(1-c)$ 评估校准偏差，反映了隐含失败的真实幅度。

• 定义：对于包含 $N$ 个样本的数据集 $D$，预测类别 $\hat{y}_i$，真实标签 $y_i$，以及置信度分数 $conf_i < 1$：
  $$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$$
• 解释：在完美的逐点校准下，$CSR = 1$。
  • $CSR > 1$ 表示过度自信（具有风险）。
  • $CSR < 1$ 表示置信不足。
  • $CSR = 10$ 的值意味着，在完美校准模型下，其分配置信度水平下的观测误差预计会出现在一个规模大 10 倍的数据集中。
• 风险概率（$P_{risk}$）：为了量化过度自信的统计证据，作者在完美极限校准的假设下推导了 CSR 的标准差（$\sigma_{CSR}$）。他们使用正态分布对偏差进行建模以计算 z 分数：
  $$z = \frac{CSR - 1}{\sigma_{CSR}}$$
  风险概率随后为 $P_{risk} = \Phi(z)$，其中 $\Phi$ 是标准正态累积分布函数。这允许在不进行蒙特卡洛重采样的情况下，对置信度分布是否具有风险进行原则性评估。

2.2 置信度加权指标与 $cwAUC$

作者认为，安全的分布（低风险）并不一定是有用的。他们提出了**置信度加权准确率（cwA）**作为 CSR 的自然补充，衡量分配给正确预测的总置信度质量的比例。

• 定义：
  $$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$$
• 扩展至其他指标：本文证明，置信度加权可以自然地扩展到所有标准分类指标（精确率、召回率、F1 分数等），方法是将混淆矩阵的条目按置信度进行加权。
• 置信度加权 AUC（$cwAUC$）：作者证明，经典 AUC 对置信度分数的任何严格单调重缩放（包括事后校准）都是不变的，因为它仅依赖于排序。相比之下，$cwAUC$ 通过预测类别所分配置信度的乘积对成对比较进行加权。
  • 意义：差距 $cwAUC - AUC$ 捕捉了校准所增加的判别价值。正差距表明模型在正确排序的配对上比在错误排序的配对上更加自信。

2.3 与 ECE 的独立性

本文提供了理论证明和反例，表明 CSR 和 $cwA$ 与 ECE 是独立的。可以构建具有任意低 ECE 但 CSR 无界（极端风险）的置信度分布，反之亦然，也可以构建 $ECE=0$ 但完全无信息量（平坦置信度）的分布。

3. 实验结果

所提出的指标在合成数据集和真实世界数据集上进行了验证。

3.1 合成数据集

作者在八种受控校准机制（包括完美、过度自信、置信不足和随机）下生成了十个合成置信度分布。

• 风险检测：CSR 成功区分了有风险和无风险的分配。在完美校准下，$P_{risk}$ 的实证假阳性率保持在接近理论预测的水平（例如，对于 $>1\sigma$ 约为 9.77%，而理论值为 15.87%；对于大 $N$ 下的 $>3\sigma$ 约为 0.30%）。
• 敏感性：在过度自信机制下（例如 $Overconf \ 1-\sqrt{1-c}$），CSR 值显著升高，且在许多情况下 $P_{risk}$ 达到 100%，正确标记了风险。

3.2 真实数据集

实验在 15 个数据集（UCI、CIFAR-10、MNIST）上使用 XGBoost 进行，涉及三种机制：原始输出、等渗回归和平特缩放。

• 等渗回归风险：虽然等渗回归通常提高了 $cwA$，但它经常产生**具有风险的置信度分布**。在 15 个数据集中有 11 个，等渗校准导致$CSR > 1$（超过$1\sigma$），其中几个数据集显示出灾难性的 CSR 值（$>10^5$）。这是因为当校准集仅包含正样本或负样本的平台时，等渗回归可能会将极端置信度（1 或 0）分配给错误预测。
• 平特缩放：该方法通常产生更安全的分布（15 个数据集中仅有 3 个被标记为有风险），同时保持了有竞争力的 $cwA$。
• ECE 的局限性：针对 ECE 优化的标准方法（如等渗回归）被证明会产生具有风险的分布，证实了最小化 ECE 并不能保证安全性。

3.3 AUC 与 $cwAUC$

• 合成数据：校准良好的合成分布显示出正的 $\Delta AUC$（$cwAUC - AUC$），表明校准增加了判别价值。
• 真实数据：结果参差不齐。虽然 $cwA$始终优于原始准确率，但$\Delta AUC$ 通常很小或为负。作者将此归因于现实世界模型（如 XGBoost）已经利用置信度分数作为排序信号，而事后校准方法（对齐边缘分布）可能不会增加显著的新排序信息。

4. 主要贡献

1. 校准尺寸比率（CSR）：一种新的可解释指标，其中 $CSR=1$ 意味着完美校准。它提供了对过度自信风险的直接衡量。
2. 风险概率（$P_{risk}$）：一种源自 CSR 的统计检验，量化了在完美校准零假设下观测到数据的概率，避免了计算昂贵的重采样需求。
3. 置信度加权指标：一个正式框架，将标准指标（准确率、AUC 等）扩展为置信度加权。
4. $cwAUC$ 与校准价值：证明了经典 AUC 对校准是不变的，并引入了 $cwAUC$ 来衡量从校准中获得的具体判别价值。
5. 实证证据：证明了标准校准技术（特别是等渗回归）可能会增加风险（CSR），即使在其他指标上有所改善，突显了风险意识评估的必要性。

5. 意义与局限性

本文声称，所提出的指标提供了一种更稳健且以安全为导向的方法来评估机器学习置信度。通过将风险评估（CSR）与判别效用（$cwA$）解耦，从业者可以识别出不仅准确而且在高风险场景中安全部署的模型。

作者承认了几个局限性：

• 数值稳定性：CSR 对接近 1 的置信度分数敏感，需要截断或仔细处理。
• 分布偏移：风险评估假设评估集是来自极限分布的独立同分布样本；部署时的偏移可能会使 $P_{risk}$ 产生误导。
• 小样本量：$P_{risk}$ 的高斯近似对于非常小的 $N$ 可能不够准确，尽管标准修正（如 Student-t）可能适用。
• 优化：本文侧重于评估置信度分布，而不是使用 CSR 或 $cwA$ 来指导事后校准，这被建议为未来的工作。

总之，作者认为仅依赖 ECE 不足以实现可信的 AI。结合用于风险检测的 CSR 和用于效用评估的 $cwA$/$cwAUC$，提供了模型置信度可靠性的更完整图景。