🤖 machine learning

Can we trust our models? Epistemic calibration in second-order classification

本文引入了认识论校准（epistemic calibration）作为一种比经典校准更严格的标准，用于评估二阶分类中认识论不确定性估计的可信度，并提出了期望认识论校准误差（EECE）指标，以揭示标准指标往往会忽略的、不同不确定性量化方法之间显著的可靠性差异。

原作者： Arthur Hoarau

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arthur Hoarau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《我们能信任我们的模型吗？二阶分类中的认识论校准》（Can We Trust Our Models? Epistemic Calibration in Second-Order Classification）的解释，采用了简单易懂的语言和日常类比。

大局观：“自信却错误”的问题

想象你正在雇佣一名天气预报员。

第 0 层（准确度）： 当下雨时，他是否预测了降雨？
第 1 层（校准度）： 当他说“有 70% 的概率降雨”时，实际上是否在 10 次降雨中出现了 7 次？
第 2 层（信任/不确定性）： 这是本论文关注的重点。当预报员说“我不确定，我的信心很低”时，这是否真的意味着情况混乱且难以预测？还是说他们只是在假装不确定，实际上是在随机瞎猜？

目前大多数 AI 模型在第 0 层和第 1 层表现良好，但它们经常在第 2 层失败。它们可能会说“我有 50% 的不确定性”，但实际上情况是非常可预测的（或反之亦然）。这篇论文探讨的是：我们如何知道一个模型的“不确定性”是否真正值得信任？

核心概念：“认识论校准”（Epistemic Calibration）

作者引入了一个新规则，称为认识论校准。

不要把模型看作一个人，而要把它看作一个专家委员会（这被称为“二阶模型”）。

预测值： 委员会进行投票。如果 60% 的人投“是”，40% 的人投“否”，那么最终预测结果为 60%。
不确定性： 投票的“离散程度”。如果所有人的投票结果都是 60%，那么不确定性为零（他们意见一致）。如果一半人投 100%，另一半人投 0%，那么不确定性就很高（他们意见分歧）。

认识论校准意味着：分歧的大小（不确定性）必须与委员会实际犯错的程度完美匹配。

校准良好： 当委员会产生很大分歧时（高不确定性），他们应该也会犯很多错。当他们意见一致时（低不确定性），他们应该表现得正确。
校准不良： 委员会可能产生了巨大的分歧（说“我们超级不确定！”），但实际上他们全都对了。或者，他们可能完全达成一致（说“我们 100% 确定！”），但实际上他们全错了。

论文指出，一个模型可以在旧意义上的“校准”（第 1 层）做得很好，但在这种新意义上的“校准”（第 2 层）上仍然是“失校准”的。

“不可能”规则

论文提出了一个令人惊讶的发现（一个“不可能定理”）。它指出：
如果一个模型是真正的“认识论校准”的，那么专家之间的分歧程度将无法为你提供关于答案的任何新信息。

类比： 想象一群学生正在参加考试。

如果学生们是“经过校准的”，那么他们互相争论（高不确定性）这一事实并不会神奇地揭示正确答案。正确答案已经隐藏在他们投票的平均值中了。
如果分歧的程度能告诉你关于答案的信息（例如：“如果他们争论成这样，答案一定是 A”），那么这个模型就是坏掉的。这意味着不确定性估计承担了过多的工作。

新工具：EECE（“信任计”）

为了衡量这一点，作者创建了一个新分数，称为 EECE（期望认识论校准误差）。

类比：
假设你有一袋骰子。

你掷了 100 次骰子。
每次投掷，骰子都会告诉你：“我认为结果会是 4，并且我有 20% 的不确定性。”
EECE 会检查：“好，你说你有 20% 的不确定性。那么实际结果的波动是否大约在 20% 左右？”
- 如果结果波动剧烈（方差为 50%），但你却说只有 20% 的不确定性，那么你的 EECE 分数很差。你在撒谎，掩盖了你的信心。
- 如果结果的波动程度正好如你所预测的那样，那么你的 EECE 分数就是完美的。

论文从数学上证明了，EECE 分数是一种可靠的衡量“真实”误差的方法，就像温度计能可靠地测量温度一样。

实验结果显示了什么

作者在各种 AI 模型（如随机森林、贝叶斯模型和深度集成模型）以及简单的数学问题和图像识别任务（如识别手写数字）上进行了测试。

有些模型表现出色： 像贝叶斯逻辑回归（适用于简单的直线问题）这样的模型几乎是完美的“认识论校准”模型。它们非常清楚自己有多么不确定。
有些模型很吃力： 随机森林（一种流行的方法）通常具有较高的不确定性得分，但这些得分与它们的实际误差并不匹配。它们处于一种与现实不符的“困惑”状态。
复杂度至关重要： 在简单数据上，几乎所有模型都表现良好。但在复杂数据（如真实的图片）上，差异变得巨大。一些在预测答案方面表现良好的方法，在报告其不确定性方面却表现得很糟糕。
“说明性”方法： 作者还测试了一些并非为此设计的辅助方法（例如简单的基于距离的猜测）。正如预期的那样，它们未能通过测试，这证明了该测试是有效的。

结论

论文得出结论，随着我们将 AI 投入到关键系统（如自动驾驶汽车或医疗诊断）中，我们不能只问“模型对不对？”。我们还必须问：“模型的不确定性是否诚实？”

认识论校准是检查这种诚实性的新标准。它确保了当 AI 说“我不知道”时，它真的意味着情况是不可预测的；而当它说“我知道”时，它真的意味着它既自信又正确。如果没有这种检查，我们就是在信任那些可能“自信地犯错”或“在不确定中保持正确”的模型。

技术摘要：二阶分类中的认识论校准（Epistemic Calibration）

问题陈述

虽然不确定性估计对于在高度敏感环境（如自动驾驶、医疗应用）中部署机器学习模型至关重要，但目前的评估指标仍显不足。经典的校准（Classical Calibration）评估的是预测概率的可靠性（一级），即确保预测概率 $p$ 对应于经验频率 $p$ 。然而，这并不能评估认识论不确定性估计（二级）本身是否值得信赖。

二阶分类模型（例如贝叶斯方法、集成方法、证据深度学习）输出的是预测的分布，而非单一的点估计。文献中存在一个显著空白：即报告的认识论不确定性（二阶分布的离散程度）是否真实地反映了模型预测相对于真实值的实际离散程度。现有方法往往无法区分模型是因为数据本身的难度（偶然不确定性/Aleatoric Uncertainty）而犹豫，还是因为缺乏训练数据（认识论不确定性/Epistemic Uncertainty）而犹豫，且标准指标无法检测出那些尽管平均预测性能良好、但其不确定性估计却失准的特定失效模式。

方法论与框架

本文引入了认识论校准（Epistemic Calibration），这是针对二阶模型的一个原则性准则。不同于关注均值预测的经典校准，认识论校准要求报告的不确定性（二阶分布的方差）必须与从该分布中采样的单个模型的实际期望平方误差相匹配。

核心定义与理论结果：

认识论校准（定义 5）： 若对于任何预测分布 $\Psi$ ，给定该分布的真实标签概率等于该分布的均值，则称二阶预测器 $\Pi$ 是经过认识论校准的。至关重要的是，这意味着分布的展宽（方差）除了均值所编码的信息外，不再携带关于真实标签的额外信息（定理 2）。
不可能定理： 作者将他们的工作与现有文献中的偏差-方差分解（Bias-Variance Decomposition）联系起来。他们证明，对于一个经过认识论校准的模型，其离散度不能编码相对于真实值的偏差；如果一个模型经过了认识论校准，其不确定性估计必须严格反映预测值围绕真实值的方差，而非系统性偏差。
期望认识论校准误差（EECE）： 为了使这一概念具有可操作性，作者提出了 EECE。该指标量化了在联合预测空间的分箱区域内，报告的认识论不确定性与采样假设的经验期望平方误差之间的差异。
- 一致性： 论文证明（定理 3）了 EECE 是真实认识论校准误差（TECE）的一致估计量，即随着分箱数量和样本数量的增加，它会收敛于真实值。

实验设置：
该方法通过两组方法进行评估：

主动方法（Active Methods）： 在理论上与基于方差的框架兼容的方法，包括贝叶斯逻辑回归、贝esian 深度学习（拉普拉斯近似）、深度集成（Deep Ensembles）、随机森林、DropConnect 和 MC-Dropout。
说明性方法（Illustrative Methods）： 基于质心、基于似然以及最近邻的方法，这些方法并非为基于方差的分解而设计，旨在作为预期误校准的基准。

实验在以下数据集上进行：

玩具数据集（Toy Dataset）： 高斯混合模型，用于控制真实值并分析预期行为（例如对噪声和训练集规模的敏感性）。
高维视觉数据集（MNIST 和 CIFAR-10）： 通过自动编码器将数据投影到潜在空间，并将其视为 10 个“一对多”的二元分类任务。

关键结果

与经典校准的区别： 实验表明，模型可以实现经典校准（可靠的均值预测），同时在认识论上是误校准的（不可靠的不确定性估计）。例如，随机森林尽管具有合理的预测性能，但在认识论校准方面表现较差；而贝叶斯逻辑回归在处理线性可分的高斯数据时表现良好，但在处理复杂的现实世界数据时表现挣扎。
行为验证： 在玩具数据集上，EECE 表现得符合理论预期：
- 随着训练集中噪声的增加，认识论校准误差显著上升。
- 随着训练集规模的增长，EECE 降低，并在模型变得更加确定时趋于平缓。
方法比较：
- 深度集成（Deep Ensembles）和 MC-Dropout 在 CIFAR-10 任务上展示了强大的认识论校准能力。
- 随机森林 在基于方差的方法中始终表现出最高的认识论校准误差。
- 说明性方法（基于质心/似然的方法）表现不佳，证实了那些并非基于二阶分布或集成多样性的方法无法满足认识论校准准则。
归纳偏置依赖性： 结果强调，认识论校准高度依赖于模型的归纳偏置。当模型的假设与数据结构相匹配时（例如在高斯线性可分数据上的贝叶斯逻辑回归），模型表现良好；但当应用于复杂的非线性现实世界数据时，表现会下降。

意义与主张

本文声称为二阶分类模型提供了一个信任的原则性基础。通过引入认识论校准，作者认为研究人员和从业者现在可以评估一个模型的“信心”对其自身不确定性的描述是否有效。

更强的概念： 认识论校准被确立为比经典校准更严格的条件。
失效模式检测： EECE 指标捕捉到了标准指标无法察觉的失效模式，例如当模型报告的高不确定性并不对应于实际的预测离散度时。
实际效用： 这项工作弥合了理论不确定性量化与高安全性系统可靠性需求之间的鸿沟。它表明，对于要在高风险环境中获得真正信任的模型，它不仅必须在平均意义上预测正确，还必须准确报告其自身预测分布的离散程度。

作者保持了谦逊，指出虽然认识论校准对于设定良好的模型（如高斯数据上的贝叶斯逻辑回归）是一个自然的属性，但它并非所有不确定性量化方法都普遍满足，特别是在处理复杂的现实世界数据集时。本文并非提出新的训练算法，而是提出了一个新的评估框架，用以识别哪些现有方法是值得信赖的。