🤖 machine learning

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

本文提出了一种基于遗憾最小化而非传统代理任务来评估认知不确定性的决策论框架，证明了标准相关性指标无法预测操作效用，并揭示了决策论排名与代理任务排名在不确定性方法评估上的显著差异。

原作者： Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在穿越混乱星云的宇宙飞船舰长。你的飞船计算机极其聪明，但它需要向你报告两种截然不同的“不确定性”。第一种是偶然不确定性（aleatoric uncertainty）：这是“战争迷雾”，是传感器的噪声、无线电的静电，是星云本身那种混乱且不可预测的本质。无论你的计算机变得多么强大，这种噪声都将永远存在；这是宇宙中不可消除的混沌。第二种是认知不确定性（epistemic uncertainty）：这是计算机的“无知”。当计算机观察到一片它从未见过的空间时，它会产生这种感觉，心想：“我对那里发生了什么一无所知，因为我还没研究过这个区域。”这种不确定性是可消除的；如果计算机学习更多，这种恐惧就会消失。

长期以来，试图构建更好 AI 的科学家们一直痴迷于教计算机区分“迷雾”与自身的“无知”。为什么？因为如果计算机知道自己处于无知状态，它就可以说：“我不知道，别问我，”从而避免犯下危险的错误。但棘手之处在于，如何测试一个计算机是否真的擅长察觉自身的无知？传统上，研究人员使用了两个主要的“代理测试”。一个是分布外检测（Out-of-Distribution, OOD detection），它问道：“你能分辨出你正在看的东西是否完全陌生吗？”另一个是主动学习（Active Learning），它问道：“如果你可以挑选一份新的数据进行学习，哪一份能让你获益最多？”大问题在于，这些测试是否真的能告诉我们计算机是否擅长察觉自身的无知，还是它们仅仅在测试其他东西？

这篇题为《评估认知不确定性：超越 OOD 检测与主动学习》的论文认为，我们一直玩错了游戏。作者们（来自布拉格、根特和慕尼黑大学的研究团队）发现，寻找识别奇特数据（OOD）或挑选最佳学习材料（主动学习）的数学“完美答案”，实际上与寻找识别无知（遗憾值/Regret）的“完美答案”完全不同。

为了理解这一点，请想象你是一位正在给学生评分的老师。

OOD 测试就像是在问老师：“你能分辨出这个问题是不是由外星人编写的吗？”其完美答案仅取决于问题的外观，而不取决于学生是否知道答案。
主动学习测试就像是在问：“我们接下来应该问哪个问题，才能让学生的知识增长得最多？”其完美答案取决于学生的未来知识将如何提升。
**遗憾值测试（认知不确定性）**则是问：“针对这个特定的问题，由于学生仅仅是因为缺乏相关知识，他们现在有多大可能出错？”

论文证明了在数学上，这三种“完美答案”往往指向完全不同的方向。一个计算机可能非常擅长识别外星问题（OOD），但在面对某个具体的数学难题时却完全不知道自己即将失败（遗憾值）。事实上，作者构建了一个简单的、一维的“沙盒”世界（受 Rossellini 函数启发），用以展示：对于 OOD 检测的最佳策略可能会告诉你拒绝某个特定区域，而最小化遗憾值的最佳策略却会告诉你接受同一个区域。它们在根本上是不一致的。

正因为这种不匹配，作者认为使用 OOD 检测或主动学习作为衡量模型是否理解自身无知的“代理”是有缺陷的。他们展示了在 OOD 测试中排名第一的方法，在遗憾值测试中可能仅排在第十，反之亦然。例如，在他们的 CIFAR-10H 数据集（一个包含许多人类观点、具有高度标注密度的图像集）测试中，一种被称为“证据网络（Evidential Networks）”的方法在识别奇特数据（OOD）方面表现糟糕，但在识别自身无知并可能出错方面却是表现最好的；相反，“深度集成（Deep Ensembles）”虽然擅长识别奇特数据，但在最小化遗憾值方面却表现不佳。

该论文还探讨了领域内一个流行的概念——“解耦（disentanglement）”。最近，一些研究人员认为，如果一个计算机的“迷雾”得分和“无知”得分高度相关（即两者同步上升或下降），则说明计算机未能成功分离这两个概念。作者对此提出了挑战。他们表明，即使两个得分高度相关，计算机仍然可能做出完美的决策。他们提出了一种更具实际意义的新测试方法：帕累托间隙（Pareto-gap），而不是仅仅检查得分是否相关。

把帕累托间隙想象成一张“决策图”。想象一个三维图表，你可以权衡回答问题的数量（覆盖度/Coverage）、犯错的数量（风险/Risk）以及避开多少“无知”（遗憾值/Regret）。“完美的”计算机会在这张图上画出一条平滑的、理想的曲线。作者通过测量现实中的计算机曲线与这条完美曲线之间的距离来衡量其性能。他们发现，即使两个得分之间存在高相关性（这曾被认为是不好的），现实中的计算机依然可以画出非常接近完美曲线的轨迹，这意味着它们在操作上是有效的。

简而言之，作者证明了我们不能仅仅通过观察一个模型识别奇特数据的能力或挑选学习主题的能力，来判断它是否理解了自己的无知。他们提供了一个新的框架，将不确定性视为一种做出更好决策的工具，并指出旧有的测试方法往往会引导我们得出错误的结论，让我们误判哪些 AI 模型是真正安全可靠的。他们的研究结论基于严谨的数学证明以及在具有密集人类标注的真实数据集上的广泛基准测试，这表明该领域需要停止依赖这些便捷但具有误导性的代理测试，转而开始根据不确定性所帮助避免的实际“遗憾值”来进行衡量。

技术摘要：评估超越 OOD 检测与主动学习的认识不确定性

问题陈述
目前对认识不确定性（模型无知度）的评估过度依赖于诸如分布外（OOD）检测和主动学习等代理任务。然而，作者认为，这些代理任务的贝叶斯最优决策策略在数学上并不与用于量化部署中认识不确定性的得分相一致。具体而言，OOD 检测优化的是独立于预测损失的输入似然比，而主动学习优化的是全局误差减少，而部署背景下的认识不达是不确定性被定义为局部可约误差（遗憾值/regret）。这种理论上的脱节导致了一个现象：在代理任务上排名靠前的方法，在评估其实际操作效用（即最小化遗憾值）时，表现可能很差。此外，近期的文献批评了基于学习到的偶然不确定性（aleatoric）与认识不确定性（epistemic）组件之间高秩相关性的不确定性解耦评估方法，作者认为该指标未能捕捉到功能效用。

方法论
本文提出了一个统一的框架来评估认识不确定性，通过直接衡量其识别“遗憾值”的能力，而非依赖于代理任务。

理论统一： 作者将标准的选择性分类（总不确定性）与认识性拒绝选项（epistemic reject-option）统一到一个单一的约束优化框架中。他们将选择性预测建模为一个关于覆盖率（ $\rho$ ）、期望风险（$Ri $）和遗憾值（$ Re$）的优化问题。
最优选择器证明： 他们证明了（定理 1）对于任何组合约束，最优选择器都是真实偶然不确定性（ $A^*$ ）和认识不确定性（ $E^*$ ）的阈值化凸组合。最优得分的形式为 $(1-\lambda)A^* + \lambda E^*$ ，其中 $\lambda \in [1/2, 1]$ 。
诊断指标（Pareto-gap）： 作者不再依赖秩相关性来评估解耦效果，而是提出通过测量一种方法在（覆盖率, 风险, 遗憾值）空间中可实现的曲面与理论帕累托最优曲面（ $S^*$ ）之间的距离来进行评估。这个被称为“Pareto-gap”的距离，作为衡量学习到的组件是否共同包含实现最优部署决策所需信息的诊断工具。
经验基准测试： 为了绕过标准单标签设置中遗憾值不可计算的问题，作者利用具有密集人类标注的数据集（如 CIFAR-10H, APPA-REAL, DCIC suite）来近似真实的生成分布 $p^*(y|x)$ 。这使得精确计算贝叶斯最优预测器和真实的频率派遗憾值成为可能。他们将标准的量化方法（MC-Dropout, Deep Ensembles, DDU, Evidential Networks）与这些真值进行基准测试，并将其结果与代理任务（OOD 检测, 主动学习）进行对比。

核心贡献

理论失配： 本文证明了针对 OOD 检测、主动学习（BALD, EER）和遗憾值最小化（reject-minimization）的贝叶斯最优评分器，其优化的输入空间区域在本质上是不同的。针对某一准则优化的方法可能会在另一准则下表现不佳。
统一框架： 作者提供了一个数学证明，证明在覆盖率约束下最小化超额风险的最优决策规则，始终是针对偶然不确定性和认识不确定性的凸组合的阈值处理。
新诊断工具： 他们挑战了使用秩相关性来评估不确定性解耦的做法。他们指出，如果组件可以通过线性组合形成最优决策边界，那么高相关性并不一定意味着解耦失败。他们引入了更具操作相关性的指标——Pareto-gap。
经验证据： 通过在具有人类标注分布的数据集上的广泛基准测试，作者展示了基于决策论的排名（基于遗憾值）往往与基于代理任务的排名存在显著差异。值得注意的是，他们观察到了明显的两两排名倒置现象：在 OOD 或主动学习中排名靠前的模型，在遗憾值评估中可能排名垫底，反之亦然。

结果

排名倒置： 在 CIFAR-10H 数据集上，Evidential Networks 在纯认识效用方面表现最好（最低的 AuReC）且具有最小的 Pareto-gap，尽管它在 OOD 检测和主动学习基准测试中表现较差。相反，在 OOD 检测中占据主导地位的 Deep Ensembles 和 DDU，在隔离可约误差（遗憾值）方面表现较差。
相关性 vs. 效用： 在 CIFAR-10H 上，Evidential Networks 的学习到的偶然不确定性与认识不确定性组件之间表现出近乎完美的秩相关性（ $\rho_S = 0.999$ ）。传统指标会将此归类为解耦失败。然而，这些相同的组件实现了最低的理论最优距离（Pareto-gap = 0.0379），证明了高相关性并不排除操作效用。
真值相关性： 作者还注意到，即使是真值偶然不确定性和认识不确定性（ $A^*, E^*$ ）也会表现出高秩相关性（在 CIFAR-10H 上高达 0.882），这表明学习到的组件中的高相关性可能反映了数据生成过程本身，而非方法论的失败。

意义
本文声称，领域内依赖 OOD 检测和主动学习作为认识不确定性代理的做法在理论上是有缺陷的，并且会导致关于哪些不确定性估计器在部署中真正有用的结论产生误导。通过将评估重点转向识别遗憾值的能力，并引入 Pareto-gap 作为联合操作效用的诊断工具，作者为评估不确定性量化提供了一个更严谨的基础。他们认为，研究人员必须明确定义下游动作（例如，放弃高风险预测），而不是依赖于模糊的“无知”概念或优化不同数学目标的代理任务。这项工作强调，标准评估指标可能会筛选出在实际目标——即减少现实部署中可约误差——方面并非最优的模型。

技术摘要：评估超越 OOD 检测与主动学习的认识不确定性

类似论文