💻 computer science

\ECUAS{n}: A family of metrics for principled evaluation of uncertainty-augmented systems

本文指出，当前针对不确定性增强系统的评估方法不足以支持不确定性下的决策，并提出了一类新的严格评分规则\ECUAS{n}，该规则允许用户根据具体应用需求在预测误差与不确定性质量之间进行权衡调节。

原作者： Lautaro Estienne, Erik Ernst, Matías Vera, Pablo Piantanida, Luciana Ferrer

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Lautaro Estienne, Erik Ernst, Matías Vera, Pablo Piantanida, Luciana Ferrer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一支专家团队来协助你做出重要决策。其中一些专家是预测器：他们审视问题并给出答案（例如“明天会下雨”）。另一些则是不确定性增强（UA）系统：他们不仅给出答案，还提供置信度评分（例如“明天会下雨，我有 90% 的把握”）。

问题在于：你如何知道哪位专家实际上更可靠？

如果你只看答案，可能会选中那个最常说对、但在出错时也极度过度自信的专家。如果你只看置信度评分，可能会选中那个对不确定性非常诚实、但答案却糟糕透顶的专家。

本文介绍了一种评估这些“专家团队”的新方法，称为ECUASn。你可以把它想象成一张通用成绩单，它将答案的质量与置信度评分的诚实度合并为一个单一数值。

以下是本文通过简单类比所做的分解说明：

1. 旧方法：两张独立的成绩单

此前，研究人员使用两种不同的测试来评估这些系统：

测试 A（准确性）： 答案是否符合事实？（例如：“真的下雨了吗？”）
测试 B（置信度）： 置信度评分是否能很好地预测正确性？（例如：“当他们说 90% 时，是否真的有 90% 的概率是对的？”）

缺陷： 这就像分别给一位厨师打分，一项是“食物味道好吗？”，另一项是“他们猜对烤箱温度了吗？”。这无法告诉你整个用餐体验是否良好。你可能遇到一位能做出美味佳肴却谎报烤箱温度的厨师，也可能遇到一位诚实但把食物烧焦的厨师。你需要一个分数，能告诉你当你必须决定是否要吃这顿饭或将其退回时，这位厨师的表现究竟如何。

2. 新方法："ECUASn"成绩单

作者提出了一种名为ECUASn的新指标。可以将此指标想象为一位智能法官，它模拟真实世界的场景：

法官审视一个答案及其置信度评分。
法官问道：“如果我必须决定是接受这个答案，还是拒绝它（并寻求第二意见），这个系统能否帮助我做出正确的选择？”

ECUASn 中的"n"就像法官控制面板上的一个旋钮。它允许你根据具体情况调整什么最重要：

旋钮设为 0（高风险）： 适用于错误会造成灾难性后果的情况（如医疗诊断或自动驾驶汽车）。此时法官极其严格。如果系统给出了高置信度的错误答案，惩罚将非常巨大。它奖励那些非常谨慎、仅在确信时才发声的系统。
旋钮设为高数值（低风险）： 适用于错误令人烦恼但不会致命的情境（如天气预报或电影推荐）。此时法官更为宽容。它更看重系统能否给出正确答案，即使置信度评分并非完美校准。

3. “语义等价”洞察（翻译问题）

本文还解决了生成式人工智能（如撰写故事或回答常识问题的聊天机器人）面临的一个特定问题。

问题所在： 如果聊天机器人回答“法国的首都是巴黎”，而正确答案是“巴黎”，那就算匹配。但如果机器人说“法国的首都是光之城”，这也是正确的，尽管措辞不同。
旧有的错误： 以往的方法通常检查确切的词语是否匹配。如果机器人说“光之城”，旧系统可能会将其标记为“错误”，并说：“看吧，机器人搞糊涂了！”
本文的发现： 作者从数学上证明，要获得良好的置信度评分，你不应该问“这个确切句子正确的概率是多少？”，而应该问“这个含义（或‘等价类’）正确的概率是多少？”
类比： 想象一位翻译。如果你询问“猫”在法语中怎么说，他们回答"Chat"，这很完美。如果他们回答"Le Chat"，这也同样完美。如果你仅根据确切的字符串"Chat"给他们打分，可能会因为他们加了"Le"而惩罚他们。本文表明，要公平地评估这些系统，必须根据含义而非仅仅是拼写来打分。

4. 为何这很重要

作者在从图像识别到回答常识问题等各种任务上测试了这一新指标。他们发现：

在旧指标下看起来“良好”的系统，在 ECUASn 下有时看起来“糟糕”，因为它们出错时过度自信。
在旧指标下看起来“糟糕”的系统，在 ECUASn 下有时看起来“良好”，因为它们诚实地表达了不确定性，使用户能够拒绝错误的答案。
对于高风险决策，n=0 的设置（即严格的旋钮）是找出那些不会将你引入陷阱的系统的最佳方式。

总结

本文主张，我们需要停止将 AI 系统的“答案”和“置信度”分开评分。相反，我们应该根据它们对决策的有用性来评分。

ECUASn 指标是一个灵活的工具，它充当决策理论模拟器。它告诉你：“如果你使用这个 AI 来做选择，并且你对风险有特定的容忍度（由旋钮'n'控制），那么它的具体表现将是如何。”它确保 AI 不仅仅是在猜测，而是真正帮助你在何时信任它、何时放弃它之间做出决定。

技术摘要：ECUASn——用于不确定性增强系统原则性评估的指标族

问题陈述

在高风险自动化决策中，用户（人类或下游系统）需要访问预测不确定性，以便根据特定应用的成本权衡来决定是否接受或拒绝系统的输出。这些系统被称为不确定性增强（UA）系统，它们同时输出候选预测和不确定性分数。

现有文献使用分散的指标来评估 UA 系统：

预测质量：通过准确率或错误率衡量。
不确定性质量：通过将不确定性视为错误答案的预测器，使用二元分类指标（如 AUC、ECE、Brier 分数）进行衡量。
综合指标：如风险 - 覆盖率曲线下面积（AURC）等方法，通过扫描拒绝阈值来整合这些方面。

作者认为这些方法是不充分的。单独的指标无法反映为用户做出最终决策所提供的价值。此外，AURC 及其变体对不确定性分数的单调变换具有不变性；它们奖励排序，但只要相对顺序保持不变，就不会惩罚校准不佳（高估或低估）的不确定性。这对于需要将不确定性解释为正确概率的系统来说是一个关键缺陷。此外，现有方法通常要求在开发过程中固定特定的拒绝成本（ $\gamma$ ），而该成本可能未知，或者在不同用户和实例间存在差异。

方法论

本文提出了ECUASn（不确定性增强系统的期望成本），这是一组基于贝叶斯决策理论的指标族。

1. 决策理论基础

作者将 UA 系统定义为函数 $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$ ，输出候选响应 $\tilde{d}$ 和不确定性分数 $u$ 。最终决策 $d$ 要么是 $\tilde{d}$ ，要么是拒绝 $d_r$ 。

基于拒绝成本 $\gamma$ 定义成本函数 $C_\gamma(y, d)$ ：
$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{if } d \in \tilde{\mathcal{D}} \\ \gamma & \text{if } d = d_r \end{cases}$
其中 $\tilde{C}$ 是给定真实标签 $y$ 时候选响应的成本。

2. 严格评分规则（PSR）的推导

为了避免固定 $\gamma$ ，作者构建了一个指标，奖励产生概率可解释不确定性的系统。

贝叶斯决策：对于给定的成本函数和类别上的条件分布 $q$ ，最优决策最小化期望成本。最优决策的期望成本，记为 $u_{\tilde{C}}(q)$ ，作为理论不确定性。
严格评分规则（PSR）：通过在贝叶斯决策处评估成本函数，推导出一个新的成本函数 $C^*_\gamma(y, q)$ 。该函数是一个严格评分规则，意味着当预测分布与真实分布匹配时，其期望值最小化。这一特性确保了该指标奖励校准良好的概率，而 AURC 则不具备此特性。

3. ECUASn 指标族

为了创建一个不依赖于特定拒绝成本的指标，作者将 PSR $C^*_\gamma$ 在可能的拒绝成本 $\gamma$ 范围内进行积分，并以函数 $w(\gamma)$ 加权。
$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$
作者将权重函数参数化为 $w_n(\gamma) \propto \gamma^{n-1}$ ，从而得到ECUASn指标。参数 $n$ 控制权衡：

$n=0$ ：严重惩罚高置信度下的错误预测（需要高不确定性才能拒绝）。这推荐用于高风险场景。
$n \to \infty$ ：该指标退化为标准的 0-1 错误率，对不确定性分数本身的质量变得不那么敏感。

4. 在生成系统中的应用

对于生成模型，“正确性”的概念是基于语义等价类而非精确字符串匹配来定义的。作者认为，为了最优决策，不确定性应基于这些等价类的分布计算，而非单个 token 序列。这为经验发现（即语义熵能产生更好的不确定性分数）提供了理论依据。在实践中，对于生成任务，类别数量 $K$ 被假定为趋向无穷大。

主要贡献

原则性指标替代：引入基于决策理论的 ECUASn 指标族以替代 AURC。与 AURC 不同，ECUASn 奖励概率可解释的不确定性（严格评分规则），同时对特定拒绝成本保持不可知。
生成不确定性的理论洞察：从贝叶斯决策成本的构建直接推导出了理论解释，说明为什么基于语义等价类（而非单个预测）导出的不确定性分数对生成系统更优越。
参数化权衡：引入参数 $n$ ，允许从业者根据其应用的具体风险概况调整指标（例如，在高风险拒绝场景中使用 $n=0$ ）。

实证结果

作者在多种分类和生成数据集上评估了 ECUASn：

分类：在语言（AGNews, SST-2）、语音（SITW, FVCAUS）和图像（CIFAR-10/100）数据集上进行实验。
- 校准影响：ECUASn 指标（特别是低 $n$ 值）成功检测到了因后验校准带来的系统质量提升，而 AURC 通常保持不变，因为它对保持排序的单调变换具有不变性。
- 朴素基线：ECUASn 正确识别出那些尽管在分布 $q$ 上具有良好的校准分数（如 CE 或 Brier 分数），但在考虑预测和不确定性的组合输出时，表现却不如基于朴素先验的系统。
生成（TriviaQA & MMLU）：使用各种大语言模型（Qwen, Ministral, Gemini）和三种置信度获取方法（序列后验、Is True、Verbalized）进行实验。
- 指标分歧：置信度获取方法的排名因所用指标的不同而有显著差异。例如，"Verbalized"方法通常具有最佳错误率（ER），但校准较差，导致其 ECUASn 分数较高（表现更差），相比之下"Sequence Posterior"表现更好。
- 真实标签敏感性：作者手动策划了 TriviaQA 的一个子集（455 个样本），以修正自动语义等价标签中的错误。他们证明，自动评估可能会极大地改变系统排名，突显了需要谨慎的评估协议。

意义与主张

本文声称，ECUASn 通过将错误预测和不完美不确定性的影响整合到一个单一值中，提供了对 UA 系统的全面评估。

决策理论一致性：该指标旨在反映系统对于在不确定性下做出决策的用户的实际效用，而不仅仅是测量输出的统计属性。
校准敏感性：通过奖励概率可解释性，ECUASn 解决了 AURC 的主要局限性，即如果排序保持不变，AURC 无法区分校准良好和校准不佳的不确定性。
实用价值：该框架允许用户选择适合其风险承受能力的 $n$ 值，使其成为评估高风险环境系统的灵活工具，在这些环境中，接受错误答案（假阳性）的成本是严重的。

作者总结道，虽然 ECUASn 假设用户在决策理论框架下运行（最小化期望成本），但它为当前不确定性增强系统的评估实践提供了更稳健和原则性的替代方案。