⚡ electrical engineering

Plug-in Losses for Evidential Deep Learning: A Simplified Framework for Uncertainty Estimation that Includes the Softmax Classifier

本文提出了一种用于证据深度学习的简化即插即用损失框架，该框架用交叉熵等标准损失近似复杂的基于狄利克雷的目标函数，从而实现了涵盖 softmax 分类器的计算高效的不确定性估计，同时达到了与经典证据深度学习方法相当的性能。

原作者： Berk Hayta, Hannah Laus, Simon Mittermaier, Felix Krahmer

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Berk Hayta, Hannah Laus, Simon Mittermaier, Felix Krahmer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一个能听懂语音指令的机器人，比如“打开灯光”或“播放音乐”。你希望这个机器人很智能，但同时也希望它保持谦逊。如果机器人听到一个含糊不清、无法识别的声音，它不应该为了显得乐于助人就自信地猜出“打开灯光”。它应该说：“我不确定那是什么。”

本文旨在探讨如何教导机器人（具体而言是深度学习神经网络）学会谦逊，同时不使其运行变慢或构建过程变得复杂。

以下是用简单类比对本文核心思想的拆解：

1. 问题所在：“自信却错误”的机器人

标准人工智能模型非常擅长猜测答案，但它们极不擅长判断自己何时是在猜测。它们常常表现得像一个即使一无所知，却对答案有 100% 把握的学生。

为了解决这个问题，科学家们开发了一种名为**证据深度学习（Evidential Deep Learning, EDL）**的方法。

旧方法（标准 AI）： 机器人观察声音后说：“有 90% 的可能是‘是’。”
EDL 方法： 机器人不再仅仅给出一个百分比，而是尝试计算整个“可能性云团”（即狄利克雷分布）。这就像机器人说：“我收集了大量支持‘是’的证据，但我也保留了一点点支持‘否’的证据以防万一。”这使得机器人能够衡量自身的不确定性。

关键难点： 计算整个“可能性云团”在数学上非常沉重。这就像机器人每次听到一个词时，都要试图解一道复杂的谜题。这导致机器人运行缓慢且难以训练，这对于电池供电的耳塞等现实设备来说是不利的。

2. 解决方案：“即插即用”的捷径

本文的作者问道：“我们真的需要每次都解完整个复杂谜题，还是只需查看云团的中心即可？”

他们提出了一种简化框架。

类比： 想象你试图猜测一座城市的平均气温。
- 复杂方法（经典 EDL）： 你收集来自每条街道的数千个温度读数，计算每一个读数的概率，然后将它们全部平均。
- 即插即用方法（本文）： 你只需查看单个“最可能”的温度读数（即云团的中心），并直接使用它。

作者从数学上证明，随着机器人收集更多“证据”（听到更多声音），复杂方法与简单的“即插即用”方法之间的差异变得微乎其微。这就像在说：“如果你拥有足够的数据，查看平均值几乎等同于计算整个分布。”

3. 重大惊喜："Softmax"的关联

这是最有趣的部分。作者表明，这种简化方法实际上包含了标准的"Softmax"分类器（当今 AI 最常用的工具）作为一个特例。

隐喻： 将"Softmax"想象为一辆基础可靠的汽车，将“证据深度学习”想象为一辆拥有百万个传感器的高科技自动驾驶汽车。
作者发现，如果将这辆高科技汽车调整得当，它的表现就完全像那辆基础汽车一样。但由于他们采用了这种表述方式，现在他们可以使用基础汽车那种简单、快速的训练方法，同时仍能获得高科技汽车的“不确定性”优势。

4. 测试：语音指令挑战

为了证明其想法有效，团队在Google 语音命令数据集上进行了测试。这是一组简短的语音片段（如“是”、“否”、“停止”、“开始”）。

设置： 他们训练机器人识别这些单词。一些机器人使用旧的复杂数学方法（经典 EDL），另一些则使用新的简单“即插即用”数学方法。
结果： 简单的机器人表现与复杂的机器人一样好。它们在识别单词方面的准确率相当，在音频不清晰时说出“我不知道”的能力也同样出色。
额外优势： 由于数学方法更简单，新机器人使用标准工具构建和训练要容易得多。

5. 为何这很重要

本文结论指出，你无需重新发明轮子即可实现不确定性估计。

可靠性： 你可以构建出知道何时自己不确定的人工智能系统。
效率： 你可以在不拖慢系统速度或让代码变得一团糟的情况下实现这一点。
简洁性： 你可以使用标准、熟悉的工具（如 Softmax 分类器），同时仍能获得这些高级的安全功能。

简而言之： 作者找到了一种利用简单捷径使 AI 变得“谦逊”（即意识到自身不确定性）的方法。他们证明这种捷径在数学上是站得住脚的，并且效果与那些沉重、复杂的方法一样好，使其非常适合语音助手等现实设备。

技术摘要：证据深度学习的即插即用损失

问题陈述
现实世界中的基于传感器的学习系统，特别是在安全关键和资源受限的环境（例如嵌入式传感）中，需要既可靠又计算高效的不确定性估计。虽然蒙特卡洛 Dropout、贝叶斯神经网络和深度集成等方法提供了不确定性量化，但它们通常会产生显著的计算开销，或需要复杂的训练程序，不适合实时推理。

证据深度学习（EDL）通过实现单次传递的不确定性估计来解决这一问题。EDL 不是预测单个类别概率，而是通过狄利克雷分布对类别概率进行建模，网络预测该分布的参数（证据）。然而，标准的 EDL 方法依赖于最小化未知狄利克雷分布上的期望损失。这导致了复杂的目标函数（例如，涉及交叉熵的 digamma 函数或均方误差的方差项），这些函数既依赖于投影概率，也依赖于狄利克雷总浓度。这些复杂性可能导致优化景观困难、对超参数敏感以及实现挑战，从而在理论基础与算法实用性之间造成了差距。

方法论
作者提出了一个简化的框架，使用即插即用损失（plug-in losses）来近似 EDL 目标。核心理论见解源自一阶经验风险最小化（ERM）视角：

即插即用近似：作者通过在狄利克雷均值 $\hat{p} = \Pi(\alpha) = \alpha / \alpha_0$ 处直接评估损失函数，来近似狄利克雷期望损失 $\mathbb{E}_{\pi \sim \text{Dir}(\alpha)}[\ell(\pi, y)]$ 。
- 对于平滑损失（例如均方误差），围绕狄利克雷均值的泰勒展开表明，随着证据（浓度参数 $\alpha_0$ ）的增长，近似误差以 $O((\alpha_0 + 1)^{-1})$ 的速度衰减。
- 对于非全局平滑的交叉熵损失，利用狄利克雷对数矩的独立分析表明，在内部性条件（即预测概率远离零）下，误差为 $O(\alpha_0^{-1})$ 。
简化的证据分类器：该框架定义了一种“简化的证据分类器”，其优化仅依赖于投影概率 $\hat{p}(z)$ ，而不是直接依赖于中间证据参数 $\alpha(z)$ 。
- 理论统一：一个关键的理论结果（定理 1）确立了任何具有标准Softmax输出层的神经网络都是简化证据分类器的一个特例。这发生在证据映射为指数形式（ $e_i = \exp(z_i)$ ）且狄利克雷参数映射为恒等映射（ $\alpha_i = e_i$ ）时。
KL 正则化的作用：本文分析了 Kullback-Leibler (KL) 散度正则项的作用，该正则项在经典 EDL 中常用于惩罚分配给错误类别的证据。作者将其解释为一种确定性正则化函数，它影响学习到的证据尺度和浓度，从而影响“空性”（inverse concentration，即浓度的倒数）等不确定性分数，但指出严格来说，定义简化分类器本身并不需要它。

主要贡献

理论推导：本文推导出 EDL 框架可以通过使用在狄利克雷均值处评估的即插即用损失进行简化，并严格证明了对于包括均方误差和交叉熵在内的一大类损失，随着证据的增长，近似误差会消失。
Softmax 的合理性：该分析为在 EDL 框架内使用标准 Softmax 分类器提供了理论依据，将其识别为简化证据分类器的特例。
实证验证：在Google Speech Commands v1数据集上验证了所提出的简化目标。该研究将经典 EDL（使用狄利克雷期望损失）与简化变体（即插即用损失）以及标准 Softmax 模型进行了比较。
操作分析：这项工作首次以 EDL 的精神对语音识别进行了不确定性分析，评估了正确与错误预测的覆盖率 - 准确率权衡以及不确定性分布。

结果
在 Google Speech Commands v1 数据集上使用 MatchboxNet 架构进行的实验得出以下发现：

预测性能：使用即插即用损失（例如 Plug-in CE、Plug-in MSE）训练的简化证据分类器，其预测准确率和选择性预测性能与经典 EDL 相当。
不确定性分数：
- 熵：基于熵的选择仍然是一个强有力的指标。简化分类器（包括标准 Softmax）表现具有竞争力，通常在高可靠性工作点（例如 99.9% 阈值准确率）下实现最佳或接近最佳的总准确率。
- 空性：仅靠狄利克雷期望损失并不能使空性（浓度的倒数）在与熵的竞争中具有优势。然而，添加 KL 正则化显著提高了由空性诱导的可靠性排名。例如，在基于空性的选择下，带有 KL 正则化的 Softmax 模型在 99.9% 阈值准确率目标下实现了 80.36% 的总准确率，优于未正则化的变体。
实现：简化目标更容易使用标准深度学习损失和训练管道实现，无需狄利克雷期望的复杂闭式表达式。

意义与主张
本文声称，所提出的简化框架为经典 EDL 的计算和实现复杂性提供了一种实用的解决方案，同时不牺牲预测或选择性预测性能。通过证明在高证据机制下即插即用损失能很好地近似 EDL 目标，作者表明，为了实现有效的不确定性估计，复杂的狄利克雷期望结构通常是不必要的。

至关重要的是，这项工作弥合了标准 Softmax 分类器与证据学习之间的差距，表明 Softmax 网络可以被视为简化的证据分类器。这为理解 Softmax 在不确定性估计上下文中的性能奠定了基础。作者指出，他们的实证分析是首次通过 EDL 获得语音识别任务的覆盖率 - 准确率权衡。

局限性与未来方向
作者承认，目前的实证评估仅限于单个关键词检测基准（Google Speech Commands v1），并专注于分布内选择性预测。他们建议未来的工作应在更广泛的数据集、架构和分布偏移设置下评估该框架，以充分评估其部署可靠性。此外，理解由空性和熵诱导的不确定性排序之间的局部和全局一致性仍然是一个未解决的问题。