🤖 machine learning

On the QUEST for Uncertainty Quantification via Highest Density Regions

本文介绍了 QUEST，一种通过高密度区域体积来表征不确定性的新型不确定性量化框架，它提供了一种在理论上有据可依的替代方案，以取代适当评分规则（proper scoring rules），同时满足单调性和不变性等关键公理，并在选择性预测基准测试中表现优于标准度量指标。

原作者： Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sam Goring, Tom Kuipers, Nicola Paoletti, David S. Watson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试预测天气。你的模型说：“明天会下雨。”但这个模型有多确定呢？它是 99% 确定，还是仅仅在瞎猜？在机器学习的世界里，这种“有多确定”的部分被称为不确定性量化（Uncertainty Quantification, UQ）。

长期以来，科学家们一直使用标准的工具来衡量这种不确定性，有点像用一把尺子去测量一切。但 Sam Goring 及其团队的这篇论文作者认为，有时候尺子并不是正确的工具。如果你试图用尺子去测量一只水母的“软糯程度”，你会得到一个奇怪的数字，它并不能真正反映出水母的特性。

以下是他们的新想法——QUEST 的简单拆解，使用了日常生活的类比。

问题所在： “尺子”并不总是奏效

目前大多数方法通过观察平均值（均值）以及事物偏离平均值的离散程度（方差）来衡量不确定性。

类比： 想象你正在观察人群。
- 场景 A（正常）： 每个人都站在一个紧凑、整齐的圆圈里。平均位置就在中心，每个人都离它很近。“不确定性”很低。
- 场景 B（偏斜）： 大多数人在一个紧凑的圆圈里，但有一个巨人站在 10 英里外。人群的“平均”位置现在被那个巨人拉向了那边。
- 场景 C（双峰分布）： 一半的人在左边的圆圈里，另一半人在右边的圆圈里，中间有一个巨大的空隙。

旧的方法（如方差）在这里会产生混乱。在场景 B 中，那个巨人让“离散度”看起来巨大，因此计算机认为不确定性极高，尽管 99% 的人实际上是非常可预测的。在场景 C 中，旧方法可能会因为人群分裂而认为不确定性很高，但它们也可能在无意中为中间的空隙分配了高概率，而这在现实中是不可能的。

论文指出，当我们想要寻找最可能的结果（即“众数”或人群的顶峰）时，这些旧工具会给出误导性的答案。

解决方案：QUEST（“手电筒”法）

作者提出了一个名为 QUEST（通过最高密度区域进行不确定性量化）的新框架。

与其测量从平均值开始的整个分布范围，QUEST 问的是一个不同的问题：“我们需要多大的空间才能捕捉到最可能出现的 90% 的人群？”

类比： 想象你有一个手电筒，它只能照亮房间里最明亮的部分（即人数最多的区域）。
- 低不确定性： 如果人群紧紧簇拥在一起，你的手电筒只需要一个小圆圈就能捕捉到 90% 的人。此时“光照体积”很小。
- 高不确定性： 如果人群散布在一大片场地上，你的手电筒必须变得非常巨大才能捕捉到 90% 的人。此时“光照体积”很大。

QUEST 测量的是那个手电筒光束的体积（Volume）。

体积小 = 高置信度（人群很聚集）。
体积大 = 低置信度（人群很分散）。

这对于奇特的形状非常有效。如果人群分裂成两组（场景 C），手电筒只需分别照亮这两组即可。它不会在中间的空隙上浪费光线。这提供了一个关于预测到底有多不确定的更诚实的答案。

三种类型的不确定性

论文将不确定性分为三个类别，而 QUEST 衡量了所有这些类别：

偶然不确定性（Aleatoric Uncertainty，即“噪声”）： 这是世界的自然随机性。即使你了解了模型的所有信息，天气可能仍然是不可预测的。QUEST 通过观察真实人群的“紧密程度”来衡量这一点。
认知不确定性（Epistemic Uncertainty，即“无知”）： 这是由于模型掌握的信息不足而导致的不确定性。这就像一个还没学习的学生。QUEST 通过观察模型信念的离散程度来衡量这一点。如果模型的猜测非常狂野，那么“手电筒”就会很大；如果模型很有信心，手电筒就会很小。
总不确定性（Total Uncertainty）： 这是两者的结合。QUEST 将自然噪声和模型的无知结合成一个分数。

为什么这很重要（“公理”）

作者不仅仅提出了一个酷炫的想法；他们还证明了它遵循了一套逻辑规则（公理），任何好的不确定性度量都应该遵循这些规则。

规则 1： 如果你把人群散开，不确定性应该上升。（QUEST 通过了这一点；旧方法有时会失败）。
规则 2： 如果你只是把人群移动到另一个位置而不改变其散布程度，不确定性应该保持不变。（QUEST 通过了这一点；旧方法有时会产生困惑）。
规则 3： 度量值永远不应该是负数。（QUEST 通过了这一点；一些旧的数学工具可能会给出负数，这在衡量“不确定性”时毫无意义）。

结果

团队使用具有复杂数据形状（偏斜人群、分裂人群）的计算机模拟，将 QUEST 与旧方法（方差和熵）进行了对比测试。

结果： QUEST 在识别最可靠的预测方面表现得更好。当研究人员指示计算机仅对“最确定”的数据点进行预测时，相比于旧方法，尤其是在处理奇特数据或异常值时，QUEST 帮助他们更好地避免了错误。

总结

简而言之，这篇论文的观点是：不要再通过平均值距离边缘有多远来测量不确定性了。开始通过你需要多少空间来覆盖“最可能”的部分来测量。

这就像是从测量一堆乱七八糟的衣服两端之间的距离（如果增加一只袜子，这个距离会剧烈变化），转变为测量需要多大的篮子才能装下那 90% 最整洁、折叠得最好的衣服。这是一种更稳健、更符合逻辑且更“诚实”的方式，让我们知道能在多大程度上信任 AI 的预测。

技术摘要：QUEST —— 基于最高密度区域的不确定性量化

1. 问题陈述

不确定性量化（UQ）对于安全性至关重要的概率机器学习中的可靠决策至关重要。虽然基于熵的度量是分类任务的标准做法，但回归任务的 UQ 在很大程度上依赖于适当评分规则（Proper Scoring Rules, PSRs），这些规则将不确定性操作化为模型相对于真实分布的点对点预测风险。

作者指出，当目标统计量不是条件期望（均值）时，基于 PSR 的方法（如方差和微分熵）存在根本性缺陷。在许多实际场景中（例如强化学习或贝叶斯建模），目标是条件众数（最大后验概率，即 MAP）。在存在偏斜、多峰或离群值的情况下，均值和众数可能会显著偏离。标准的方差等度量往往会高估这种情况下的不确定性，因为它们对尾部质量而非围绕众数的概率集中度非常敏感。此外，现有的回归 UQ 公理化框架在应用于非高斯或非对称分布时，往往无法满足直观属性，如分布展宽下的单调性或位置平移不变性。

2. 方法论：QUEST 框架

本文引入了 QUEST（通过最高密度区域量化不确定性），该框架通过分布支撑集的最可能子集之体积来表征不确定性，而非通过点对点风险。

核心概念

最高密度区域（Highest Density Regions, HDRs）： 对于概率密度函数 (PDF) $p$ 和鲁棒性参数 $\alpha \in (0,1)$ ， $(1-\alpha)$ -HDR ( $C_\alpha$ ) 是包含 $1-\alpha$ 概率质量的最小集合。它定义为 $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$ ，其中 $t_\alpha$ 是确保质量约束的阈值。
$\alpha$ -体积（局部度量）： 定义为 $V_\alpha(p) := \lambda(C_\alpha)$ ，其中 $\lambda$ 是勒贝格测度。它衡量了包含概率质量主体部分的“大小”。较小的体积表示高集中度（低不确定性）；较大的体积表示离散度（高不确定性）。
集成体积（全局度量）： 定义为 $IV(p) = \int_0^1 V_\alpha(p) d\alpha$ 。它总结了整个覆盖曲线，提供了对集中度的全局评估。作者建立了该覆盖曲线与经济学中的 洛伦兹曲线（Lorenz curve） 之间的几何等价关系，以及集成体积与 基尼系数（Gini coefficient） 之间的关系。

QUEST 中的不确定性类型学

该框架根据二阶分布 $q$ （代表对参数 $\theta$ 的信念）和真实地面真值分布 $p_{\theta^*}$ 定义了三种类型的不确定性：

偶然不确定性（Aleatoric Uncertainty, AU）： 通过真实分布 $p_{\theta^*}$ $p_{θ^{*}}$ 的 HDR 体积来量化。这捕捉了数据生成过程中固有的不可消除的不确定性。
- 局部： $V_\alpha(p_{\theta^*})$
- 全局： $IV(p_{\theta^*})$
认知不确定性（Epistemic Uncertainty, EU）： 通过二阶分布 $q$ $q$ 的 HDR 体积来量化。不同于标准方法将 EU 处理为残差（总不确定性 - 偶然不确定性），QUEST 将 EU 视为一种纯粹的主观信念集中度度量，独立于真实情况。
- 局部： $V_\alpha(q)$
- 全局：$IV(q)$
总不确定性（Total Uncertainty, TU）： 通过 AU 和 EU 之间的相互作用来定义。由于 AU 和 EU 存在于不同的空间，它们不能简单相加。相反，TU 被建模为由来自各自 HDR 内的真实条件密度与预测条件密度之间的散度所衍生的惩罚因子缩放后的 AU 体积。
- 公式： $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
- 此处， $D_f$ 是可接受的 $f$ -散度（例如全变分距离）， $g_f$ 是一个严格递增函数，用于惩罚智能体信念与真实情况之间的失配。

3. 主要贡献

本文做出了四个主要贡献：

概念上： 提出了一种基于密度集中度和用户提供的鲁棒性参数 $\alpha$ 的以体积为中心的解释，为不确定性提供了一种替代于基于风险的 PSR 度量的方案。
方法论上： 引入了用于偶然不确定性和认知不确定性的新型局部（ $\alpha$ -体积）和全局（集成体积）度量。它建立了这些度量与信息论（微分熵）和经济学（洛伦兹曲线、基尼系数）中经典统计学之间的理论联系。
理论上： 证明了用于 AU 和 EU 的 QUEST 度量满足一套改编自 UQ 文献的公理（A0–A5）。这些公理包括非负性、在狄拉克测度处最小化、在“平滑化”（分布展宽）下的单调性以及位置平移不变性。值得注意的是，论文认为总不确定性（TU）在所有情况下都 不应该 满足单调性公理（A4），因为即使认知不确定性增加，校准度的提高（降低 TU）仍可能发生。
实证上： 通过在三个合成数据生成过程（DGP）上的深度混合专家集成（Deep Mixture-of-Experts Ensembles）基准测试验证了该框架。结果显示，在偏斜和多峰设置下，QUEST（尤其是全局度量）优于标准方差和微分熵，能够提供更准确的预测可靠性排名。

4. 实验结果

作者使用深度混合专家集成在三个合成数据生成过程（DGP）上，将 QUEST 与方差、微分熵和随机基准进行了对比评估：

单峰高斯分布： 所有方法表现相似，符合预期。
单峰偏斜分布： 方差和熵由于对尾部质量的敏感性而表现不佳。QUEST 提供了更可靠的不确定性排名。
双峰混合分布： 标准度量在多峰设置中经常出现错误排名。QUEST 显著优于方差和熵，能够正确识别高密度集中区域。

在选择性预测任务（仅对最确定的样本进行预测）中，与竞争对手相比，QUEST（全局）在所有试验中均实现了更低的损失。一项补充的主动学习实验显示，QUEST 的表现与方差和熵持平，但作者指出，在非预言（non-oracle）设置下，QUEST 的性能对模型估计真实密度的质量较为敏感。

5. 意义与主张

论文声称 QUEST 解决了 PSR 类 UQ 特有的病态问题，特别是当目标是众数而非均值时。通过将焦点从点对点风险转向测度集中度，QUEST 为非高斯、偏斜或多峰分布提供了一种更直观且稳健的特征描述。

作者强调，他们的方法：

避免了方差类度量在存在离群值或偏斜时的反直觉结果。
为 AU 和 EU 提供了一个尊重概率密度几何结构的完备公理化基础。
提供了一个灵活的框架，其中的鲁棒性参数 $\alpha$ 允许用户控制对尾部波动的敏感度。

论文以谦逊的态度结束，承认了一些局限性，例如对相对于勒贝格测度的绝对连续性的假设，以及在高维空间估计 HDR 的计算成本。它建议未来的工作方向包括将该框架扩展到统计推断，以及处理具有原子（atoms）或低维支撑集的分布。