💻 computer science

Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

本文介绍了 CREDENCE，这是一种基于信念的集成概念瓶颈模型框架，它利用概率区间和集成分歧将概念层面的不确定性分解为认知性和偶然性成分，从而支持更具可操作性的决策策略，例如自动路由、针对性数据收集和人工审查。

原作者： Tanmoy Mukherjee, Thomas Bailleux, Pierre Marquis, Zied Bouraoui

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Tanmoy Mukherjee, Thomas Bailleux, Pierre Marquis, Zied Bouraoui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位餐厅评论家，试图判断一条评论是正面还是负面。有时，评论一目了然：“食物太棒了！”你确切知道该怎么做。但有时，评论却令人费解：“服务员还算高效吧。”

这是赞美？是抱怨？还是仅仅表示某人拿不准？

当前的 AI 模型通常只给你一个单一数值来回答这个问题，比如“这条评论有 60% 的概率是正面的”。但这个单一数值掩盖了一个大问题：它没有告诉你 AI 为何拿不准。是因为 AI 在训练中没有见过足够多类似的例子而感到困惑？还是因为这句话本身如此模糊，以至于即使是人类专家也会对此争论不休？

本文介绍了一种名为CREDENCE（Credal Ensemble Concept Estimation，可信集成概念估计）的新系统，它通过像侦探团队而非单个侦探那样运作来解决这一问题。

问题所在：“困惑”与“模糊”的混淆

作者指出，当前的 AI 混淆了两种截然不同的不确定性：

认知不确定性（“我还没学会这个”的问题）：AI 感到困惑是因为缺乏经验。如果你给它展示更多例子，它就能学会答案。
偶然不确定性（“这本来就模糊”的问题）：输入本身具有歧义。即使 AI 学习一辈子，人类仍会对答案产生分歧，因为句子本身就不清晰。

混淆这两者非常危险。如果 AI 感到困惑，你应该加强训练；如果句子模糊，你应该让人类来做决定。但如果你只看到一个“低置信度”分数，你就不知道该采取哪种行动。

解决方案：侦探团队（CREDENCE）

CREDENCE 改变了 AI 的思维方式。它不是让一个 AI 猜测答案，而是使用五个略有不同的 AI“头”（可以想象成五位拿着不同放大镜的侦探）来审视同一句话。

以下是其逐步工作原理：

1. 侦探团队（集成头）
想象五位侦探正在审视这句话：“服务员还算高效吧。”

侦探 A（用简单镜头训练）认为：“也许是正面。”
侦探 B（用详细镜头训练）认为：“也许是负面。”
侦探 C 认为：“难说。”

如果五位侦探都达成一致，AI 就是自信的。如果他们都意见相左，AI 就知道自己困惑了（认知不确定性）。这种分歧告诉系统：“嘿，我们需要更多训练数据来学习如何处理这类句子。”

2. “模糊度计”（偶然头）
此外，系统还有一个专门的传感器，用于识别人类自身无法达成一致的情况。它审视句子并问道：“这句话是否模糊到连一群人都会为此争论？”
如果答案是肯定的，系统将其标记为偶然不确定性。这告诉系统：“别浪费时间在训练 AI 上处理这个；直接把它交给人类评论员。”

3. “区间”答案
CREDENCE 不再给出一个单一数值（如 60%），而是给出一个范围（如“介于 40% 到 80% 之间”）。

狭窄的范围意味着侦探们意见一致（低不确定性）。
宽泛的范围意味着他们正在争执（高不确定性）。

你能用它做什么？

由于 CREDENCE 将“困惑”与“模糊输入”区分开来，它可以为你提供关于下一步行动的具体指示。该论文在餐厅评论阅读和识别有害评论等任务上对此进行了测试。

他们发现了四种截然不同的情况，就像 AI 决策的交通信号灯系统：

🟢 信任（低困惑，低模糊）：侦探们意见一致，且句子清晰。行动：让 AI 自动处理。
🟡 数据（高困惑，低模糊）：侦探们意见相左，但句子清晰。这意味着 AI 只是没见过足够多的例子。行动：收集更多训练数据来教导 AI。
🟠 审查（低困惑，高模糊）：侦探们意见一致，但句子如此奇怪或模糊，以至于人类会为此争论。行动：将其发送给人类评论员。AI 并非“错误”；这种情况只是需要人类判断。
🔴 放弃（高困惑，高模糊）：侦探们意见相左，且句子一团糟。行动：完全不要猜测。拒绝该任务或升级给专家处理。

结果

该论文在多个数据集（如餐厅评论和情感检测）上测试了这种方法。他们发现：

当 AI 犯错时，通常是因为“侦探们”意见不一（高困惑）。
当 AI 将句子标记为“模糊”时，几乎总是因为真实人类确实对如何标记它存在分歧（高模糊）。
最重要的是，如果你试图通过修正“模糊”句子来改进 AI，其效果远好于试图修正“困惑”的句子。这表明，人类认为模糊的内容实际上是决策过程中最重要的部分。

nutshell

CREDENCE 就像给 AI 配备了一个带有两个独立警示灯的仪表盘，而不是一个大的“警告”灯。一个灯告诉你“我们需要更多学习”，另一个灯告诉你“这对机器来说太棘手了，叫人类来”。通过区分这两个问题，系统确切知道如何反应，使其在现实世界的决策中更安全、更实用。

以下是论文《用于认识论–偶然性不确定性分解的 credal 概念瓶颈模型》的详细技术总结。

1. 问题陈述

在高风险的自然语言处理（NLP）应用（如医疗、法律、金融）中，标准模型输出单一置信度分数，将两种截然不同的不确定性类型混为一谈：

认识论不确定性（Epistemic Uncertainty）： 由模型无知或定义不足引起的可还原不确定性（例如，模型未见过足够多的类似训练样本）。
偶然性不确定性（Aleatoric Uncertainty）： 由输入数据固有的歧义或噪声引起的不可还原不确定性（例如，人类标注者对标签存在真实分歧）。

现有方法的局限性：

概念瓶颈模型（CBMs）： 虽然 CBM 通过预测中间的人类可理解概念提高了可解释性，但它们通常输出点概率（单一数值）。这将认识论不确定性和偶然性不确定性压缩在一起，使得无法确定预测为何存在不确定性。
可执行性差距： 若无分解，从业者无法区分模型需要更多训练数据的情况（高认识论不确定性）与因输入歧义而需要人工审查的情况（高偶然性不确定性）。

2. 方法论：CREDENCE

作者提出了 CREDENCE（Credal 集成概念估计），这是一个通过构建在概念层面分解不确定性的框架。

核心架构创新

Credal 预测（区间）： 每个概念 $k$ 不再预测单一概率 $p_k$ ，而是预测为概率区间 $[p_k, \bar{p}_k]$ 。该区间代表一个 Credal 集，捕捉了合理概率的范围。
不确定性的结构分离： 架构确保认识论信号和偶然性信号源自不同来源，防止它们坍缩为单一分数。
- 认识论不确定性（ $U_{epi}$ ）： 源自集成分歧。模型使用 $H$ 个多样化的轻量级头部（LoRA 适配器），具有不同的秩和丢弃率。它们预测值的方差量化了模型的困惑程度。
- 偶然性不确定性（ $U_{ale}$ ）： 源自一个专用头部，该头部专门训练以预测标注者分歧（歧义）。该头部学习输出与给定概念的人类标签方差成比例的值。

流程阶段

编码器： 冻结的预训练模型（如 RoBERTa、LLMs）将输入文本 $x$ 编码为表示 $h$ 。
集成头部： $H$ 个多样化的 LoRA 头部预测概念概率 $\hat{p}_h^{(k)}$ 。
Credal 聚合：
- 形成区间边界： $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$ 。
- 计算认识论不确定性为各头部间的方差： $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$ 。
偶然性头部： 一个独立的头部预测 $\sigma_\theta^{(k)}$ ，在训练期间被训练以匹配观察到的标注者分歧率（真实标签）。
分类与决策：
- 最终标签使用概念概率的均值进行预测。
- 决策规则： 系统利用分解后的信号对样本进行路由：
  - 信任： 低认识论，低偶然性 $\rightarrow$ 自动化。
  - 数据收集： 高认识论，低偶然性 $\rightarrow$ 收集更多训练数据。
  - 人工审查： 低认识论，高偶然性 $\rightarrow$ 路由至人工（输入存在歧义）。
  - 弃权： 高认识论，高偶然性 $\rightarrow$ 拒绝预测。

3. 主要贡献

Credal CBM 公式化： 一种新颖的 CBM 变体，将概念预测表示为概率区间而非点估计，实现了原则性的不确定性量化。
结构分解： 一种利用不同架构组件（集成方差与监督歧义头部）分离认识论（模型困惑）和偶然性（数据歧义）信号的方法，防止信号坍缩。
可执行的规范性指导： 证明了分解不确定性允许进行特定的、优化的干预（例如，针对认识论错误优先收集数据，针对偶然性案例进行人工审查）。

4. 实验结果

该框架在多个 NLP 任务（情感、情绪、毒性）上进行了评估，使用了 CEBaB、GoEmotions、HateXplain 和 SST-2 等数据集。

分解有效性（RQ1 & RQ2）：
- 认识论相关性： CREDENCE 显示认识论不确定性与预测错误之间存在强正相关（在 CEBaB 上 $\rho_{epi} \approx 0.287$ ）。当模型出错时，集成头部会出现分歧。
- 偶然性相关性： 偶然性不确定性与标注者分歧强相关（在 CEBaB 上 $\rho_{ale} \approx 0.785$ ），远超基线方法（例如，CBM+Ensemble 的 $\rho_{ale} \approx 0.356$ ）。
- 分离性： 在缺乏标注者分歧标签的 SST-2 上，偶然性不确定性正确显示与错误无相关性，证明其衡量的是歧义而非模型失败。
可执行性（RQ3）：
- 概念干预： 用真实标签替换具有高偶然性不确定性的概念，比替换具有高认识论不确定性的概念带来显著更高的准确率提升（ $\Delta Acc \approx 18.9\%$ vs $\Delta Acc \approx 4.3\%$ ）。这表明歧义概念比模型困惑更能驱动任务结果。
- 路由效率： 四象限决策框架识别出“人工审查”案例（低认识论，高偶然性），在这些案例中模型实际上是正确的但人类存在分歧，若正确路由，可实现最高的潜在准确率提升（ $85.7\%$ ）。
效率： 与全深度集成相比，CREDENCE 使用 LoRA 适配器以极小的开销实现了这些结果，在保持竞争力准确率的同时提供了丰富的不确定性信号。

5. 意义与影响

** bridging 理论与实践：** 该论文超越了理论上的不确定性量化，提供了规范性行动。它告诉从业者基于不确定性类型该做什么（例如，“收集数据”与“送交人工”）。
处理主观性： 在“真实标签”通常是争议性人类判断复合体（主观性）的 NLP 任务中，区分模型无知与固有歧义至关重要。CREDENCE 提供了首个明确建模这种区分的 CBM 框架。
人机协作： 通过识别人类判断至关重要的案例（高偶然性）与模型仅需更多训练的案例（高认识论），该框架优化了人力资源和数据收集预算的分配。
鲁棒性： 该方法在不同模型规模（从 66M 参数编码器到 8B 参数 LLM）和多样化的 NLP 任务中均具有泛化能力。

总之，CREDENCE 将不确定性从单一、不透明的置信度分数转化为结构化、可操作的诊断工具，使得在高风险环境中更可靠、更高效地部署 AI 系统成为可能。