💬 NLP

Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

本文提出了一种名为“方向性集中不确定性”（DCU）的新型框架，该方法基于冯·米塞斯 - 费舍尔分布，通过测量生成输出嵌入的几何分散度来量化不确定性，从而在无需任务特定启发式规则的情况下，实现了优于或媲美现有方法的校准性能并展现出良好的多模态泛化能力。

原作者： Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Souradeep Chattopadhyay, Brendan Kennedy, Sai Munikoti, Soumik Sarkar, Karl Pazdernik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让人工智能（AI）变得更“诚实”和“可信赖”的新方法。为了让你轻松理解，我们可以把生成式 AI（比如大语言模型）想象成一个才华横溢但偶尔会犯迷糊的“故事大王”。

1. 核心问题：故事大王什么时候在瞎编？

想象一下，你问这位故事大王：“谁是美国的第一任总统？”

情况 A（他很有把握）： 无论你怎么问，他每次回答都是“乔治·华盛顿”。他的回答高度一致，就像一支训练有素的军队，步伐整齐。
情况 B（他在瞎编）： 如果你问一个他不知道答案的复杂问题，比如“请描述一下火星上一种不存在的蓝色花朵的生态习性”，他可能会第一次说“它吃阳光”，第二次说“它靠唱歌生存”，第三次说“它其实是机器人”。他的回答五花八门，毫无章法。

不确定性量化（UQ） 的任务，就是给这位故事大王装上一个“测谎仪”或“自信度计”。我们需要一种方法，能自动判断：“嘿，这家伙现在的回答很一致，他可能知道答案；或者他的回答乱七八糟，他其实是在胡扯。”

2. 旧方法（语义熵）的局限：死板的“找不同”游戏

在论文提出新方法之前，主流的做法叫语义熵（Semantic Entropy）。

它的做法： 让故事大王讲 10 遍故事，然后请一位严厉的“语义裁判”（通常是另一个复杂的 AI 模型）来检查这 10 遍故事。裁判会问：“故事 A 和故事 B 意思一样吗？故事 A 和故事 C 意思一样吗？”
它的缺点： 这位裁判非常死板，只擅长处理简单的“是非题”或“填空题”。
- 如果问题是“谁是美国总统？”，裁判能轻松判断“乔治·华盛顿”和“华盛顿总统”是一回事。
- 但如果问题是“画一张图并解释”或者“写一首关于未来的诗”，裁判就晕了。因为“意思一样”在复杂的、多模态（图文结合）的任务中很难定义。这就好比让裁判去比较两幅画是否“意思相同”，这太难了。

3. 新方法（DCU）：看“方向”而不是“文字”

这篇论文提出了一个新方法，叫方向集中不确定性（Directional Concentration Uncertainty, DCU）。

它的核心比喻：指南针与散开的鸟群
想象故事大王的每一个回答，都不是文字，而是一只飞在空中的鸟。
- 旧方法是试图把鸟抓下来，看它们长得像不像（语义相似）。
- DCU 方法则是直接看这些鸟飞行的方向。
1. 把回答变成“方向”： 我们不再纠结文字本身，而是把故事大王的每一个回答，都通过一个“翻译器”（嵌入模型），变成空间中的一个箭头（向量）。
2. 观察箭头的聚集度：
  - 如果故事大王很自信（低不确定性）： 他生成的 10 个箭头，会像一群训练有素的士兵，紧紧指向同一个方向。虽然文字可能略有不同，但“心意”是高度一致的。
  - 如果故事大王在瞎编（高不确定性）： 他生成的 10 个箭头，会像一群受惊的鸟，向四面八方乱飞，方向非常分散。
数学魔法（冯·米塞斯 - 费雪分布）：
论文用了一种叫“冯·米塞斯 - 费雪分布”的数学工具来测量这些箭头的“聚集程度”。
- 箭头越聚拢 $\rightarrow$ 方向越集中 $\rightarrow$ 不确定性低（AI 很懂）。
- 箭头越分散 $\rightarrow$ 方向越乱 $\rightarrow$ 不确定性高（AI 在瞎编）。

4. 为什么新方法更厉害？

不需要“裁判”： 旧方法需要一个复杂的裁判去判断“意思是否相同”，这很难通用。新方法只需要看“箭头方向”，不需要理解具体的文字含义，所以它更灵活。
通吃各种任务：
- 在简单的“问答”任务中，新方法和旧方法一样好用。
- 在复杂的“看图说话”或“多模态”任务中（比如让 AI 看一张图然后回答问题），旧方法因为无法定义“图文意思是否相同”而失效，但新方法依然有效，因为它只看“方向”是否一致。

5. 总结与未来

一句话总结：
这篇论文提出了一种更聪明、更通用的方法，通过观察 AI 回答的“方向一致性”来判断它是否靠谱，而不是死抠文字意思。这让 AI 在面对复杂、开放甚至包含图片的任务时，也能告诉我们它是否“心里有底”。

未来的意义：
这就好比给未来的 AI 机器人装上了一个通用的“诚实度传感器”。无论它是写代码、画画、还是做科学实验，只要它的回答“方向”乱了，人类用户就能立刻知道：“停！这个 AI 现在在瞎猜，别信它！”这对于让 AI 安全地进入医疗、法律等敏感领域至关重要。

论文技术总结：方向性集中度不确定性（Directional Concentration Uncertainty, DCU）

1. 研究背景与问题定义

背景：
大型语言模型（LLM）和其他生成式模型在敏感领域的应用受到其缺乏可靠性和透明度的限制。不确定性量化（Uncertainty Quantification, UQ）旨在通过揭示模型对输出的置信度，帮助用户做出更明智的决策。

现有方法的局限性：
目前主流的采样基（Sampling-based）不确定性量化方法，如语义熵（Semantic Entropy, SE），依赖于将多个采样输出聚类为“语义等价”的组，并计算这些组的分布熵。

核心缺陷：SE 依赖于严格的文本蕴含（Entailment）模型来判断语义等价性。这种方法在短文本问答任务中表现良好，但在处理长文本、复杂任务（如摘要、多模态任务）或开放域生成时，由于缺乏通用的语义等价定义，其泛化能力显著下降。
问题：现有的基于文本聚类的启发式方法难以跨任务、跨模态（如图像 + 文本）进行推广。

本文目标：
提出一种无需特定任务启发式规则、具有高度灵活性的 UQ 框架，能够适用于单模态和多模态生成任务，并达到或超越现有最佳方法（如 SE）的性能。

2. 方法论：方向性集中度不确定性 (DCU)

核心思想：
DCU 摒弃了离散的语义聚类，转而利用**连续嵌入空间（Continuous Embedding Space）**中的几何特性来量化不确定性。其核心假设是：如果模型对某个输入的回答是确定的，多次采样的输出在嵌入空间中会高度集中在一个方向；反之，如果模型不确定，输出在嵌入空间中会呈现较大的几何分散。

具体步骤：

采样与嵌入：
- 对输入 $x$ 进行 $N$ 次采样，得到输出集合 $O(x) = \{y_1, ..., y_N\}$ 。
- 使用预训练的嵌入模型（如 e5-large-v2 或 CLIP 编码器）将文本输出映射为 $d$ 维向量。
- 对向量进行 $\ell_2$ 归一化，使其位于单位超球面 $S^{d-1}$ 上。
建模分布 (vMF 分布)：
- 假设归一化后的嵌入向量服从 von Mises-Fisher (vMF) 分布。该分布定义在单位超球面上，由两个参数控制：
  - 平均方向 ( $\mu$ )：表示样本的中心趋势。
  - 集中度参数 ( $\kappa$ )：表示样本围绕平均方向的聚集程度。
- 概率密度函数： $p(z | \mu, \kappa) = C_d(\kappa) \exp(\kappa \mu^\top z)$ 。
参数估计与不确定性计算：
- 通过最大似然估计（MLE）计算 $\mu$ 和 $\kappa$ 。
- 不确定性得分：直接使用集中度参数的倒数 $\kappa^{-1}$ 作为不确定性分数。
  - $\kappa$ 越大 $\rightarrow$ 样本越集中 $\rightarrow$ 不确定性越低。
  - $\kappa$ 越小 $\rightarrow$ 样本越分散 $\rightarrow$ 不确定性越高。

与语义熵 (SE) 的区别：

SE：需要双向蕴含模型进行成对语义比较 $\rightarrow$ 聚类 $\rightarrow$ 计算熵。依赖离散的语义等价定义。
DCU：直接在连续嵌入空间计算几何分散度 $\rightarrow$ 拟合 vMF 分布。无需语义匹配模型，无需离散聚类。

3. 实验设置与结果

实验设计：

数据集：
- 单模态（文本问答）：TriviaQA, SQuAD, NQ-Open（用于与 SE 进行基准对比）。
- 多模态（视觉问答）：ScienceQA（包含图像和文本，用于测试泛化能力）。
模型：LLaMA-2, Falcon, Mistral (文本); LLaVA, Gemma (多模态)。
评估指标：
- AUROC：衡量不确定性分数区分正确与错误输出的能力（越接近 1 越好）。
- Accuracy：模型生成答案的准确率。
- 使用 Bootstrap 重采样（N=1000）计算置信区间以确保统计显著性。

关键结果：

单模态问答任务 (TriviaQA, SQuAD, NQ-Open)：
- DCU 的表现与 SE 相当或略优。
- 在大多数模型和数据集上，DCU 的 AUROC 分数与 SE 非常接近，且差异在统计置信区间内。
- 例如，在 Falcon 模型上，NQ-Open 和 SQuAD 任务中 DCU 的 AUROC 甚至超过了 SE。
- 结论：DCU 能够捕捉到与语义熵相同的不确定性信号，证明了嵌入空间的几何分散度与语义不确定性高度相关。
多模态任务 (ScienceQA)：
- SE 的失效：在视觉问答任务中，SE 的 AUROC 显著下降（LLaVA 模型上仅为 0.51，接近随机猜测），因为文本蕴含模型无法有效处理多模态输出的语义等价性。
- DCU 的优势：DCU 在相同任务上表现明显更好（LLaVA 模型上 AUROC 达到 0.67）。
- 结论：DCU 成功克服了 SE 在多模态和复杂任务中的局限性，证明了其作为通用 UQ 框架的潜力。

4. 主要贡献与意义

提出了一种通用的 UQ 框架 (DCU)：
- 首次将 vMF 分布应用于生成式模型的输出不确定性量化。
- 完全摆脱了对“语义等价”这一特定定义的依赖，不再需要昂贵的蕴含模型或特定的聚类启发式规则。
实现了跨模态的泛化能力：
- 证明了基于嵌入几何分散度的方法不仅适用于文本，还能有效扩展到多模态（图像 + 文本）场景。这是传统语义熵方法难以做到的。
性能与效率的平衡：
- 在保持与 SOTA 方法（SE）相当甚至更优的校准水平的同时，简化了计算流程（去除了语义匹配步骤）。
- 虽然仍需要多次采样（这是采样基方法的共性），但嵌入编码器的计算成本远低于生成式模型本身，且低于运行复杂的语义蕴含模型。
对未来应用的启示：
- 代理系统 (Agentic Systems)：DCU 可以无缝集成到智能体工作流中，通过监测隐藏状态的嵌入分散度来检测并限制不确定性传播。
- 任意模态：只要存在良好的编码器，该方法即可应用于图像生成、音频生成等任何生成式任务。

5. 局限性与未来工作

采样成本：DCU 仍然依赖于多次模型采样（实验中 N=10），这在实时性要求极高的场景中可能成为瓶颈。
编码器依赖：方法的效果高度依赖于嵌入模型的质量。如果嵌入模型无法捕捉特定领域的语义，DCU 的效果会下降。
未来方向：
- 探索在任意模态（如纯图像生成、音频）中的不确定性量化。
- 将 DCU 集成到智能体（Agent）系统中，用于动态决策和错误传播控制。
- 进一步研究降低采样次数的可能性。

总结：
这篇论文通过引入方向性集中度不确定性 (DCU)，成功地将不确定性量化从“基于文本语义聚类”的狭窄领域，拓展到了“基于连续嵌入几何分布”的通用领域。它不仅解决了现有方法在复杂和多模态任务中的泛化难题，还为构建更可靠、更透明的生成式 AI 系统提供了新的理论基础和实用工具。