Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

该论文针对大语言模型在模糊问答等场景下传统概率框架无法准确捕捉其不确定性行为的局限，提出了一种基于不精确概率的新型提示与后处理方法，旨在通过量化一阶（响应不确定性）和二阶（模型本身的不确定性）不确定性，实现更可信的模型不确定性表达并辅助下游决策。

要点

这篇论文主要解决了一个大问题：当大型语言模型（LLM，比如我这样的 AI）回答问题时，我们怎么知道它是不是在“瞎编”或者真的“不确定”？

以前的方法就像让 AI 直接说：“我有 80% 的把握。”但研究发现，AI 经常在这个"80%"上撒谎，或者在真正模棱两可的问题上表现得过于自信。

这篇论文提出了一种新的方法，叫作**“不精确概率”（Imprecise Probabilities）**。为了让你更容易理解，我们可以用几个生活中的比喻来拆解它。

1. 核心问题：AI 的“过度自信”与“模糊地带”

想象你在问 AI 一个 tricky 的问题：

问题： "2019 年板球世界杯的主办国是哪个？"
选项： A. 英格兰 B. 威尔士 C. 英国 D. 印度

• 现实情况： 英格兰和威尔士是联合主办，它们都是对的，但“英国”这个选项在地理上也没错（包含前两者），而印度是 2023 年主办的。这是一个模糊问题，没有唯一的标准答案。
• 旧方法（传统 AI）： 它会强行选一个，比如选 A，然后说：“我有 90% 的把握是 A。”
  • 后果： 这很危险。因为它掩盖了问题的模糊性。它让你以为它很确定，其实它只是“猜”了一个。
• 新方法的视角： 它承认：“这个问题本身就很模糊，所以我无法给出一个确定的数字。”

2. 核心概念：一阶不确定 vs. 二阶不确定

论文把不确定性分成了两层，我们可以用**“天气预报”**来比喻：

• 一阶不确定性（First-order Uncertainty）：天气本身的不确定性

  • 比喻： 就像问“明天会下雨吗？”如果明天是“局部阵雨”，那下雨的概率就是模糊的。这是问题本身带来的不确定性（比如上面的板球世界杯问题，答案本来就不唯一）。
  • 旧方法： 试图把这个模糊的概率压缩成一个具体的数字（比如 50%），这往往不准确。
  • 新方法： 直接承认“这是一个模糊地带”，不强行给个数字。

• 二阶不确定性（Second-order Uncertainty）：我们对“天气预报”的不确定性

  • 比喻： 这是**“对不确定性的不确定性”**。
    • 如果你问 AI 一个它完全没见过的冷门知识，它可能会说：“我完全不知道，我的答案范围可能是 0% 到 100%。”（这代表它无知，不知道该怎么猜）。
    • 如果你问它一个它很熟悉的问题，但问题有点歧义，它可能会说：“我觉得答案在 60% 到 80% 之间。”（这代表它知道答案大概在哪，只是有点犹豫）。
  • 关键点： 旧方法分不清这两种情况（都是说“我不确定”）。新方法能区分：是因为问题太烂（一阶），还是因为我知识不够（二阶）？

3. 新方法是怎么做的？（不精确概率）

以前的 AI 像是一个**“独断的算命先生”，非要说：“明天降雨概率是 45.3%。”
这篇论文让 AI 变成了一个“谨慎的顾问”**，它会说：

“关于这个问题，我认为答案正确的可能性至少有 40%，最多有 70%。”

它不再给一个点（Point Estimate），而是给一个区间（Interval）。

• 区间很窄（比如 60%-65%）： 说明 AI 很有把握，只是有一点点犹豫。
• 区间很宽（比如 10%-90%）： 说明 AI 完全不知道，或者问题本身太烂，它没法判断。

4. 三个具体的应用场景（论文中的实验）

论文通过三个场景证明了新方法更好：

A. 模糊问题（Ambiguous Questions）

• 场景： 问一个有歧义的问题。
• 旧方法： 强行选一个答案，自信满满。
• 新方法： 给出一个很宽的区间，告诉你：“这个问题本身就有问题，别太信我的答案。”
• 比喻： 就像问“哪个水果最好吃？”旧 AI 会说“苹果（90%）”；新 AI 会说“苹果和香蕉都有可能，范围在 30%-70% 之间，看你喜欢什么。”

B. 上下文学习（In-Context Learning）

• 场景： 给 AI 看几个例子，让它猜下一个。例子越多，它应该越确定。
• 旧方法： 即使给了很多例子，它还是说“我不确定”（分数很高但不变）。
• 新方法： 随着例子增加，它的区间会变窄（比如从 20%-80% 变成 70%-75%）。
• 比喻： 就像你教孩子认猫。刚开始你说“可能是猫”，孩子很犹豫（区间宽）；你展示了 10 只猫后，孩子说“肯定是猫”（区间变窄，甚至变成 99%-100%）。新方法能捕捉到这个“变窄”的过程。

C. 自我反思（Self-Reflection）

• 场景： 让 AI 选一个答案，然后解释为什么。
• 旧方法： 经常解释得和它选的答案对不上（比如选了 A，解释却像是在说 B 也有可能）。
• 新方法： 它的解释和它给出的“区间”是匹配的。如果它说“我不确定”，它就不会强行选一个看似确定的答案。

5. 总结：这对我们意味着什么？

这篇论文的核心贡献是让 AI 变得更诚实、更透明。

• 以前： AI 像个“过度自信的专家”，即使不懂也敢拍胸脯说"80% 确定”。这导致我们在做重要决定（如医疗、法律）时容易踩坑。
• 现在： AI 像个“谨慎的科学家”。它会说：“在这个问题上，我的把握在 40% 到 60% 之间，因为问题本身有点模糊，或者我还需要更多信息。”

一句话总结：
这篇论文教 AI 学会说"我不知道确切答案，但我能告诉你我有多不确定"，而不是假装知道。通过给出一个概率区间而不是一个死数字，我们就能更好地判断什么时候该听 AI 的，什么时候该自己拿主意。

技术摘要

1. 研究背景与问题 (Problem)

尽管大语言模型（LLM）的不确定性量化（UQ）在幻觉检测、推理增强和主动学习等下游任务中至关重要，但现有的经典概率框架（即假设不确定性可以用一个精确的标量概率值表示）在实际应用中存在显著缺陷。

现有方法（Vanilla Uncertainty）的主要失败模式包括：

• 模糊问答场景： 当问题本身存在歧义（可能有多个正确答案）时，传统方法无法区分“模型不知道答案”和“问题本身有多个合理答案”的情况，导致不确定性评分无法反映真实的歧义程度。
• 上下文学习（ICL）失效： 随着提供的上下文示例（in-context examples）增加，模型的预测误差通常会降低，但传统方法输出的不确定性评分往往保持高位且平坦，未能反映认知不确定性（Epistemic Uncertainty）的减少。
• 自我反思不一致： 当模型被要求选择答案并反思其选择时，其生成的不确定性评分往往无法解释其实际的选择逻辑，违背了贝叶斯理性决策原则。

核心痛点： 现有方法隐含假设不确定性可以被单一精确概率完全捕获，忽略了高阶不确定性（即“对不确定性的不确定性”），导致在复杂场景下模型的可信度报告失真。

---

2. 方法论 (Methodology)

作者提出了一种基于不精确概率（Imprecise Probabilities, IP） 的新框架，通过提示工程（Prompting）和后处理技术，让 LLM 直接语言化地表达一阶和二阶不确定性。

2.1 核心概念：一阶与二阶不确定性

• 一阶不确定性 (First-order Uncertainty)： 对应于结果的内在随机性（如问题本身的歧义导致多个正确答案）。在 IP 框架下，这表现为概率分布的变异性。
• 二阶不确定性 (Second-order Uncertainty)： 对应于对概率模型本身的不确定性（即认知不确定性，如缺乏信息）。在 IP 框架下，这表现为概率区间（Probability Intervals $[ \underline{p}, \overline{p} ]$）的宽度。区间越宽，表示模型越不确定（无知）；区间越窄，表示模型越确信。

2.2 具体技术实现

作者设计了三种基于 IP 的提示策略来提取不确定性：

1. DeFinetti (一阶不确定性优化)：

   • 基于 Bruno de Finetti 的相干博彩理论。
   • 提示模型为每个答案分配一个“买入价格”（即概率），要求这些价格必须满足概率公理（非负性、归一化，总和为 1）。
   • 通过验证器确保输出的概率分布是相干的，从而得到更可靠的一阶概率估计。

2. ProbInt (概率区间，核心方法)：

   • 直接提示模型为每个候选答案输出一个下界概率（$\underline{p}$，证据充分支持的最小概率）和上界概率（$\overline{p}$，理论上可辩护的最大概率）。
   • 区间 $[\underline{p}, \overline{p}]$ 直接量化了二阶不确定性。

3. Credal (Credal Sets) & Pos (Possibility Functions)：

   • Credal： 通过集成多个 LLM（或多次采样）生成的概率分布，取最小值和最大值构建概率区间，反映模型间的分歧。
   • Pos： 使用可能性函数（Possibility Function）来评估答案的合理性，特别适用于候选集不完整的情况。

2.3 度量指标：最大平均不精确度 (MMI)

为了将概率区间转化为标量的不确定性分数，作者使用了最大平均不精确度 (Maximum Mean Imprecision, MMI)：

• 对于单个答案，MMI 近似为区间宽度：$\overline{p}(y) - \underline{p}(y)$。
• 对于整个候选集，使用上界公式：$MMI \le 1 - \sum \underline{p}(y)$。
• MMI 能够有效量化二阶不确定性（认知不确定性）。

---

3. 关键贡献 (Key Contributions)

1. 理论框架创新： 首次将不精确概率（IP）框架系统地引入 LLM 的语言化不确定性提取中，明确区分并量化了一阶（随机性）和二阶（认知性）不确定性。
2. 通用提示策略： 提出了一套通用的提示和后处理流程（DeFinetti, ProbInt, Credal, Pos），无需修改模型参数或访问内部权重，即可从黑盒模型中提取高阶不确定性。
3. 解决现有缺陷： 证明了该方法能有效解决模糊问答、上下文学习中的不确定性校准问题，以及自我反思中的一致性难题。
4. 低成本高效益： 相比基于采样的方法（如语义熵），该方法主要依赖单次或少量提示，API 成本显著降低，同时保持了更高的准确性。

---

4. 实验结果 (Results)

作者在合成数据集和真实世界 QA 基准（MMLU-Pro, AmbigQA, MAQA）上进行了广泛评估：

• 不确定性解耦 (Disentanglement)：

  • 在合成实验中，当增加问题歧义（一阶噪声）时，传统方法（Vanilla）的不确定性评分线性上升，而 ProbInt 和 Credal 的二阶不确定性评分保持平稳，成功解耦了噪声来源。
  • 在上下文学习（ICL）实验中，随着示例数量增加（预测误差降低），ProbInt 的不确定性评分显著下降，准确反映了认知不确定性的减少，而传统方法未能捕捉这一变化。

• 歧义检测 (Ambiguity Detection)：

  • 在 AmbigQA 和 MAQA 数据集上，基于 DeFinetti 的方法在检测问题歧义方面取得了最高的 AUROC 分数，优于语义熵（Semantic Entropy）和直接询问歧义概率的方法。

• 正确性检测 (Correctness Detection)：

  • 在无歧义任务中，ProbInt 和 Credal 在检测模型回答是否正确方面表现最佳（AUROC 最高）。
  • 在同时存在歧义和知识缺失的复杂场景下，将一阶（DeFinetti）和二阶（ProbInt）评分结合（乘积形式），能比单一基线更好地分离正确与错误的预测。

• 决策一致性 (Decision Alignment)：

  • 在自我反思实验中，基于 IP 的最大最小规则 (Maximin Rule) 与 LLM 实际生成的答案选择具有最高的对齐率，证明了该方法在决策层面的内在一致性。

• 成本效益：

  • 相比基于采样的基线（如 MI-Clarifications），提出的方法 API 成本降低了 50% 以上（Credal 除外，因为它涉及多模型/多次采样）。

---

5. 意义与影响 (Significance)

• 提升 LLM 可信度： 该方法使 LLM 能够更诚实、更细致地报告其“不知道”或“不确定”的状态，特别是在面对模糊问题或信息不足时，避免了过度自信。
• 支持下游决策： 通过提供二阶不确定性（认知不确定性），下游系统可以更智能地决定何时需要人类介入、何时需要澄清问题，或何时放弃回答，从而提升 Agent 工作流的安全性。
• 理论指导实践： 为理解 LLM 的“幻觉”和“不确定性”提供了新的理论视角，即许多不确定性并非源于随机性，而是源于模型对问题边界的认知模糊（Ignorance vs. Indifference），IP 框架能有效区分这两者。
• 低成本落地： 提供了一种无需微调、无需访问模型内部参数的即插即用方案，适合在闭源商业模型中应用。

总结： 这篇论文通过引入不精确概率，成功解决了传统 LLM 不确定性量化在模糊性和认知不确定性方面的失效问题，提供了一种更鲁棒、更一致且成本更低的语言化不确定性提取方案。