LLMs Should Express Uncertainty Explicitly

这篇论文提出了一种将大型语言模型（LLM）中的不确定性（Uncertainty）视为“接口设计”问题的新视角，而非仅仅将其视为生成后需要估计的潜在变量。作者认为，为了支持下游决策（如拒绝回答、检索增强、工具调用等），模型必须能够以用户和控制器可理解的形式显式地表达其不确定性。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状局限：现有的不确定性处理方法通常将不确定性视为生成后的潜在量（latent quantity），通过事后估计置信度分数或分析推理轨迹中的高熵 token 来推断。这种方法存在“可见性”问题：下游系统往往需要“读字里行间”来推断模型是否不确定，导致干预信号滞后或不可靠。
• 核心问题：如何在 LLM 中暴露不确定性，使其成为可操作的决策接口？
• 两种不确定性尺度：
  1. 结果不确定性 (Outcome Uncertainty)：模型对最终答案正确性的不确定。
  2. 过程不确定性 (Process Uncertainty)：模型在推理过程中遇到事实缺失、证据模糊或中间步骤脆弱时的不确定。
     现有的单一输出格式无法同时满足这两种不同尺度的决策需求。

2. 方法论 (Methodology)

作者提出了两种互补的不确定性接口，并在统一的微调框架（基于 GRPO，Group Relative Policy Optimization）下进行了训练：

A. 全局接口：显式置信度 (Global Interface: Verbalized Confidence)

• 机制：模型在生成完整推理轨迹后，口头表达一个校准过的置信度分数（例如 "Answer: X, Confidence: 0.85"）。
• 训练目标：设计了一种置信度感知奖励函数。
  • 如果答案正确且置信度高，给予高奖励。
  • 如果答案错误但置信度高（过度自信），给予严厉惩罚。
  • 如果答案错误且置信度低，惩罚较轻。
• 理论分析：
  • 通过**倾斜分布（Tilted Distribution）**视角，证明了该奖励机制会压缩“过度自信的错误路径”的概率质量，同时放大“有支持的正确路径”。
  • 模型并未创造新的推理路径，而是重新分配了预训练模型中已有的潜在正确路径的概率。
• 机制分析：Logit-Lens 和 PCA 分析表明，校准训练主要锐化了现有的置信度流形（Confidence Manifold），优化了从隐藏状态到置信度输出的映射，而没有剧烈改变底层的推理几何结构。

B. 局部接口：推理时信号 (Local Interface: Reasoning-Time Signaling)

• 机制：模型在推理过程中，一旦进入高风险状态（如遇到知识盲区），立即发出显式的特殊标记 <uncertain>。
• 训练目标：设计了一种干预导向的奖励函数。
  • 奖励顺序：正确且不发射 <uncertain> > 正确但发射 <uncertain> > 错误且发射 <uncertain> > 错误且不发射 <uncertain>。
  • 核心逻辑：沉默的失败（Silent Failure）惩罚最重。鼓励模型在犯错前暴露不确定性，而不是盲目自信地继续生成。
• 下游应用：发出的 <uncertain> 标记可作为检索（Retrieval）或干预的触发信号。通过隐藏状态探针（Hidden-state Probe）可以进一步判断是否需要检索。
• 机制分析：与全局接口不同，局部接口诱导了更深层的晚期层（Late-layer）表示重组。模型需要构建一个新的内部状态来显式表达不确定性，而不仅仅是解码现有的信号。

3. 关键贡献 (Key Contributions)

1. 接口设计范式：将 LLM 不确定性重新定义为接口设计问题，区分了用于“最终答案信任度判断”的全局信号和用于“推理中途干预”的局部信号。
2. 显式置信度接口：证明了通过训练模型口头表达置信度，可以显著改善校准度（Calibration），大幅减少过度自信的错误，且优于简单的后处理校准基线。
3. 推理时信号接口：证明了训练模型在推理中发射 <uncertain> 标记，可以将原本沉默的失败转化为可见的干预点，显著提高了下游检索系统对错误答案的覆盖率（Recall）。
4. 机制洞察：
   • 全局接口主要是对现有不确定性信号的几何保持型解码优化（Geometry-preserving readout refinement）。
   • 局部接口则诱导了晚期表示的重组（Late-layer rewrite），以构建新的不确定性表达计算。

4. 实验结果 (Results)

• 校准性能：
  • 显式置信度训练将 ECE（预期校准误差）从 0.383 降至 0.049，Brier 分数从 0.504 降至 0.166。
  • 错误类型发生根本转变：基线模型主要是“过度自信的错误”（Epistemic errors），校准后模型在犯错时倾向于表达低置信度（Aleatoric errors）。
• 推理时信号性能：
  • 在六个事实推理数据集上，校准模型的错误答案覆盖率（即错误答案伴随 <uncertain> 发射的比例）从 37.97% 提升至 58.70%。
  • 在 Adaptive RAG 任务中，基于 <uncertain> 的触发机制覆盖了 88.2% 的失败案例，而基线仅覆盖 15.1%。
• 下游任务 (Adaptive RAG)：
  • Verbal-Calibrate (全局)：在整体 EM/F1 指标上表现最佳，且检索触发率更精准，适合决定“是否信任最终答案”。
  • Uncertain-Calibrate (局部)：检索触发更激进，在特定数据集（如 HotpotQA）上表现优异，适合决定“何时需要中途干预”。
  • 两者均显著优于 Self-RAG、FLARE、ADARAGUE 等现有自适应检索基线。

5. 意义与结论 (Significance)

• 理论意义：揭示了不确定性在 LLM 中并非单一属性，而是可以通过不同的训练目标被“塑造”为不同的接口形式。校准不仅仅是重标度分数，更是改变模型的行为模式（从“自信地犯错”转变为“不确定地犯错”）。
• 实践意义：
  • 为构建更可靠的 AI 系统提供了具体方案：对于需要高可靠性的场景，使用全局置信度进行过滤；对于需要实时干预的场景，使用局部不确定性标记触发检索或人工介入。
  • 证明了通过强化学习（GRPO）训练模型“承认无知”是可行的，且不会牺牲推理能力，反而能通过减少幻觉提升整体性能。
• 核心结论：有效的 LLM 不确定性应当被训练为与任务匹配的通信（Task-matched communication）：全局置信度用于决策“是否信任答案”，局部推理信号用于决策“何时需要干预”。

这篇论文通过严谨的机制分析（Logit-Lens, PCA, CKA）和广泛的实验，确立了显式不确定性表达在提升 LLM 安全性和可控性方面的核心地位。