💬 NLP

Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

本文提出了一种闭盒框架，该框架将大语言模型（LLM）的响应分解为原子级断言，并利用推理时信号进行事后校准，以生成可靠的断言级置信度评分，从而在高度敏感领域实现更具行动力的决策和针对性的验证。

原作者： Toghrul Abbasli, Kentaroh Toyoda, Yuan Wang, Li Chen

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Toghrul Abbasli, Kentaroh Toyoda, Yuan Wang, Li Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的背景下，大型语言模型已成为生成文本、回答问题和协助处理复杂任务的强大工具。然而，一个持久的挑战依然存在：这些系统有时会产生听起来很有把握但事实错误的答案，这种现象被称为“幻觉”。对于依赖这些模型进行关键决策的用户来说，危险不仅在于出错，更在于以绝对确定的态度出错。为了解决这个问题，研究人员长期以来一直在寻找衡量模型不确定性的方法，本质上是在询问系统对其自身输出的把握程度。传统方法通常为整个回答提供一个单一的置信度分数，就像天气预报为一整天给出一个概率值一样。然而，一个回答可能包含准确事实与微妙错误的混合，这使得单一的总分对于那些在采取行动前需要核实特定细节的人来说过于粗略，难以发挥作用。

由清华大学及其他机构的 Toghrul Abbasli 及其同事开展的一项新研究提出了一种针对该问题更细粒度的方法。研究人员不再将回答视为一个单一的文本块，而是开发了一种方法，将每个答案分解为其最小的、独立的知识单元，他们称之为“原子命题”（atomic claims）。随后，他们为每一个单独的命题分配一个特定的置信度分数。团队在包括主要开发商系统在内的几种现代语言模型上测试了这一技术，并使用了两类不同的问题集：一组侧重于通用事实知识，另一组旨在诱导模型接受错误的前提。他们的研究结果表明，通过在命题层面进行隔离和校准置信度，可以为决策者创造一个更可靠的信号。这种方法允许用户接受那些极有可能为真的部分，同时对特定的句子进行标记以供进一步审查或拒绝，为在高风险环境中实现更安全、更可靠的人工智能提供了一条切实可行的路径。

研究人员工作的核心是一个多步骤流水线，该流水线无需修改语言模型本身的内部机制即可运行。首先，系统生成一个针对用户问题的回答。接着，一个辅助工具将此回答分解为简短、自洽的陈述，例如“爱因斯坦提出了相对论”或“这发生在1905年”。一旦回答被分解，系统就会对每个陈述进行单独评估。它使用两种主要的信号来确定模型对每个命题的把握程度。第一个信号来自模型的自我评估或口头表达的置信度，即通过提示模型说明其确定程度。第二个信号依赖于一致性；系统生成多个版本的回答，并检查相同的命题是否出现在所有版本中。如果一个命题在不同的尝试中重复出现，则被视为更加可靠。这两个信号随后被结合起来，为每个具体的命题生成最终的置信度分数。

为了确保这些分数具有意义，研究人员应用了一个称为“事后校准”（post-hoc calibration）的统计过程。这一步骤调整了原始置信度数值，使其与现实相符。例如，如果系统对一组命题分配了 90% 的置信度，校准过程将确保大约 90% 的命题实际上是正确的。研究人员在数千个问题中，在六种不同的语言模型（涵盖从开源系统到专有商业模型）上测试了这一框架。结果显示，与仅关注整体回答的方法相比，这种命题层面的方法显著降低了置信度估计的误差率。在事实性问题上，校准后的分数变得更加准确，这意味着当系统表示有 90% 的把握时，它在 90% 的时间内确实是正确的。这种精确度使人类用户能够做出具体的决策：他们可以立即信任高置信度的命题，同时将注意力转向低置信度的命题以进行核实。

然而，研究也明确指出该方法面临局限性的界限。当问题设计带有错误前提时——即假设某件错误的事实为真的陷阱——模型往往会生成流畅、自信但完全错误的命题。在这些对抗性场景中，命题层面的置信度分数有时无法检测出错误，因为模型在其错误中保持了内部一致性。研究人员发现，虽然他们的方法擅长处理包含正确与错误信息的混合回答，但无法始终克服那些对基础事实表现出自信错误的模型。在这种情况下，研究表明，仅靠置信度分数是不够的；需要外部检查，例如搜索证据或由另一个系统进行交叉质询，才能捕捉到这些深层错误。

这项工作的实际意义在于改变了我们在专业环境中与人工智能互动的方式。决策者不再是根据模糊的信任感来接受或拒绝整个回答，而是可以依靠一份详细的可靠性地图。例如，一份由 AI 生成的医疗报告可以因其整体结构而被接受，而具体的药物剂量或病史细节则可以根据其各自的置信度分数被标记出来，交由人工审核。研究人员强调，即使对于内部机制隐藏的“黑盒”模型，这种技术同样有效，这使其适用于目前正在使用的最先进的商业系统。虽然该方法并未完全解决幻觉问题，特别是在模型被错误假设误导时，但它为管理不确定性提供了一个强大的工具。通过将语言模型输出的“黑盒”分解为可验证的碎片，这项研究提供了一种方法，让我们在进行高风险决策时，能够更清晰地了解哪些内容是可以信任的，哪些内容需要进一步调查。

技术摘要：面向大语言模型可靠决策的声明级置信度校准

问题陈述
大语言模型（LLMs）正越来越多地被部署在对决策支持至关重要的环节中，用户必须决定是接受、拒绝还是验证模型的输出。这类场景中的一个关键失效模式是模型的表达置信度与其事实正确性（幻觉）之间的失配。现有的方法通常提供**响应级（response-level）**置信度分数。作者认为，这种信号过于粗糙，无法用于实际的决策制定：单个响应可能包含正确和错误陈述的混合，而单一的聚合分数会将这些信息混为一谈，导致用户无法识别哪些具体信息值得信任或验证。此外，许多现有的不确定性量化方法需要访问模型的 Logits 或进行微调，这使得它们无法应用于“黑盒”商业 API（如 GPT-4、GPT-4o）。

方法论
本文提出了一个针对声明级（claim-level）置信度校准的闭盒（closed-box）、推理时（inference-time）流水线。该框架无需修改模型权重或访问其内部参数即可运行。该流水线由五个阶段组成：

上下文推理（In-context Reasoning）： 系统通过贪婪解码生成主要响应，并可选地生成 $N-1$ 个随机样本以捕捉变异性。
声明提取（Claim Extraction）： 一个辅助 LLM（GPT-4o-mini）将主要响应分解为原子化的、自洽且可验证的声明（不超过 15 个单词），并解决代词指代问题。
声明验证（Claim Verification）： 每个声明由一个辅助验证器（可以是 LLM、RAG 系统或网络搜索）进行评分，以确定该声明是否得到证据支持。
逐声明置信度评分（Per-Claim Confidence Scoring）： 系统聚合两种信号来生成每个声明的原始置信度分数 $conf(c_i)$ $co n f (c_{i})$ ：
- 验证信号（ $ver(c_i)$ ）： 对于闭盒模型，这是从 14 级决断量表中映射出的语言化置信度分数。对于开盒模型，则是平均 Token 对数概率。
- 一致性信号（ $freq(c_i)$ ）： 该声明在 $N$ 个采样响应中出现的频率。
- 通过加权混合组合这些信号： $\hat{p}(c_i) = \alpha \cdot freq(c_i) + (1-\alpha) \cdot ver(c_i)$ ，其中 $\alpha$ 在留出集上进行调优。
事后校准（Post-hoc Calibration）： 直接对逐声明分数（而非响应级似然度）应用温度缩放（Temperature Scaling, TS）和 Platt 缩放（Platt Scaling, PS），以使报告的置信度与经验准确性保持一致。这允许进行选择性干预（例如，仅针对低置信度的声明检索证据）。

核心贡献

闭盒流水线： 作者提出了一种将响应分解为原子化声明，并在声明层面进行事后校准的方法，无需 Logits 或微调，使其适用于仅提供 API 的模型。
系统性评估： 研究在两个数据集（TriviaQA 事实问答和 TruthfulQA 对抗性错误前提问答）上，针对六种现代模型（Llama-3.1, Mistral, Qwen2.5, DeepSeek-R1, GPT-4, GPT-4o）评估了七个基准模型（包括序列似然度、语言化置信度和 HalluMeasure、LMvsLM）。
失效模式诊断： 本文识别了该方法成功的特定范式（混合正确性、闭盒设置）以及失败的范式（在对抗性错误前提问题中，模型会自信地推导向错误结论）。

结果

校准误差降低： 在 TriviaQA 上，所提方法结合事后校准，显著降低了相对于未校准少样本基准的预期校准误差（ECE）。例如，在 Mistral 上，Platt 缩放将 ECE 降至 $\le 0.013$ 。在 GPT-4o/TriviaQA 上，该方法实现的 ECE 为 0.006，优于温度缩放基准 15 倍。
可操作信号： 该方法提供了可操作的逐声明置信度。校准后的 0.9 分能可靠地表示约 $10\%$ 的预期错误率，从而允许下游系统做出精确的接受/拒绝决策。
对抗性失效： 在 TruthfulQA 上，该方法在处理模型自信地生成由错误前提引发的声明时表现挣扎（例如，GPT-4o 的 ECE 上升至 0.412）。在这种情况下，流水线忠实地反映了模型错误的置信度，而非纠正它。作者指出，涉及主动交叉质询（如 LMvsLM）的方法在此类场景下表现更好，这表明仅靠置信度信号对于对抗性输入是不够的。
推理模型： 对于像 DeepSeek-R1 这样会输出长思维链（CoT）轨迹的模型，从整个轨迹中提取声明会稀释信号。作者建议在部署时将声明提取限制在最终答案部分。

意义与主张
本文认为，将响应分解为原子化声明并在该粒度上进行置信度校准，是实现 LLM 部署中可靠决策的必要步骤。其主要意义在于，在无法进行传统校准的闭盒环境中，提供了可操作的细粒度不确定性信号。

作者总结道，虽然声明级校准能有效减少事实性问题的错误并支持针对性干预（例如，针对低置信度声明进行人工审查），但它并非万能药。特别是在涉及对抗性错误前提的场景中，仅靠置信度信号是不可靠的。本文认为，生产环境中的流水线必须将声明级置信度与主动验证步骤（如交叉质询或外部检索）相结合，以应对这些失效模式。这项工作并不声称解决了幻觉问题，而是提供了一个在实际做出决策的粒度上量化并管理不确定性的框架。

技术摘要：面向大语言模型可靠决策的声明级置信度校准

类似论文