🤖 machine learning

Improved Confidence Estimates for Black-Box Large Language Models

本文提出了一种低开销方法，通过利用现有置信度分数以及目标数据集中相似查询的正确性，训练简单的分类器来预测响应的正确性，从而改进黑盒大语言模型的不确定性量化。

原作者： Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Sokhna Diarra Mbacke, Mouloud Belbahri, Gabriel Loaiza-Ganem

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型已成为写作、编程和回答问题的强大工具，但它们也隐藏着一个风险：有时会以绝对确定的语气编造事实。这种现象通常被称为“幻觉”，它为在医疗或科学研究等高风险领域使用这些系统制造了显著障碍，因为在这些领域，错误的答案可能导致严重的后果。为了解决这个问题，研究人员长期以来一直试图构建能够告诉我们对特定答案应有多大信任度的系统。其目标是为每一个回答分配一个分数，以指示其可靠性。目前，存在许多生成这些分数的方法，从要求模型对自己进行置信度评分，到分析当以不同方式询问同一个问题时，其答案的变化程度。然而，现有的这些评分方法通常孤立运行，将每一个新问题都视为模型从未见过的第一个问题，而没有参考模型过去在类似问题上的表现。

来自 Layer 6 AI 和 TD 保险的研究团队提出了一种不同的方法，他们认为置信度不应被视为模型的固定属性，而是一种可以被学习的模式。他们认为，虽然现有方法在不需要任何先验数据的情况下生成原始的不确定性分数，但现实世界的应用几乎总是涉及一个已经过正确性校验的问题与答案数据集。研究人员意识到，这些带标签的数据是一个巨大的、尚未被开发的资源。他们并没有试图从零开始发明一种衡量不确定性的新方法，而是构建了一个简单的系统，将现有的分数与关于模型过去如何回答类似问题的相关信息结合起来。通过训练一个标准的计算机程序来识别这些输入与答案实际正确性之间的关系，他们创造出了一种新方法，该方法在性能上始终优于原始分数本身。

其工作的核心包含一个模仿人类专家验证新主张的两步过程。首先，系统获取一个新问题以及大语言模型提供的答案。然后，它计算模型或其他工具通常会产生的标准不确定性分数。接下来，系统会在一个既往问题的参考库中查找与新问题最相似的问题。它会检查模型过去在这些相似问题上回答得是正确还是错误，并测量这些问题与当前问题的接近程度。这些细节——标准分数、相似问题的历史记录以及模型在这些问题上的过往表现——都被输入到一个简单的分类器中。这个分类器学习预测新答案是否正确，从而有效地将原始的不确定性信号转化为经过校准的真实概率。

研究人员在多个不同的数据集上测试了这种方法，包括常识推理、科学事实和通用知识问题的基准测试，并使用了各种规模的语言模型。他们将这种新系统与现有的最佳方法进行了对比，包括那些要求模型表达其置信度的方法，以及那些通过生成多个答案变体来检查一致性的方法。结果表明，他们的方法能提供更准确的正确性预测。在几乎所有的测试中，新方法在区分正确与错误答案方面都比原始分数本身表现得更好。此外，该系统产生了经过良好校准的概率，这意味着当它预测一个答案有 80% 的概率是正确时，其预测结果在约 80% 的情况下确实是正确的。这种校准对于决策至关重要，因为它允许用户信任系统提供的数值。

其中最重要的发现之一是，即使在依赖极少额外信息的情况下，该方法依然表现出色。在某些测试中，系统仅使用模型的一个答案和相似问题的历史记录，而无需模型生成多个答案变体。这降低了计算成本，使得该方法在对速度和效率有要求的现实应用场景中具有实用性。研究人员还发现，结合这些信号的最佳方式取决于具体的任务，这表明一种能够适应不同类型问题的灵活方法优于“一刀切”的解决方案。通过将置信度估计视为一个学习问题而非固定的计算过程，该团队证明了利用现有数据可以显著提高大语言模型的安全性和可靠性，且无需访问模型的内部机制或进行昂贵的重新训练。

研究结论指出，虽然目前工具生成的初始不确定性分数是有用的，但它们并不是可靠性的最终定论。通过利用“模型在类似类型问题上表现具有一致性”这一简单事实，监督学习框架可以将这些分数细化为更加值得信赖的估计值。这并不是要取代对优秀不确定性度量指标的需求，而是对其进行增强，将原始数据转化为可操作的洞察。这项工作表明，通往更安全人工智能的道路不仅在于构建更好的模型，还在于构建更好的方式来理解和解释这些模型所给出的答案。

技术摘要：改进黑盒大语言模型的置信度估计

问题陈述

大语言模型（LLM）在处理高风险环境（如医疗、科学研究）中的安全部署受到了其易产生幻觉这一问题的阻碍。虽然不确定性量化（Uncertainty Quantification, UQ）旨在评估模型输出的可靠性，但现有方法面临显著局限性：

零样本限制： 大多数当前的 UQ 方法（启发式评分或言语化置信度）以零样本方式运行，即在不利用现有标注评估数据的情况下生成不确定性得分。
缺乏校准： 现有的得分虽然与正确性相关，但无法提供校准后的概率。例如，言语化置信度（ $P_{true}$ ）通常过于自信，而启发式得分（如语义熵）则是抽象数值而非直接的概率估计。
决策差距： 启发式得分主要设计用于弃权（即如果达到阈值则不提供响应）。然而，作者认为置信度估计——即提供一个经过校准的正确性概率——对于下游决策更为优越，因为它允许系统在决策论框架内实现期望效用最大化。

核心要解决的问题是如何通过利用作为模型评估标准前提条件的标注数据集，将现有的、通常未经校准的零样本不确定性得分转化为鲁棒且经过校准的置信度估计。

方法论

作者提出了一个监督学习框架，将现有的 UQ 得分视为特征而非最终输出，而非最终输出。该方法不需要白盒访问权限，也不需要除了基准得分之外的额外模型生成。

1. 数据划分

可用的标注数据集 $\mathcal{D}$ 被划分为：

训练集 ( $\mathcal{D}_{train}$ )： 用于拟合置信度分类器。
参考集 ( $\mathcal{D}_{ref}$ )： 用于通过总结 LLM 在类似查询上的历史表现来构建辅助特征。

2. 特征工程

对于给定的查询-响应对 $(q, r)$ ，特征向量 $X(q, r)$ 由两个部分组成：

基准不确定性得分 ( $S$ )： 一组预先存在的 $c$ 个得分（例如，言语化 $P_{true}$ 、语义熵、拉普拉斯近似）。这些被视为原始输入。
基于邻域的特征 ( $f_{ref}$ )： 为了捕捉局部经验模式，该方法使用余弦相似度在嵌入空间中从参考集中检索 $q$ $q$ 的 $k$ $k$ -最近邻。从这些邻居中提取以下统计数据：
- 邻居的正确性标签向量 ( $y_i$ )。
- 邻居正确性的经验均值 ( $\mu_y$ ) 和标准差 ( $\sigma_y$ )。
- $q$ 与其邻居之间的余弦相似度向量。
- 这些相似度的经验均值 ( $\mu_{sim}$ ) 和标准差 ( $\sigma_{sim}$ )。

最终的特征向量为 $X(q, r) = (S(q, r), f_{ref}(q))$ 。

3. 监督分类

该问题被建模为一个二分类任务，旨在预测正确性 $Y=1$ 的概率。

模型选择： 作者采用 Auto-ML 方法来为特定任务选择最优分类器。候选模型包括 $\ell_1$ -正则化逻辑回归和随机森林。
训练： 模型在 $\mathcal{D}_{train}$ 上进行训练，以最小化交叉熵损失。
校准： 应用后验温度缩放（temperature scaling）步骤以确保输出概率是经过校准的（最小化预期校准误差，ECE）。

4. 推理

在推理阶段，过程包括：

计算基准得分 $S(q, r)$ 。
从 $\mathcal{D}_{ref}$ 中检索 $k$ -最近邻。
在组合特征向量上评估训练好的分类器 $f_\theta$ 。
计算开销相对于生成 LLM 响应的成本而言可以忽略不计。

核心贡献

范式转变： 本文认为 LLM 的 UQ 应被视为一个利用可用标注数据的监督学习问题，从而超越零样本范式。
通用框架： 该方法作为一个“包装器”，可以聚合并优化任何现有的不确定性得分（无论是启发式还是言语化的），将其转化为校准后的置信度估计，且无需修改底层 LLM。
基于邻域的统计数据： 引入基于邻域的特征（来自参考集的正确性和相似度统计数据）提供了一种将模型可靠性的经验证据整合进预测的新颖方法。
任务自适应学习器： 作者证明了最优分类器模型是依赖于任务的，因此需要通过 Auto-ML 方法在线性模型和非线性模型之间进行选择。

实验结果

该框架在四个数据集（CommonSense QA, Natural Questions, SciQ, SimpleQA）以及三个 GPT-4.1 模型变体（旗舰版、mini 版、nano 版）和开源 LLaMA4Maverick 上进行了评估。

性能： 提出的 Auto-ML 方法在受试者工作特征曲线下面积（AUROC）方面始终优于所有基准方法。它在几乎所有场景下都取得了最高的 AUROC，仅有一个微小的例外，其差异可以忽略不计。
校准： 与原始言语化置信度 ( $P_{true}$ ) 相比，该方法产生了显著更低的预期校准误差 (ECE)，并且通常优于经过温度缩放的版本 ($ts$- $P_{true}$ )。
消融实验：
- 缺少语义特征时： 即使在排除复杂的语义不确定性得分（仅依赖 $P_{true}$ 和邻域统计数据）的情况下，该方法仍保持了具有竞争力的性能，且计算成本更低。
- 模型家族： 该方法很好地推广到了开源模型（LLaMA4Maverick），证实了其在黑盒 API 之外的适用性。
基准对比： 该方法显著优于 APRICOT（一种类似的基于分类器的方法）以及各种基于语义的启发式得分（语义熵、拉普拉斯、核熵），特别是在语义方法表现挣扎的多项选择题数据集上。

重要性与主张

本文主张标注评估数据是一个重要但尚未充分利用的资源，可用于改进 LLM 的不确定性估计。作者断言：

可靠性： 通过超越零样本启发式方法，可以持续产生更准确、更经过校准的置信度估计。
效率： 该方法引入了极小的计算开销，使其成为实际应用中一种“廉价且直接的增强手段”。
灵活性： 它作为一个通用的机制，将启发式得分转化为决策就绪的概率，弥合了抽象不确定性指标与实际决策之间的鸿沟。
未来方向： 虽然目前的工作侧重于二元正确性，但作者建议可以将这种范式扩展到多分类任务（例如，区分“部分正确”和“非常优秀”的响应），以进一步细化 LLM 部署的安全性。

作者保持了谦逊的态度，承认其方法需要针对特定任务训练分类器，并依赖于检索过程中参考集的质量和规模，但他们认为这些都是实际模型开发生命周期中的标准要求。