技术摘要：大语言模型中的置信度校准

问题陈述

大语言模型（LLMs）作为向导、教师和建议者的效用，从根本上受到“幻觉”——即自信地报告虚假信息——的破坏。虽然理想的 LLM 应仅提供真实信息，但不可消除的不确定性以及对真实情况的有限访问使得这一目标不切实际。一个更可实现的目标是校准良好的置信度，即 LLM 在其局限性条件下，如实报告其正确性的概率。缺乏此类校准，用户无法区分高置信度的准确输出与高置信度的错误，从而造成重大的认知风险。

现有文献表明，人类判断深受过度自信以及“难 - 易效应”（在困难任务上过度自信，在简单任务上自信不足）的困扰。目前尚不清楚 LLM 是否表现出类似的偏差，或者其置信度信号是否仅仅是深度神经网络中观察到的准确性的噪声指标。此外，以往校准研究中评估任务难度的方法依赖于主观的人类评估、LLM 作为裁判或上下文扩展，这些方法要么引入偏差，要么无法提供连续的难度度量。

方法论

作者开展了一项预注册研究，评估了 11 种流行的开源和闭源 LLM 在五个不同的推理任务及一项新开发的测试中的置信度校准情况。

评估的模型

该研究将五种“推理”模型（DeepSeek-R1、Gemini 2.5 Pro、GPT-o3、Claude Sonnet 4、Claude Sonnet 3.7）与六种“聊天”模型（DeepSeek-V3、Gemini 2.5 Flash、GPT-4o、Claude Haiku 3、Llama 3.1 8B、Llama 3.1 70B）进行了对比。

问题集

使用了五个已建立的数据集来测试不同领域的校准情况：

1. BoolQ：真/假常识问题。
2. SciQ：科学多项选择题。
3. LSAT-AR：需要多步推理的逻辑推理。
4. SAT-EN：需要细微文本推断的阅读理解。
5. HaluEval：幻觉检测任务，模型评估预生成的答案（一半真实，一半幻觉）。

LifeEval：新基准

为了将任务难度的影响与其他变量隔离开来，作者开发了LifeEval。该任务要求模型根据性别和最小年龄预测一个人的死亡年龄，并陈述其估计值落在真实值特定半径（1、5、10 或 20 年）内的概率。

• 难度操纵：通过改变半径和最小年龄来外部控制难度，同时保持问题的性质不变。
• 真实情况：实际概率是使用美国社会保障局（SSA）的周期生命表计算的，从而允许将陈述的置信度与经验概率进行精确比较。
• 指标：任务难度定义为 $1 - \text{最高可实现分数 (MAS)}$，其中 MAS 是给定问题的理论准确率上限。

实验协议

• 提示：指示模型以 JSON 格式输出答案和数值置信度分数（0.0 到 1.0）。大多数任务使用了思维链提示。
• 评分：对于多项选择题，如果分配概率最高的选项与真实情况匹配，则回答正确。
• 指标：
  • 期望校准误差 (ECE)：衡量预测置信度与跨分箱的经验准确性之间的错位。
  • 过度自信：计算为 $\text{平均置信度} - \text{平均准确率}$。
  • 难 - 易效应：通过任务难度与过度自信之间的回归系数进行测量。

主要结果

1. 普遍过度自信

在所有问题集中，LLM 平均而言表现出过度自信。模型对其首选答案报告的置信度平均为88%，而其实际准确率仅为79%。这 9% 的差距表明存在一种系统性的“过于确信自己正确”的倾向。

2. 难 - 易效应

该研究证实，在人类心理学中记录良好的难 - 易效应也存在于 LLM 中：

• 困难任务：在困难任务（如 LSAT-AR、HaluEval）上，过度自信程度最高。
• 简单任务：模型在较简单的任务（如 SciQ、SAT-EN）上表现出显著的自信不足。
• LifeEval 发现：随着任务难度增加（半径变小），过度自信增加。相反，随着任务变得更容易（半径变大），模型变得自信不足。对于最困难的 LifeEval 任务（1 年半径），模型报告的置信度为 34.2%，而实际概率仅为 9.6%。对于最简单的任务（20 年半径），他们报告的置信度为 80.5%，而实际概率为 92.0%。

3. 推理模型与聊天模型

• 细微差别：推理模型提供了更细致的置信度估计。只有61.1%的推理模型置信度分数被四舍五入为 5% 的倍数，而聊天模型这一比例为91.4%。
• 相关性：推理模型的陈述置信度与实际概率之间的相关性更强（平均 0.94），而聊天模型为 0.48。
• 校准：虽然推理模型的校准通常更好，但它们仍然表现出难 - 易效应。

4. 污染分析

对 LifeEval 的事后分析显示，某些模型（特别是 DeepSeek-R1、Gemini 2.5-Pro 和 GPT-o3）显示出高度“确凿证据”，表明它们记住了用于生成真实情况的底层 SSA 生命表。当将分析限制在没有记忆证据的回答时，难 - 易效应和过度自信趋势依然存在，证实了这些发现不仅仅是数据泄露的产物。

主要贡献

1. AI 中难 - 易效应的实证证据：本文首次系统地记录了 LLM 置信度中的难 - 易效应，证明了过度自信随难度增加而上升，而自信不足则出现在简单任务中。
2. LifeEval 基准：LifeEval 的引入提供了一个新框架，用于通过连续的外部任务难度度量来评估模型校准，克服了以往难度评估方法的主观性。
3. 模型类型的区分：该研究强调，“推理”模型比标准的“聊天”模型提供更细致且校准更好的置信度估计，尽管两者均未达到完美校准。
4. 过度自信的量化：该研究量化了平均过度自信差距（9%），并确定了模型难以认识到自身易错性的特定任务（逻辑推理、幻觉检测）。

意义与主张

该论文声称，AI 置信度中难 - 易效应的存在反映了人类判断，表明 LLM 的置信度可能是一种类似于人类认知的“准确性噪声信号”。这对自主系统的部署具有关键影响：

• 信任与安全：如果用户无法信任模型陈述的置信度来指示准确性，他们可能会信任错误的输出，或者怀疑准确的输出。
• RLHF 的局限性：作者指出，如果人类用户偏好表达自信保证的模型，那么带有反馈的强化学习（RLHF）可能会无意中加剧过度自信。
• 前进路径：作者建议，对人类去偏见有效的策略——例如鼓励反思答案为何可能是错误的——可以适应于 LLM。推理模型的优越表现表明，鼓励自我批评和反思的提示或训练方案可能会改善校准。

该论文总结道，虽然 LLM 正在进步，但其置信度对任务难度的敏感度仍然不足，这构成了可靠自主行动的障碍。未来的研究应侧重于区分过度自信的形式（高估与过度精确），并开发减轻这些偏差的方法。