💬 NLP

Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

本文评估了大型语言模型中各种推理时不确定性度量指标，发现尽管其中一些指标与人类答案偏好并不相关，但若干指标仍表现出与人类不确定性的高度一致性，以及中度至强度的模型校准性。

原作者： Kyle Moore, Jesse Roberts, Daryl Watson

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Kyle Moore, Jesse Roberts, Daryl Watson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在向一个非常聪明、博学多才的机器人提问。你想知道两件事：

机器人真的说对了吗？（这被称为校准度/Calibration）。
机器人的“不确定感”是否与人类感到不确定的方式一致？（这被称为对齐/Alignment）。

长期以来，研究人员在构建能够了解自己对错的机器人（校准度）方面表现出色，但他们并没有真正检查机器人的“直觉”是否与人类群体的感觉一致。这篇论文就像是一个侦探故事，试图弄清楚机器人与人类在对待不确定性时，是否处于相同的“情感波长”上。

侦探工作：他们是如何测试的

研究人员把机器人当作一个正在参加多项选择题考试的学生。他们不仅询问机器人的答案，还要求机器人展示其“解题过程”，即揭示它对每一个可能的选项有多大的信心。

他们使用了两个主要的“教室”（数据集）来测试：

小班级： 来自一家著名的民调机构（皮尤研究中心 Pew Research）的 38 个微型问题组。
大班级： 来自公共舆论调查（罗珀中心 Roper Center）的近 3,000 个大规模问题组。

在这些班级中，他们将机器人的答案和信心水平与真实的人类群体进行了对比。

大发现：“感觉” vs. “思考”

这里是论文发现的一个转折点，就像是发现学生和老师虽然在考不同的试，但却有着相同的“氛围”：

他们在“答案”上并不一致： 如果你问人类群体和机器人同一个问题，他们选出的答案通常是不同的。机器人的“偏好顺序”（它最喜欢的答案、次优的答案等）通常与人类的完全不同。
但在“感觉”上，他们确实一致： 尽管他们选择的答案不同，但机器人的不确定性指标往往会与人类的不确定性同时上升或下降。

类比： 想象你和朋友正在猜测一场体育比赛的比分。你们猜出的比分都不同（也许你猜 24-20，他猜 21-19）。然而，你们对自己的猜测都感到同样紧张。你们都觉得：“我不确定，情况可能向任何一方发展。”论文发现，大语言模型（LLMs）就像那个朋友：他们可能会猜错比分，但他们的“紧张程度”与人类的紧张程度完美匹配。

他们使用的工具（“不确定性测量仪”）

研究人员测试了许多衡量这种“紧张感”的方法。把这些想象成测量机器人焦虑程度的不同温度计：

Top-1 概率： “我对我的第一个猜测有多确定？”（这作为一种对齐人类感觉的测量仪效果并不好）。
熵（Entropy，即“混沌”测量仪）： 这衡量了机器人的猜测分布得有多散。如果机器人 90% 确定一个答案，它就很平静（低熵）。如果它在四个答案之间各占 25%，它就很混乱（高熵）。
- 胜出者： 他们发现，专门针对正确答案选项进行测量的“选择熵”（Choice Entropy），以及观察前 10 个最可能的猜测（Top-10 Entropy），是匹配人类感觉的最佳方法。
Top-P 采样： 这就像机器人说：“我要抓取那些总和达到我 90% 信心度的前一部分答案。”这个部分的规模告诉我们机器人的不确定性有多大。

机器人真的知道自己什么时候错了？（校准度）

仅仅因为机器人的不确定感与人类一致，并不意味着它在感到确定时就是正确的。研究人员使用了一个名为 MMLU 的标准测试（一个庞大的困难多项选择题集）来检查这一点。

结果： 那些能匹配人类感觉的“不确定性测量仪”（如选择熵）也被证明在预测机器人何时出错方面表现得相当不错。
注意点： 机器人的校准并不是完美的。它属于“中等”水平。这就像天气预报说“有 50% 的降水概率”，然后确实有一半的时间下了雨——它很有用，但不是预知未来的水晶球。

“顿悟时刻”

论文提出了一个以前从未有人注意到的巧妙联系：

Top-P 采样（一种常见的机器人生成文本的方式）在数学上与统计学中的“贝叶斯置信集”（Bayesian Credible Set）概念非常相似。作者意识到，这种联系有助于解释为什么观察 Top-P 组的“规模”是衡量不确定性的好方法。

总结

这篇论文告诉我们，大语言模型具有“类人”的不确定感，即使它们在最终答案上并不总是与人类达成一致。

什么方法效果最好： 测量机器人的信心在正确答案选项中分布得多么“分散”（选择熵），或者观察前 10 个猜测。
为什么这很重要： 如果我们能使用这些特定的“测量仪”，我们就可以给用户提供一种直观的信号。与其给出一个令人困惑的数字，不如让机器人表达：“我对这件事感到非常不确定”，这种方式能与人类的感觉相匹配。这有助于建立信任，即便机器人并非 100% 正确。

这篇论文没有做的事情：

它没有在开放式对话（如写诗）中测试这一点，仅限于多项选择题。
它没有在最大、最昂贵的超级计算机模型上进行测试，仅针对参数量在 80 亿（8B）或更少的模型。
它没有进行临床试验或用户研究来观察这是否会让人们更开心；它只测量了数学逻辑和对齐程度。

技术摘要：大型语言模型推理时确定性的对齐与校准

问题陈述
近期的研究重点在于校准大型语言模型（LLMs），以确保其不确定性估计能够准确预测生成有效答案的可能性。然而，存在一个关键差距：现有的工作很少评估模型的不确定性是否与人类的不确定性相一致。虽然某种度量可能在模型准确性方面得到了良好的校准，但其数值可能并不符合人类的直觉，从而导致用户难以理解。此外，大多数不确定性量化（UQ）方法需要辅助生成（例如蒙特卡洛 Dropout），这使得它们不适用于实时模型控制或用户反馈。本文旨在解决对推理时 UQ 度量的需求，这些度量既要经过校准（能够预测模型的正确性），又要实现对齐（与人类群体层面的不确定性相关联）。

方法论
作者在多种 LLM（LLaMa-3.2 1B/3B, LLaMa-3.1 8B, 以及 Mistral 7B 0.1/0.3 的基础版和指令微调版）上评估了一系列推理时确定性度量。研究使用了两个人类调查数据集：

Pew 数据集： 来自 Pew 研究调查的 38 个问题（用作基准）。
Roper 数据集： 从 Roper 公共舆论研究中心（2017–2023）抽取的 2,998 个问题。

人类不确定性定义： 人类不确定性通过调查受访者群体之间的分歧程度来近似。它是通过计算每个问题的归一化响应百分比的熵来得出的。

评估的确定性度量：
研究侧重于在单次生成过程中即可计算、无需辅助采样的度量：

Top-1 概率： 最可能 token 的概率。
基于熵的度量：
- 总熵（Total Entropy）： 全词表分布的香农熵。
- Top-k 熵： 在前 $k$ 个 token（ $k \in \{5, 10, 25, 50, 100\}$ ）上计算的熵，并进行归一化以保持相对比例。
- 选择熵（Choice Entropy）： 特别针对提供的答案选项的归一化概率计算的熵。
- Top-p 熵： 在通过核采样（nucleus sampling）选出的 token 上计算的熵（核大小 $p \in \{0.5, 0.75, 0.9, 0.95\}$ ）。
Top-p 大小（Top-p Size）： 核集中的 token 数量。

评估指标：

对齐（Alignment）：
- 显性一致性（Overt Agreement）： 模型的第一选择与人类群体第一选择匹配的频率。
- 偏好排序（Preference Ordering）： 通过模型与人类偏好排名之间的归一化 Kendall $\tau$ 距离进行衡量。
- 不确定性相关性（Uncertainty Correlation）： 各个问题中模型不确定性得分与人类群体不确定性（响应熵）之间的 Pearson 相关系数。
校准（Calibration）：
- 正确性相关性（Correctness Correlation）： 不确定性度量与 MMLU 基准测试中二元正确性之间的 Spearman 相关系数。
- 分布校准（JSD 偏移）： 一种衡量 Jensen-Shannon 距离（JSD）偏移的新型指标。作者假设，一个经过良好校准的度量在从高确定性问题转向低确定性问题时，会在模型答案分布与正确答案分布之间显示出显著的距离增加。

关键结果

对齐与偏好： 模型在第一答案上表现出与人类的中度一致性（优于随机概率），但在整体偏好排序上没有表现出显著的对齐（Kendall $\tau$ 距离实际上是随机的）。
不确定性对齐： 尽管缺乏偏好排序的对齐，但几种度量显示出与人类群体不确定性的强相关性。
- 表现最佳的度量： 选择熵、总熵、所有 Top-k 熵以及 Top-p 熵（对于 $p \ge 0.9$ ）在所有模型中均表现出显著的相关性（ $|r| \ge 0.3$ ）。
- Top-p 大小： 对于 $p \le 0.9$ ，显示出微弱但显著的相关性，这与之前的某些假设相矛盾。
- Top-1 概率： 未表现出持续的显著相关性。
校准： 与人类不确定性对齐良好的度量在 MMLU 上也展示了中度到强度的校准证据。
- 选择熵脱颖而出，成为最稳健的度量，在几乎所有模型和主题中都显示出与正确性的负相关性（较低的不确定性 = 较高的准确率）。
- JSD 偏移： 置换检验确认，对于大多数度量，在从高确定性状态到低确定性状态的过程中，分布距离的偏移在统计学上是显著的，这表明这些度量能有效区分确定与不确定的模型状态。

核心贡献

Top-p 与贝叶斯联系： 作者指出，LLM 解码中的 top-p 选择在功能上等同于贝叶斯最高密度置信集，这一联系此前在 UQ 文献中未被注意到。
解耦对齐与偏好： 本研究观察到，即使模型与人类在特定答案的选择或排序上存在分歧，基于熵的推理时度量仍能与人类的不确定性保持对齐。
新型校准指标： 开发了一种基于 Jensen-Shannon 距离偏移的地面真值分布校准度量，用于直接评估确定性对答案分布的影响。
经验证据： 研究为对齐的推理时度量提供了证据，证明它们在正确性相关性和分布分析方面都是经过校准的。

意义与主张
本文声称识别出了一套有效且更具直观可解释性的推理时 UQ 度量，因为它们与人类的不确定性行为相一致。这具有重要意义，因为它表明模型可以提供用户能够理解的实时置信信号，即使模型的答案选择逻辑并不完全模仿人类。

作者谨慎地总结道，虽然这些度量显示出了强大的初步对齐与校准证据，但它们并非完美。他们强调未来的工作需要：

寻找既能高度校准又不会牺牲对齐性的度量。
将这些发现扩展到开放式生成场景（提出一个将开放式响应转换为多项选择评估的框架）。
研究个体层面的不确定性对齐，而非仅仅是群体层面。
在实际的人机协作应用中测试这些度量，以确定它们是否能提高用户信任度和任务效能。

该研究局限于多项选择语境以及参数量在 80 亿以下的模型，并指出结果可能会在更大规模的模型或开放式场景中有所不同。