💬 NLP

Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty

本文研究了大语言模型在显式行为和内部激活中表现出类人确定性信号的程度，探讨了这种“不确定性对齐”与各种数据集上的传统校准指标之间的关系，以及指令微调所带来的影响。

原作者： Kyle Moore, Jesse Roberts, Daryl Watson, William Ward, Grayson Heyboer

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Kyle Moore, Jesse Roberts, Daryl Watson, William Ward, Grayson Heyboer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明但有时过于自信的机器人朋友玩“猜答案”的游戏。你问它一个问题，它给出一个答案。有时它是对的，有时又是错的。但这里有一个棘手的问题：机器人是如何知道自己不确定的？

这篇论文就像是一个调查这个问题（即：机器人如何感知不确定性）的侦探故事。研究人员想要了解：大型语言模型（LLMs）感受到的“不确定性”是否与人类感受到的方式相同？ 如果是这样，我们能否在它的“大脑”（内部代码）中看到这种不确定性，还是只能通过它的“嘴巴”（它输入的文字）来观察？

以下是他们调查过程的拆解，使用了简单的类比：

1. 核心问题：机器人像我们吗？

当人类对一个答案不确定时，我们可能会犹豫、说“我觉得是这个，但我不是 100% 确定”，或者需要更长时间来回答。我们有一种自然的“不确定性信号”。

研究人员问道：AI 模型也有这种信号吗？

类比： 想象一个人类和一个机器人一起参加测验。当人类不知道答案时，他们可能会挠头。研究人员想看看机器人是否也会“挠头”（表现出内部的困惑），还是仅仅自信地猜错（产生幻觉）。

2. 两大主要测试

研究人员观察了两个具体的事物：

校准度（“诚实度”测试）： 这是在问，“当机器人说它有 80% 的把握时，它是否真的在 80% 的情况下是正确的？”
- 类比： 如果天气应用说“有 80% 的降水概率”，那么实际上是否在 10 次中有 8 次下雨？如果是，它就是经过良好校准的。
对齐（“类人化”测试）： 这是在问，“机器人是否会对人类感到困惑的相同问题感到困惑？”
- 类比： 如果人类觉得一个谜题很难且需要很长时间来解决，机器人是否也会在同一个谜题上挣扎？如果他们都在同样的事情上感到挣扎，那么他们就是“对齐”的。

3. 实验：30 个机器人，许多问题

团队测试了 30 种不同的 AI 模型（如 LLaMa、Mistral 和 Gemma），它们的大小各异。他们向这些模型提出了来自四个不同“测验书”的问题：

多项选择题： 标准的常识问答。
开放式问题： “讲一个故事”或“首都是什么？”这类没有选项的问题。
人类数据： 至关重要的一点是，他们拥有关于真实人类如何回答这些相同问题的资料。他们知道哪些问题人类觉得难（基于多少人答错或花费了多长时间）。

4. 重大发现

A. “指令（Instruct）”陷阱

许多 AI 模型都有两个版本：

基础模型（Base Model）： 未经训练的原始版本。
指令模型（Instruct Model）： 经过训练以遵循人类指令并进行友好对话的版本。

研究结果： 研究人员发现，训练机器人成为一名“好学生”（Instruct）实际上让它更难察觉到自己何时是不确定的。

隐喻： 想象一个天生擅长数学的学生，但在老师要求他们“扮演老师”时会变得紧张。“指令”训练让机器人变得更加自信，但在不确定时却不再那么诚实。它们变得更加“过度自信”，并且在不确定时变得不再像人类。

B. “大脑” vs. “嘴巴”

这是最令人惊讶的部分。研究人员观察了 AI 的“大脑”（其内部电信号，称为激活值/activations），并将其与 AI 实际说出的话（其输出/output）进行了对比。

研究结果： AI 的“大脑”展现出了比它的“嘴巴”更强烈的类人式不确定性。

隐喻： 想象一个人非常害怕蜘蛛，但试图表现得很冷静并说：“我没事。”
- 嘴巴（输出）： 说“我没事”。（看起来很自信）。
- 大脑（激活值）： 心跳加速，瞳孔放大。（实际上很害怕）。
  研究人员发现，即使 AI 的“声音”听起来很自信，其“心跳”也明显地展示了它何时感到困惑。类人的不确定性隐藏在代码深处，而不是在最终的答案中。

C. 群体 vs. 个体

研究人员还发现，AI 模仿群体比模仿个人做得更好。

隐喻： AI 擅长知道“平均而言，人们觉得这个问题很难”。但它并不擅长知道“这个特定的人现在正感到困惑”。

5. 这意味着什么？（严格基于论文内容）

论文得出结论：

AI 的不确定性是真实的，但很微弱： 它确实存在，但它并不是人类不确定性的完美镜像。
训练会损害诚实度： 使 AI 模型遵循指令（指令微调/Instruct Fine-Tuning）似乎破坏了它们传达不确定性的能力，无论是在行为表现还是在校准度方面。
看向盒子内部： 如果你想知道一个 AI 是否真的不确定，你不能只听它说了什么。你必须观察它的内部“脑电波”（激活值），在那里，类人的信号要强烈得多。

简而言之： 论文表明，虽然 AI 模型并不是人类怀疑情绪的完美镜像，但它们确实拥有一个与人类反应相似的“隐藏神经系统”来应对困惑。然而，我们越是训练它们成为有用的聊天机器人，它们似乎就越是在那副自信的面具下隐藏起这种紧张感。

技术摘要：大语言模型不确定性中的人类对齐、校准与激活模式

问题陈述

大语言模型（LLM）的不确定性量化（UQ）主要侧重于校准——即确保模型的置信度分数能准确反映其任务效能，以减轻幻觉问题。然而，一个关键且尚未得到充分探索的问题仍然存在：LLM 的不确定性行为与人类的不确定性行为有多相似？

理解这种“人类对齐”对于人机协作至关重要。如果 LLM 展示出与人类相似的不确定性模式，用户可能会更安全地将人类交互中的直觉预期迁移到人机交互中。相反，如果两者存在显著差异，则可以实现人类与 AI 之间的优势互补。本研究调查了在显性模型行为（Logits）和内部激活模式中，是否存在以及存在何种强度的类人确定性信号（对齐），同时探讨了对齐与校准同时发生的现象。

研究方法

模型与数据集

研究评估了 30 个开源纯文本 LLM，涵盖四个家族（LLaMa、Mistral、Gemma、Falcon），参数规模从 1B 到 13B 不等。研究同时测试了基座模型（Base）和指令微调模型（Instruct-finetuned）。
使用了四个数据集：

MMLU： 标准的多项选择问答（MCQA）数据集，用作预期校准误差（ECE）的基准，但缺乏人类不确定性数据。
ProtoQA： 基于众包偏好的问题集（8,724 项），提供了人类响应分布。
CamChoice： 阅读理解类 MCQA（504 项），包含人类响应分布。
Coane： 一个针对老年人的通用知识问题集（421 项）。至关重要的是，它提供了：
- 人类响应分布（用于衡量群体不确定性/熵）。
- 平均响应时间（基于认知科学解释，用于衡量个体不确定性）。
- 包含 MCQA 和 开放式问答（OEQA） 两种变体。

不确定性度量指标

作者采用了一套广泛的推理时 UQ 度量指标，这些指标从 Logits 和激活值中计算得出：

MCQA 度量： 全分布指标（Top-1 概率、总熵）、完形填空（Cloze）度量、Top-k/p 熵以及核大小（Nucleus sizes）。
自由响应（FR）度量： 序列困惑度（PPL）以及生成 Token 的熵/大小指标的平均值。
括号式自由响应（BFR）与首 Token 自由响应（1TFR）： 仅限于闭合括号前的片段或第一个生成的 Token 的度量，旨在将答案与潜在的过度生成进行隔离。

实验设计

对齐（Alignment）： 通过模型不确定性信号与人类不确定性（源自响应熵或响应时间）之间的 Spearman 相关系数进行衡量。
校准（Calibration）： 使用 ECESweep 进行衡量，这是一种动态分箱方法，旨在最小化估计预期校准误差时的偏差。
激活探测（Activation Probing）： 训练线性回归模型，利用逐层最后 Token 的激活值来预测人类的不确定性。这使得作者能够绘制出对齐信号在内部如何以及在何处显现，并将其与输出 Logits 进行对比。

核心贡献与结果

1. 微弱至中度的正向对齐

研究发现，LLM 的不确定性通常与人类的不确定性呈微弱至中度的正相关。这种关系受具体任务和模型架构的影响。

群体 vs. 个体： 当将模型不确定性与群体级人类不确定性（响应分布熵）进行比较时，对齐现象更为显著；而与个体级不确定性（响应时间）相比，对齐程度较低。
任务依赖性： 在 CamChoice 数据集中，对齐信号是零星出现的；在 OEQA 任务中几乎不存在，唯独 Falcon 3 10B 模型表现出相关性（它与响应时间相关，但在 BFR/1TFR 背景下则不然）。

2. 指令微调导致的退化

一个主要的发现是，指令微调显著降低了不确定性对齐度和校准度。

在几乎所有的度量指标和数据集下，基座模型比其指令微调版本展现出更强的与人类不确定性的对齐性。
同样，指令微调模型的校准度（ECE）通常也较差，尽管在某些有限选项的语境下微调提升了校准度，但在其他语境下则造成了退化。

3. 内部激活 vs. 显性行为

研究揭示了内部状态与输出行为之间的关键差异：

更强的内部信号： 与输出 Logits 相比，人类对齐的不确定性在内部激活中更容易被检测到。
定量差距： 例如，Gemma 2 9B 模型在内部探测中显示出与人类熵的最大相关性 $r \approx 0.6$ ，而基于 Logit 的度量仅为 $r = 0.32$ 。
层动态特性： 群体级不确定性（熵）的对齐程度倾向于随网络深度增加而增加，而个体级（响应时间）的对齐程度在各层之间保持相对平稳。

4. 校准优越性

尽管存在对齐挑战，但在大多数 UQ 度量下，LLM 往往比人类受试者更具校准性。人类在 Coane 数据集上的校准误差在 0.21 到 0.45 之间，而许多模型的 ECE 值低于 0.1。

意义与主张

本文声称对不同模型和任务进行了首次广泛的不确定性对齐研究，超越了传统仅关注校准的研究范畴。

行为洞察： 该工作表明，虽然显性的模型行为（Logits）可能无法完全反映类人式的不确定性，但 LLM 的内部表示包含了更强的类人对齐信号。这意味着类人式不确定性的机制存在于模型内部，但并不总是通过最终输出表达出来，这可能是由于指令微调的约束所致。
微调的影响： 研究结果强调了一种权衡：虽然指令微调在许多领域提升了任务性能，但它似乎破坏了类人式不确定性行为及校准的自然涌现。
未来方向： 作者谦逊地提出，识别这些在潜变量中的对齐信号，最终可能实现对对齐行为的直接操纵或增强，而无需进行大规模重新训练。然而，作者也承认了局限性，指出目前的结果仍局限于短文本事实检索，可能无法推广到复杂的推理或规划任务。

总之，本文确立了 LLM 拥有人类对齐不确定性的潜在能力，但这种能力往往被标准的指令微调所抑制，并且在内部激活中比在最终预测中更为明显。