💬 NLP

Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

本文提出了一种量化大语言模型不确定性的新方法，通过在注意力图、词元概率和递归计算的不确定性评分上训练回归模型，从而在多个数据集和模型上有效检测幻觉并改进选择性生成。

原作者： Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Artem Vazhentsev, Ekaterina Fadeeva, Rui Xing, Gleb Kuzmin, Ivan Lazichny, Alexander Panchenko, Preslav Nakov, Timothy Baldwin, Maxim Panov, Artem Shelmanov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在听一个非常聪明、语速极快的机器人给你讲故事。这个机器人擅长编造句子，但有时它会对实际上错误的事情表现得非常自信（这些被称为“幻觉”）。

问题在于，机器人并不知道自己在撒谎。它只是不停地讲述，如果它在早期犯了错，随着它基于这个错误构建故事的其余部分，它会变得更加自信。这就像“传话”游戏：第一个人 whispered 了一个错误的事实，而其他人则带着越来越强的自信重复它。

问题：机器人的盲点
目前检查机器人是否在撒谎的方法，通常会查看机器人对每个所说单词的“置信度分数”。但这很棘手。如果机器人说“天空是绿色的”，它可能仍然对下一个词“草”感到非常自信，因为它只是在遵循自己的逻辑。它没有意识到整个句子是建立在一个谎言之上的。

这篇论文的作者将这种现象称为“条件依赖”问题。机器人对下一个单词的置信度完全取决于前一个单词，即使前一个单词本身就是一个错误。

解决方案：TAD（基于可训练注意力的依赖）
研究人员开发了一种名为TAD的新工具。你可以把 TAD 想象成一位超级智能的编辑，坐在机器人旁边，看着它逐个单词地写作。

以下是这位编辑如何工作，使用几个简单的类比：

“注视”（注意力）： 当机器人说话时，它会“注视”之前的单词来决定接下来要说什么。研究人员发现，当机器人在讲述事实时，它的“注视”（注意力）是稳定且专注的。但当它开始产生幻觉时，它的注视就会变得不稳定或混乱。TAD 会密切观察这种注视。
“连锁反应”（递归）： 这位编辑不仅仅查看当前的单词。它会记住之前单词的不确定性。如果机器人在第 1 个单词上 stumbled（出错），编辑会将第 2、3、4 个单词标记为可疑，即使机器人对这些单词听起来很自信。这就像一位老师知道，如果学生在数学题的第一步就错了，那么最终答案很可能也是错的，无论学生把答案写得多么工整。
“两阶段训练”： 为了训练这位编辑，研究人员使用了一个两步过程。
- 步骤 1： 他们教导编辑仅利用机器人的原始置信度来识别错误。
- 步骤 2： 他们让编辑利用步骤 1 中形成的“直觉”来帮助自己学得更好。这就像练习一项运动：首先你学习基本动作，然后你练习进行完整的比赛，在比赛中你需要对自己之前的动作做出反应。

他们如何测试它
他们在十种不同类型的任务上测试了这位编辑，从总结新闻文章到回答棘手的常识问题，使用了三种不同版本的机器人（LLaMA、Gemma 和 Qwen）。

结果： TAD 在捕捉机器人的谎言方面，比他们尝试过的任何其他方法都要好得多。它特别擅长发现长篇故事何时偏离了正轨。
效率： 与其他需要机器人“思考”答案五次的方法（这既慢又昂贵）不同，TAD 非常快速。它仅给机器人的思考过程增加了约5% 的额外时间。这就像多快速瞥一眼，而不是要求机器人重写整个故事。

核心结论
该论文声称，通过教导计算机模型关注机器人如何注视其自身的先前单词，并记住句子早期犯下的错误，我们可以为人工智能构建一个更好的“测谎仪”。这使得人工智能更安全、更可靠，特别是对于长答案而言，而不会过度拖慢速度。

该论文未声称的内容

它不声称这适用于所有类型的人工智能在所有情况下的表现（它是在特定模型和任务上测试的）。
它不声称这是一种医疗工具或法律法官。
它不声称人工智能将永远不会再犯错误；它只是声称这个工具更擅长发现错误，以便将它们过滤掉。

以下是论文《无条件真实性：学习大型语言模型的无条件不确定性》的详细技术总结。

1. 问题陈述

大型语言模型（LLM）容易生成幻觉和低质量输出。不确定性量化（UQ）是检测这些错误的关键机制，通常通过为生成的文本分配置信度分数来实现。然而，现有的 UQ 方法面临一个根本性的局限：条件依赖性。

核心问题：LLM 是自回归地（逐 token）生成文本的。当前 token $y_i$ 的概率取决于所有之前的 token $y_{<i}$ 。如果早期的 token 是幻觉（错误），模型会将其视为后续步骤的“事实依据”。因此，即使整个序列存在缺陷，模型仍会以高置信度生成后续 token。
差距：标准 UQ 方法基于即时条件概率 $p(y_i | y_{<i})$ 计算不确定性。它们未能传播前一步的不确定性。如果第一个 token 是错误的，但模型在给定该错误上下文的情况下对下一个 token 很有信心，整个序列就会被判定为“安全”，从而导致未被检测到的幻觉。
当前局限：以往尝试建模这种依赖性的方法依赖于启发式规则（例如，基于之前的最大注意力对分数进行惩罚），或者需要计算成本高昂的采样（生成多个输出以检查一致性）。

2. 方法论：可训练的基于注意力的依赖性（TAD）

作者提出了TAD，这是一种监督式、数据驱动的方法，通过建模生成步骤之间的复杂依赖关系，学习 token 的“无条件”不确定性。

A. 核心概念

TAD 不单纯依赖 LLM 的原始条件概率，而是学习一个回归函数 $C(\cdot)$ ，用于估计 token $y_i$ 的无条件置信度。该函数结合了：

当前步骤概率：LLM 提供的 token 概率 $p(y_i | y_{<i})$ 。
注意力图：当前 token 到之前 token 的注意力权重，编码了模型内部的关注点和依赖结构。
循环不确定性：之前 token 的估计无条件置信度分数（ $C_{<i}$ ）。

公式如下：
$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$

B. 训练过程（两阶段）

由于目标变量（无条件置信度）依赖于模型自身的输出（循环性），作者采用了一种两阶段训练过程：

第一阶段：仅使用当前 token 的概率和注意力权重训练回归模型。第一个 token 的目标是生成序列与真实答案之间的语义相似度。对于后续 token，目标仍然是真实答案的相似度，但模型学习基于即时特征进行预测。
第二阶段：使用第一阶段模型的预测结果作为特征重新训练模型。具体而言，将前一步骤中“循环计算的不确定性分数”（由第一阶段模型预测）输入到第二阶段模型中。这使得模型能够学习如何在整个序列中传播不确定性。

C. 特征工程

目标：训练的真实值（Ground Truth）源自完整生成序列与参考答案之间的语义相似度（使用 COMET、AlignScore 或准确率等指标）。
输入：对于每个 token $y_i$ ，特征向量包括对前 $N$ 个 token 的注意力权重、它们的条件概率，以及这些前序 token 的估计无条件置信度。

D. 推理

在推理过程中，TAD 按顺序处理 token。对于第一个 token，它使用原始概率。对于后续 token，它使用学习到的函数 $C$ 递归计算无条件置信度，并通过平均或对数求和聚合这些 token 级分数，以生成序列级不确定性分数。

3. 主要贡献

新颖的监督方法：TAD 是第一种利用在注意力图和循环不确定性分数上训练的监督回归模型，显式学习生成步骤之间条件依赖性的方法。
循环特征集成：论文证明，整合循环计算的不确定性分数对于准确的 UQ 至关重要，它能有效地将早期错误的“风险”传播到整个序列。
两阶段训练：作者引入了一种特定的训练协议，以处理基于先前不确定性预测来预测不确定性的循环依赖问题，从而防止过拟合并改善收敛。
效率：与需要多次前向传播的基于采样的方法（如语义熵）不同，TAD 仅增加极少的计算开销（约为标准推理的 5%），因为它在单次前向传播之上使用了轻量级的线性回归或多层感知机（MLP）。

4. 实验结果

作者在10 个数据集（涵盖摘要、机器翻译和各种问答任务）和3 个 LLM（LLaMA-3.1 8B、Gemma-2 9B、Qwen-2.5 7B）上评估了 TAD。

性能：TAD 在所有模型和数据集上均取得了最佳整体性能。
- 它显著优于最先进的无监督方法（如困惑度、语义熵）和监督基线（如 LookBackLens、SATRMD、Sheeps）。
- 在TruthfulQA数据集上，TAD 将预测拒绝率（PRR）比第二好的基线提高了 0.045。
- 在MedQUAD上，它比第二名高出 0.077 的 PRR。
消融研究：
- 特征：移除注意力权重或循环特征会显著降低性能，证实两者都至关重要。
- 训练：两阶段训练过程被证明是必要的；单阶段方法未能捕捉到必要的依赖关系。
- 层：中间层的注意力权重被发现信息量最大，但第一层和最后一层也有贡献。
泛化性：TAD 表现出令人鼓舞的**域外（OOD）**泛化能力。虽然大多数监督方法在训练于问答任务而测试于摘要/翻译任务时表现失败，但 TAD 保持了稳健的性能，在未见的问答领域上优于基线。
效率：TAD 仅引入了5% 的运行时间开销，而基于采样的方法（如语义熵）则产生了 400–600% 的开销。

5. 意义与结论

本文解决了 LLM 安全中的一个关键盲点：标准不确定性指标无法检测由早期幻觉引起的级联错误。

实际影响：TAD 为选择性生成（拒绝低质量输出）提供了一种计算高效、即插即用的解决方案。它使得 LLM 能够在高风险应用中更安全地部署，而无需付出基于采样的验证所带来的高昂成本。
理论洞察：该工作验证了注意力图包含关于生成步骤条件依赖关系的丰富信息，并且可以学习这些依赖关系以估计“无条件”的真实性。
未来方向：作者建议将 TAD 扩展到检索增强生成（RAG），以评估检索证据的可信度，进一步增强知识密集型 LLM 应用的可靠性。

总之，TAD代表了使 LLM 更加可靠的重要一步，它从静态的、token 级的概率检查转向了动态的、上下文感知的不确定性估计，这种估计能够理解“思维链”及其潜在的误差传播。