💬 NLP

Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

本文介绍了一种预生成幻觉检测框架，该框架通过将风险估计转化为一个基于经验误差率的软目标监督问题，并采用自适应注意力探测来选择性地聚合提示表示，从而在多个基准测试和模型上实现了更优的检测质量，对现有方法进行了改进。

原作者： Amina Miftakhova, Alexey Zaytsev

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Amina Miftakhova, Alexey Zaytsev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名老师，在学生还没写完最后一个句子之前，就开始给他们的作文打分了。通常情况下，你会等到作文完成后，再看学生是否编造了事实（幻觉）。但如果能在他们思考的过程中窥视大脑，预测他们是否准备撒谎，并在他们浪费时间写出一个假故事之前阻止他们，情况会怎样？

这就是这篇论文的核心思想：在大型语言模型（LLM）完成回答之前，检测其撒谎的风险。

以下是作者如何通过简单的类比来解决这一难题的。

1. 问题所在：“单次投掷”硬币错误

想象你想知道一枚硬币是“公平的”还是“被操纵的”。

旧方法（二元标签）： 你投掷了一次硬币。它正面朝上。你立即得出结论：“这枚硬币总是正面朝上！”然后你训练一个机器人，根据这单次投掷的结果来预测“正面”。
现实情况： 这枚硬币实际上是被操纵成 70% 正面、30% 反面的。你的单次投掷只是一个幸运（或不幸）的样本。如果你再投一次，可能会是反面。
论文的洞察： 作者认为，向 AI 提问就像是在投掷那枚硬币。AI 可能会在 70% 的情况下给出正确答案，而在 30% 的情况下给出错误答案，这取决于它的“思考方式”（其内部随机性）。
旧检测器的缺陷： 之前的工具只观察 AI 给出的一个答案（“贪婪”答案），并判定“这是谎言”或“这是真相”。这种做法是嘈杂且不可靠的，因为它忽略了如果换一种问法，AI 本有可能说出真相的那 30% 的可能性。

2. 解决方案：“软目标”（天气预报）

与其问“这个特定的答案是谎言吗？”（是/否），作者转而询问：“这个 AI 在这个话题上撒谎的概率是多少？”

他们是如何做的： 他们对 AI 提出了同一个问题 10 次。
- 6 次给出了错误答案。
- 4 次给出了正确答案。
新标签： 他们没有使用简单的“谎言”（1）或“真相”（0），而是创建了一个 0.6 的软目标（60% 的风险）。
为什么有效： 这就像天气预报。预报不会直接说“会下雨”或“不会下雨”，而是说“有 60% 的降水概率”。这为检测器提供了更丰富、更准确的 AI “情绪”和可靠性的图景。论文从数学上证明，这种多次尝试的平均值是猜测 AI 真实幻觉倾向的最准确方法。

3. 工具：“注意力探测”（侦探的放大镜）

一旦有了更好的“风险评分”（软目标），他们就需要一种方法来读取 AI 的大脑（其内部层）以寻找这种风险。

旧方法（线性探测）： 想象你在观察一群人，并通过平均每个人的面部特征来猜测是否发生了犯罪。你可能会错过那个看起来可疑的具体的人，因为你把所有人都平均化了。
新方法（注意力探测）： 这就像一个带着放大镜的侦探。检测器学会了聚焦于问题中那些最可能导致谎言的特定词汇。
- 例子： 如果问题是“澳大利亚的首都是哪里？”，检测器学会了高度关注“澳大利亚”这个词，而忽略“哪里”这个词。
- 结果： 这种“聚焦”方法在识别风险方面比“平均化”方法更出色，尤其是在处理开放式问题时。

4. 甜点位：及早捕捉谎言

作者还研究了应该在何时进行检查。

他们发现，AI 的“大脑”（其内部层）在思考过程的中间阶段就会显示出潜在谎言的迹象，而不仅仅是在最后。
益处： 你不需要等到 AI 写完整个句子才知道它要撒谎。你可以在中途停止它，从而节省时间和计算资源。

结果总结

论文在五种不同的 AI 模型和三种类型的问题（如短事实或多步谜题）上进行了测试。

胜出者： 软目标（观察错误概率）+ 注意力探测（聚焦关键词）+ 早期检测（中途检查）的结合是表现最好的方法。
局限性： 这对于短小、结构化的回答（如“首都是哪里？”）效果极佳。然而，对于非常长、复杂的叙述或多步推理，AI 的不确定性会随着写作过程而增加，因此对于这些特定的困难任务，等待结束（生成后检测）仍然更安全。

简而言之： 这篇论文教导我们不要仅凭 AI 回答的一个快照来评判它。相反，我们应该通过观察多种可能性来估算其“撒谎风险”，使用智能的“放大镜”找到风险点，并在 AI 甚至还没开始打完字之前就捕捉到问题。

技术摘要：基于软目标注意力探测（Soft-Target Attention Probing）的生成前幻觉检测

问题陈述
大语言模型（LLMs）经常生成看似自信但事实错误的响应，这种现象被称为幻觉。虽然已存在生成后检测方法（例如使用语义熵或自一致性），但它们会产生完整的解码计算成本。生成前检测提供了一种轻量级的替代方案，通过在生成任何 token 之前从输入表示中估计幻觉风险，从而实现早期干预，如弃权、检索增强或模型路由。

然而，现有的生成前方法面临一个根本性的统计挑战：它们通常将检测问题表述为二分类问题，并使用单个贪婪解码的答案作为地面真值（ground truth）标签。作者认为这在统计上是不适定的，因为生成前答案的正确性是一个反映模型随机输出分布的随机变量。源自单个样本的二元标签是模型真实底层错误概率的一个带有噪声的代理，这引入了不可消除的标签噪声和潜在偏差（例如，当模型将高概率分配给一个正确答案，但同时将大量概率质量分布在许多错误答案上时，该方法可能会低估风险）。

方法论
本文将生成前幻觉检测重新定义为一个风险估计问题，而非二分类问题。其目标是预测给定提示词（prompt）下，模型在其自身的采样分布下产生错误答案的概率。

软目标监督（Soft-Target Supervision）：
不同于二元标签，作者提出在基于经验答案错误率的软目标上训练探测器。对于每个提示词，从模型在温度 $\tau = 1$ （模型的基准分布）下的分布中随机采样 $N$ 个答案。软目标即为这 $N$ 个样本中事实错误的比例。
- 理论保证： 作者证明，这种经验错误率是模型在采样分布下每提示词错误概率的唯一无偏最小方差估计量（UMVUE）。这种公式化方法最大限度地减少了标签噪声，并提供了连贯的难度信号。
- 统计优势： 使用软目标可以降低随机梯度的方差，与二元标签相比，在优化过程中实现更快的收敛。
注意力探测（Attention Probing）：
本研究将注意力探测（最初为生成后检测开发）适配到了生成前场景。与线性探测（通过均匀聚合隐藏状态，如均值池化）不同，注意力探测使用一个可学习的查询向量来选择性地加权来自输入提示词的 token 级隐藏状态。这使得检测器能够专注于对幻觉风险最具信息量的特定提示词位置。
- 探测器应用于 Transformer 任何层 $l$ 的隐藏状态。
- 逻辑回归头将聚合后的表示映射为风险评分。

核心贡献

风险估计框架： 本文确立了生成前检测本质上是一个分布估计问题。它引入了基于经验错误率的软目标监督，并在理论上证明了其作为无偏、最小方差估计量的最优性。
架构与层分析： 系统性的比较表明，在生成前设置中，注意力探测始终优于统一的线性探测，尤其是在具有多变提示词结构的任务中。此外，层级分析表明，中间层始终携带最强的幻觉信号，这表明无需完成到最后一层的完整前向传播即可获得可靠的风险估计。
实证验证： 该方法在三个问答基准测试（SQuAD, Natural Questions, HotpotQA）和五个指令微调模型（Qwen, LLaMA, Gemma 系列，参数量均在 9B 以下）上进行了评估。

结果

软目标的优越性： 在所有评估的模型和数据集上，使用软目标训练的注意力探测器表现始终优于其二元目标版本。这种增益在开放式任务（如 Natural Questions, HotpotQA）中最为显著，因为软目标捕捉到的分布信息在此类任务中价值最高。
注意力探测 vs. 线性探测： 在生成前设置中，注意力探测显著优于线性探测（在某些情况下 ROC-AUC 高出达 23.1 个百分点）。然而，在高度受限的单 token 任务（如多项选择或布尔问答）中，这种优势会减弱，因为均值池化已足够。
生成前 vs. 生成后性能： 在短答案、结构受限的任务（如 SQuAD）上，生成前探测的表现接近生成后方法，平均 ROC-AUC 差异仅为 0.07%。随着答案长度和推理复杂度的增加（如 HotpotQA），两者之间的差距向生成后方法倾斜，因为不确定性变得更加依赖于生成过程本身。
效率： 通过在中间层检测风险，该方法可以节省显著的计算成本（与完整前向传播相比，可节省高达 54% 的 GFLOPs），同时实现早期干预。

意义与主张
本文声称，只要将生成前幻觉检测视为风险估计而非二分类问题，它就是一种可行且高效的策略。其主要贡献在于证明了软目标监督比贪婪二元标签提供了更具原则性和有效性的训练信号，使其与 LLM 生成的随机本质相一致。

作者强调，其发现支持了一种实际的操作模式：对于具有短促、结构化答案的任务，可以在生成前且在前向传播过程中间层处获得可靠的幻觉风险估计，从而实现低成本的干预（如弃权或检索增强）。作者也承认了局限性，指出该方法在长上下文、多跳推理任务中效果较差，因为此类任务的不确定性本质上与生成过程紧密相关，并且该方法需要对模型激活值具有白盒访问权限。该工作并不声称要取代生成后检测器，而是旨在通过更早、更廉价的信号来对其进行补充。