💬 NLP

Probabilistic distances-based hallucination detection in LLMs with RAG

本文提出了一种基于提示词与生成响应嵌入分布距离的无监督幻觉检测方法，通过利用隐藏状态的几何结构特征，在检索增强生成（RAG）场景下实现了高效且具备跨任务迁移能力的幻觉检测。

原作者： Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Rodion Oblovatny, Alexandra Kuleshova, Konstantin Polev, Alexey Zaytsev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种给大语言模型（LLM）“照镜子”的新方法，用来揪出它们什么时候在“胡编乱造”（也就是所谓的幻觉）。

想象一下，你请了一位博学的管家（大语言模型）帮你查资料。

正常情况：你问“今天天气怎么样？”，管家去查了窗外的气象站（检索到的上下文），然后告诉你“今天下雨”。他的回答和气象站的数据是严丝合缝的。
幻觉情况：你问同样的问题，管家没看窗外，或者看错了，瞎编了一句“今天下了一场糖果雨”。这时候，他的回答和气象站的数据就格格不入了。

这篇论文的核心思想就是：不要只听管家说了什么，要看他“思考”的过程和“参考”的资料在脑子里是不是对得上号。

下面我用几个生动的比喻来拆解这篇论文：

1. 核心问题：管家为什么会“撒谎”？

现在的 AI 很聪明，但有时候会自信满满地胡说八道，特别是在它被要求基于某些资料（RAG 系统，检索增强生成）回答问题时。

传统方法：以前的检测器像是一个“复读机检查员”。它会问：“你刚才说的这句话，你自己能重复出来吗？”或者“你让 AI 多回答几次，看看大家意见统不统一？”
- 缺点：这很费脑子（计算成本高），而且如果 AI 每次撒谎都撒得一模一样，这种方法就失效了。
新方法：这篇论文提出，我们要看管家大脑深处的“思维轨迹”。

2. 核心原理：给“思维”和“资料”做亲子鉴定

作者发现，当 AI 基于资料正确回答问题时，它脑子里的“思维状态”（隐藏层向量）和它看到的“资料”是非常亲近的，就像亲父子一样，长得像，分布在一起。
但当 AI 开始胡编乱造时，它的“思维状态”就会突然跑偏，变得和“资料”完全不搭界，就像陌生人硬凑在一起，甚至像是两个不同星球的人。

论文的方法就是测量这种“距离”：

工具：他们使用了一种叫 MMD（最大均值差异） 的数学尺子。
比喻：想象资料是一堆“苹果”，AI 的回答是一堆“梨”。
- 如果 AI 回答得好，它的回答虽然也是“梨”，但它是从“苹果树”上长出来的（基于资料），所以它和苹果在“果园地图”上离得很近。
- 如果 AI 在撒谎，它的回答就像是从“火星”运来的“梨”，和地球上的“苹果”距离十万八千里。
- MMD 尺子就是用来量这个距离的。距离越远，撒谎的概率越大。

3. 三大创新点（让这把尺子更准的秘诀）

A. 不看“整体”，只看“细节” (Head Selection)

以前的方法可能只看 AI 大脑的“整体印象”（比如只看第 10 层神经元的平均状态）。

比喻：就像看一个班级，只看全班平均分。如果有个学霸和一个学渣，平均分可能看不出问题。
新做法：作者发现，AI 的注意力机制（Attention Heads）里有几十个“小眼睛”，每个小眼睛关注不同的东西（有的关注语法，有的关注事实）。
操作：他们像挑侦探一样，专门挑出那些最擅长发现“事实偏差”的小眼睛，只让这几个小眼睛来打分。
效果：这就像是从“全班平均分”变成了“专门找那个最敏锐的侦探来指认”，准确率大大提升。

B. 给尺子加上“防抖动”功能 (Wild Bootstrap)

直接拿尺子量，有时候会因为数据太短或者噪音，导致读数不准（比如今天量是 10 米，明天量是 12 米，其实都是 11 米）。

比喻：就像在摇晃的船上量身高，直接量肯定不准。
新做法：作者用了一种叫“野 Bootstrap"的统计技术。简单说，就是在脑子里模拟几千次“如果资料稍微变一点点，结果会怎样”。
效果：通过这种模拟，他们算出了一个概率值（P-value）。这就像告诉你：“这种距离，在正常对话中出现的概率只有 0.01%，所以这绝对是撒谎！”这让结果非常稳定，不受句子长短影响。

C. 跨界的“万能钥匙” (NLI 迁移)

通常训练一个检测器需要很多“撒谎”和“没撒谎”的标注数据，这很贵。

比喻：就像你想教一个保安抓小偷，但你没有小偷样本，只有“打架”的样本。
新做法：作者发现，“撒谎”和“逻辑矛盾”（NLI 任务）在数学上是一回事。
- 如果资料说“猫在桌上”，回答说“猫在床下”，这就是矛盾。
- 如果资料说“猫在桌上”，回答说“猫在火星上”，这也是矛盾（幻觉）。
效果：他们直接用现成的“逻辑矛盾”数据集（NLI）来训练这个检测器，然后直接拿去用。结果发现，这把“逻辑尺子”竟然能完美地抓出“撒谎”！这意味着不需要任何专门的“撒谎”标注数据，就能直接上岗。

4. 总结：这有什么用？

这篇论文提出了一种简单、快速且不需要额外大模型的检测方法：

不用生成多次：不需要让 AI 重复回答 20 次来对比，一次回答就能测出来。
不用外部知识库：不需要再去查别的数据库，直接看 AI 自己脑子里的“思维”和“资料”离得远不远。
越大的模型越准：实验证明，在 LLaMA-13B 这样的大模型上，效果最好（因为大模型脑子里的“事实信号”更清晰）。
通用性强：哪怕是在法律、医疗这种高风险领域，只要 AI 开始胡编乱造，这个“距离尺子”就能立刻报警。

一句话总结：
这就好比给 AI 装了一个**“思维测谎仪”。它不关心 AI 说了什么词，而是测量 AI 的“内心想法”和“参考依据”之间有没有心理距离**。如果距离太远，那就是在胡编乱造！

这是一份关于论文《PROBABILISTIC DISTANCES-BASED HALLUCINATION DETECTION IN LLMS WITH RAG》（基于概率距离的大语言模型 RAG 幻觉检测）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：大型语言模型（LLM）在检索增强生成（RAG）设置中经常产生“幻觉”（Hallucination），即生成与检索到的上下文（Context）不符或完全虚构的内容。这在法律、金融和医疗等高风险领域尤为危险。
现有局限：
- 现有的幻觉检测方法大多未专门针对 RAG 场景设计，往往孤立地检查生成内容，忽略了生成内容与支撑上下文之间的结构关系。
- 基于一致性的方法（Consistency-based）需要多次生成，计算成本高；基于不确定性的方法（Uncertainty-based）难以捕捉复杂的 Token 依赖；基于内部状态的方法（Inner state-based）多关注注意力图（Attention maps），而忽略了 Transformer 隐藏状态（Hidden States）中蕴含的丰富语义信息。
研究假设：幻觉生成的响应在模型的潜在空间（Latent Space）中，其隐藏状态分布与提示词（Prompt/Context）的分布存在显著偏离。这种偏离程度可以通过概率距离来量化。

2. 方法论 (Methodology)

作者提出了一种**模型内嵌（Model-intrinsic）的幻觉检测框架，核心思想是利用最大均值差异（Maximum Mean Discrepancy, MMD）**来衡量提示词（Prompt）和响应（Response）隐藏状态分布之间的统计距离。

核心步骤：

隐藏状态提取：
- 不直接使用标准的层（Layer）级嵌入，而是提取**注意力头（Attention Heads）**级别的隐藏状态。
- 通过实验发现，特定注意力头能更清晰地保留“事实性”信号，而层聚合会导致信号模糊。
概率距离计算 (MMD)：
- 使用 MMD 度量提示词分布 $\alpha_P$ 和响应分布 $\beta_R$ 之间的差异。
- 假设：幻觉响应的分布与提示词的分布差异更大（距离更远），而基于事实的响应距离较近。
野自举法 (Wild Bootstrap)：
- 目的：为了处理非渐近设置下的统计显著性，并适应文本序列的自相关性（Autocorrelation）。
- 机制：传统的 MMD 在零假设下的分布是退化的。作者采用**野自举（Wild Bootstrap）**方法，通过一阶自回归过程（AR(1)）生成权重序列，对 MMD 统计量进行重采样，从而计算 p-value。
- 评分：最终幻觉分数定义为 $Score = 1 - p\text{-value}$ 。分数越高，幻觉概率越大。
头选择机制 (Head Selection)：
- 利用一个小型的标注探针数据集（Probe Dataset），计算每个注意力头的分离能力（ $\Delta_h$ ），即该头在区分幻觉和非幻觉样本时的表现。
- 选择表现最好的前 $N_{opt}$ 个头（通常限制为 6 个）进行平均评分，以平衡效率和性能。
无监督迁移 (Unsupervised Transfer)：
- 利用幻觉检测与自然语言推理（NLI）任务在逻辑上的相似性（即响应是否包含前提中不存在的新信息或矛盾）。
- 可以在 NLI 数据集（如 SNLI）上训练头选择器，然后直接迁移到 RAG 幻觉检测任务，无需针对幻觉数据重新标注。

3. 主要贡献 (Key Contributions)

分布偏离分析：首次系统性地分析了 LLM 中提示词与响应隐藏状态分布之间的概率距离，证实了幻觉响应表现出更大的分布偏离。
新型检测框架：提出了一种无需外部知识库或辅助模型的、基于 MMD 和野自举的模型内嵌检测方法。该方法利用非参数统计距离构建幻觉分数。
无监督 NLI 迁移：构建了完全无监督的检测器，利用 NLI 任务与幻觉检测的相似性，实现了跨任务的迁移学习，在缺乏幻觉标注数据的情况下仍能保持竞争力。
SOTA 性能：在 5 个数据集和 3 个不同规模的 LLM（最高 15B 参数）上进行了广泛实验，结果表明该方法在大多数情况下达到了最先进（SOTA）或具有竞争力的性能。

4. 实验结果 (Results)

数据集：RAGTruth, CoQA, SQuAD, XSum, MS MARCO, CNN/DM。
模型：Mistral-7B, LLaMA-2-7B, LLaMA-2-13B。
主要发现：
- 整体性能：在长序列数据集（如 RAGTruth 子集）上表现最佳，特别是在 LLaMA-2-13B 上取得了 SOTA 结果（例如在 SQuAD 上达到 0.94 ROC-AUC）。
- 大模型优势：方法在更大参数量的模型上表现更好，表明大模型能更好地捕捉 MMD 所检测到的事实性信号。
- 迁移能力：在 SNLI 数据集上选择注意力头并迁移到幻觉检测任务，即使存在显著的领域差异，性能依然保持竞争力（Table 3）。
- 消融实验：
  - 自举法必要性：使用野自举计算 p-value 的方法优于直接使用“原始”MMD 值，结果更稳定且分数归一化。
  - 头 vs 层：基于注意力头（Head-level）的嵌入显著优于基于层（Layer-level）的嵌入（例如在 SQuAD 上，LLaMA-2-7B 提升了超过 0.2 的 ROC-AUC）。
  - 头数量：方法对头数量不敏感， $N_{max}=6$ 为最优选择。
  - 探针集大小：方法对探针集大小不敏感，即使使用较小的数据集也能保持高质量。

5. 意义与结论 (Significance & Conclusion)

理论意义：揭示了 LLM 潜在空间中幻觉生成的几何特征，即幻觉会导致响应分布相对于提示词分布发生显著偏移。
实用价值：
- 高效性：仅需单次生成（Single generation），无需像一致性方法那样多次生成，计算成本低。
- 通用性：无需外部知识库，适用于各种 RAG 系统。
- 无监督潜力：通过 NLI 迁移，解决了幻觉标注数据稀缺的痛点，使得该方法可广泛应用于缺乏标注数据的实际场景。
总结：该论文提出了一种简单但强大的几何方法，通过统计潜在表示的分布差异来检测幻觉。结合注意力头选择和野自举技术，该方法在精度、稳定性和无监督适应性方面均表现出色，为 RAG 系统中的幻觉检测提供了新的解决方案。