💬 NLP

Detecting Hallucinations for Large Language Model-based Knowledge Graph Reasoning

本文介绍了 LUCID，一种针对基于大语言模型的知识图谱推理的新型幻觉检测方法，该方法通过利用图神经网络联合结合 LLM 注意力分数、语义相似度和结构图信息，实现了最先进的性能。

原作者： Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyan Zhu, Yaoqi Liu, Yue Gao, Huadong Ma, Cheng Yang, Chuan Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名非常聪明、博学多才的助手（即大语言模型，简称 LLM）来回答一个复杂的问题。为了确保你的助手不会信口开河，你给了他们一个巨大的、组织有序的资料档案柜，里面装满了事实，这个档案柜被称为知识图谱（Knowledge Graph, KG）。你告诉助手：“去这些特定的文件夹里找，然后告诉我你发现了什么。”

问题在于，即使面前摆着这个档案柜，你的助手有时还是会分心、白日做梦，或者自信满满地编造一个档案柜里根本没有的事实。这被称为幻觉（Hallucination）。在现实世界中，如果你的助手是在帮助医生或律师，编造事实可能会导致灾难性的后果。

你提供的论文介绍了一个名为 LUCID 的新工具（其名称代表 halLUcination deteCtIon method for LLM-based knowleDge graph reasoning，即针对基于 LLM 的知识图谱推理的幻觉检测方法）。你可以把 LUCID 想象成一个超级敏锐的保安，他在助手工作时进行监视。

以下是 LUCID 的工作原理，通过简单的类比进行了拆解：

1. 问题所在：“白日做梦”的助手

作者发现，即使助手面前有正确的事实，他们仍会在 29.65% 的情况下编造答案。

示例： 想象档案柜上清楚地写着：“PLS 公司赞助了 'MarketMakers'”。但助手看到了一个名字听起来很像的文件夹——“Dealmakers Expo”，于是自信地说道：“PLS 公司赞助了 Dealmakers Expo。”助手之所以产生幻觉，是因为他选择了听起来正确的词，而不是实际存在的那个词。

2. 解决方案：三层安保系统 (LUCID)

之前的保安只观察两件事：

“内部状态”保安： 助手看起来是否紧张或不确定？（这忽略了助手可能会“自信地犯错”这一事实）。
“文本匹配”保安： 答案是否与档案柜中的文字相符？（这忽略了事实的“结构”）。

LUCID 则不同。 它像是一个拥有三只眼睛的保安，同时检查三个特定的维度：

第一只眼：“注意力”追踪器 (LLM Attention)
想象助手手里拿着一个激光笔。LUCID 会观察助手在书写答案时，激光笔正对着哪里。
- 诀窍： 如果助手正在谈论 “PLS 公司”，但他们的激光笔却悬停在错误的文件夹（“Dealmakers”）上，而不是正确的文件夹（“MarketMakers”）上，LUCID 就会知道出问题了。它能精确测量出助手实际上是在“看”档案柜的哪些部分。
第二只眼：“语义”检查器 (KG Semantics)
这只眼睛检查助手使用的词汇在问题的语境下是否合乎逻辑。这就像是一个翻译官在检查两个事实之间的关系是否合理。
第三只眼：“地图”阅读器 (KG Structure)
这是最重要的部分。档案柜不仅仅是一份清单，它是一个连接的网络。LUCID 会观察这些连接的形状。
- 类比： 如果事实之间的连接像一张蜘蛛网，LUCID 会检查助手是否遵循了这张网的路径。如果助手得出的结论破坏了这张网的模式，LUCID 会立即察觉。

3. 它如何学习 (训练)

LUCID 并非靠猜测，它是基于图神经网络 (Graph Neural Network, GNN) 进行训练的。

这可以理解为一个研究过无数案例的侦探，他见过无数次助手答对的情况，也见过无数次助手答错的情况。
这个侦探学会了识别幻觉的特定“模式”：当激光笔指向错误的文件夹、含义略有偏差且事实之网发生断裂时，就是幻觉。
训练完成后，LUCID 可以观察一个新答案并判断：“这个答案有 80% 的概率是幻觉。”

4. 结果：保安立功了

作者使用九个不同的数据集（不同类型的档案柜和问题），将 LUCID 与 15 种其他的保安（现有方法）进行了对比测试。

得分： LUCID 每次都赢了，击败了所有其他方法。它是最擅长识破“白日做梦”的工具。
实际应用中的优势： 论文展示了一个利用 LUCID 节省成本的巧妙技巧。
- 假设你有一个便宜、快速的助手（Qwen2.5-7B）和一个昂贵、极其聪明的助手（Qwen3-235B）。
- 你让便宜的助手完成所有的工作。
- LUCID 会监视这个便宜的助手。如果 LUCID 说：“嘿，这个答案看起来像是幻觉！”你就只将这一个特定问题发送给昂贵的助手进行复核。
- 结果： 你几乎可以获得与全程使用昂贵助手相当的准确度，但因为你只在真正需要“专家复核”时才调用他们，所以你节省了 55% 的费用。

总结

简而言之，这篇论文指出：“LLM 在使用知识图谱方面表现出色，但有时仍会撒谎。我们开发了 LUCID，一个通过观察 AI 如何‘看’事实、这些事实的‘含义’以及它们是如何‘连接’的工具。通过结合这三个视角，LUCID 比我们现有的任何工具都能更好地捕捉谎言，它甚至能通过仅在‘新手’即将犯错时才召唤‘专家’，来帮助我们节省资金。”

技术摘要：LUCID —— 检测基于 LLM 的知识图谱推理中的幻觉

1. 问题陈述

虽然集成知识图谱（KG）的大语言模型（LLM）已推动了问答（QA）和决策支持等推理任务的发展，但它们仍然容易受到幻觉的影响。即使在提示词中加入了相关的 KG 三元组，LLM 仍可能生成与检索到的证据相矛盾的事实错误响应。

现有的幻觉检测方法在该特定领域面临显著局限性：

通用方法（如 EigenScore、Perplexity）侧重于 LLM 内部状态，却忽略了外部 KG 上下文。
针对 RAG 的方法（如 RAGAs、Trulens）验证响应与检索文本之间的一致性，却忽视了 KG 固有的结构信息。
差距： 目前尚无方法能同时利用 LLM 内部注意力、KG 语义以及 KG 结构拓扑来检测 LLM-KG 推理框架中的幻觉。

作者通过对三个数据集（GrailQA、WebQSP、QALD-10）中三种框架（Readi、ToG、StructGPT）的响应进行人工标注，量化了这一问题，揭示了平均幻觉率为 29.65%。

2. 方法论：LUCID

论文提出了 LUCID（用于 LLM 知识图谱推理的幻觉检测方法），这是首个专门为该场景设计的检测方法。LUCID 通过将三种不同的信息源融合到图神经网络（GNN）中，来预测幻觉概率。

2.1 特征提取

该方法通过三个阶段处理 LLM 与检索到的 KG 子图（ $G = (V, E)$ ）之间的交互：

LLM 内部状态信息（注意力分数）：
- 模型在生成响应期间，从 LLM 的多层、多头架构中提取注意力分数。
- 计算每个响应 Token 在所有对应于 KG 节点（实体）和边（关系）的 Token 上的平均注意力分数。
- 这些分数被聚合为两个平均注意力矩阵： $M_e$ （针对节点）和 $M_r$ （针对边），涵盖所有层和头。
KG 语义信息：
- 为了区分任务相关与任务无关的边，该方法计算了查询（Query）与 KG 中关系（边）之间的语义相似度。
- 使用预训练语言模型（all-MiniLM-L6-v2）为查询和关系生成嵌入（embeddings）。
- 计算余弦相似度分数 $s(r, Q)$ 。注：语义相关性是针对关系而非实体计算的，因为实体的表面形式往往具有歧义性。
特征构建：
- 节点特征 ( $x_e$ )： 通过展平节点注意力矩阵 $M_e$ 形成。
- 边特征 ( $x_r$ )： 通过将展平的边注意力矩阵 $M_r$ 与语义相似度分数 $s(r, Q)$ 进行拼接而成。

2.2 检测模型 (GNN)

增强后的子图配备了构建好的节点和边特征，并被输入到 带有边特征的图同构网络（GINE） 中。
选择 GINE 而非标准 GIN 是因为它在消息传递机制中显式地纳入了边特征，使其能够利用 KG 丰富的结构和语义属性。
GNN 通过 $K$ 层消息传递聚合图信息。通过对节点特征求和获得图级表示，随后将其传递至分类器（MLP + Sigmoid）以输出幻觉概率。
检测阈值通过在 ROC 曲线上最大化灵敏度（Sensitivity）和特异度（Specificity）的几何平均值来确定。

3. 核心贡献

问题识别与基准测试： 作者首次系统地识别并量化了基于 LLM 的 KG 推理框架中的幻觉问题。他们构建了跨三个框架和三个 QA 数据集的人工标注基准数据集，确立了 29.65% 的基准幻觉率。
创新方法 (LUCID)： 他们提出了 LUCID，这是一个独特地集成了以下内容的检测框架：
- LLM 内部状态（注意力机制）。
- KG 语义信息（关系-查询相似度）。
- KG 结构信息（图拓扑）。
达到最先进水平（SOTA）的性能： 大量实验表明，LUCID 在所有测试的框架和数据集上均优于 15 种基准方法（包括通用检测方法和 RAG 特定工具）。
实际应用价值： 论文证明了 LUCID 的幻觉概率可用于优化 QA 策略，在保持高准确度的同时显著降低推理成本。

4. 实验结果

实验在 GrailQA、WebQSP 和 QALD-10 上针对三种推理框架（Readi、ToG、StructGPT）进行。

性能： LUCID 在所有数据集上均达到了 SOTA 性能。
- 平均而言，在综合指标（ACC、AUC、PCC 的平均值）方面，它分别比表现最好的基准方法 SelfCheckGPT 高出 6.76%，比 REDEEP (chunk) 高出 5.48%。
- 在 Readi 框架上增益最显著（平均提升 +2.81%），这归功于 Readi 更密集的 KG 子图更契合 LUCID 的消息传递机制。
- 在 WebQSP 上，LUCID 实现了 +2.57% 的平均增益，有效处理了幻觉常源于错误关系选择的关系中心型问题。
成本效益应用： 测试了一种“混合”策略，即由 Qwen2.5-7B 生成初始答案，再由 LUCID 标记高概率幻觉，交由更大的模型（Qwen3-235B）重新生成。
- 该方法实现的准确度与完全使用大模型的方案相当（差距仅为 1.18%）。
- 与仅使用大模型相比，其经济成本平均降低了 55.4%。
消融实验：
- 特征： 移除语义相似度或用随机/隐藏层分数替换注意力矩阵会导致性能显著下降，证实了注意力信号和语义信号的必要性。
- 模型架构： GINE 的表现优于 GCN、GAT 和 MLP，验证了显式建模边特征和图拓扑的重要性。
- 超参数： 通过 2 层 GINE、512 个隐藏通道和 $1 \times 10^{-3}$ 的学习率达到了最优性能。

5. 重要性与主张

论文声称 LUCID 解决了 LLM 知识图谱推理可靠性的关键空白。通过超越表层的一致性检查，转而分析 LLM 注意力与 KG 之间的结构与语义对齐，LUCID 提供了一种更稳健的误导信息检测机制。

作者将 LUCID 定位为不仅是一个检测工具，更是提升下游应用的基础组件。过滤幻觉的能力可以实现：

更可靠的决策支持和自动化知识发现。
高性价比的部署策略（使用小模型结合选择性精炼）。
作为未来改进 LLM-KG 集成的必要基础。

研究结论指出，尽管 LUCID 非常有效，但未来的工作将侧重于细粒度的幻觉归因以提高可解释性，并将评估扩展到多语言和跨领域环境。