💬 NLP

KGCaRe: Explainable Complex Conditional Question Answering using Automatic Knowledge Graph Construction and Context Retrieval with LLMs

本文介绍了 KGCaRe，这是一个通过结合神经检索与由大语言模型驱动的自动知识图谱构建及迭代图遍历来增强复杂条件问答的混合框架，证明了其在多个模型和数据集上均优于现有基准模型的卓越性能。

原作者： Ghanshyam Verma, Simanta Sarkar, Devishree Pillai, Hotaka Shiokawa, Yourong Xu, Fiona Veazey, Peter Hubbert, Hui Su, Paul Buitelaar

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ghanshyam Verma, Simanta Sarkar, Devishree Pillai, Hotaka Shiokawa, Yourong Xu, Fiona Veazey, Peter Hubbert, Hui Su, Paul Buitelaar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个巨大的、多层级的谜团，比如弄清楚为什么游戏中的某个角色可以或不可以购买某个特定物品。你拥有一个庞大的规则手册库（文档）和一个巨大的、杂乱的线索笔记本（知识图谱）。如果你只是让一个超级聪明的机器人（AI）去阅读整个图书馆并猜测答案，它可能会感到困惑，可能会漏掉埋在第400页的一个微小规则，或者编造一个听起来很有道理但并非事实的理由。这就是计算机“问答系统”（Question Answering）的世界。科学家们正试图教会这些机器人变得更加出色，尤其是面对那些充满“如果这样，那么那样”的条件，并且需要跨越不同页面来连接线索的复杂问题时。这篇论文通过赋予机器人两种超能力来解决这个问题：一种是像人类一样阅读杂乱文本的能力，另一种是像计算机一样遵循严格逻辑事实地图的能力。

这项研究背后的研究人员 Ghanshyam Verma 及其团队注意到，虽然 AI 擅长聊天，但在面对依赖于特定条件的复杂问题（如法律规则或政策细节）时，它经常会跌跤。为了解决这个问题，他们构建了一个名为 KGCaRe 的新系统。把 KGCaRe 想象成一名不仅阅读案卷，还会随着调查过程同步构建物理线索图的侦探。KGCaRe 不仅仅是要求 AI 从一堆文本中“猜测”答案，它首先利用 AI 将文档转化为一个结构化的“知识图谱”——一个连接在一起的事实网络（例如：“申请人” → “必须提交” → “表格”）。然后，它使用第二种方法来寻找可能尚未包含在地图中的相关文本片段。

以下是神奇之处是如何发生的：当提出一个问题时，KGCaRe 并不会停步并直接给出答案。它开始在事实网络中一步步地行走。如果第一步没有提供足够的信息，AI 就会像一个好奇的探险家一样，追问：“好吧，还有谁参与其中？我还应该寻找什么？”它利用这些新的线索跳转到地图的下一个部分。如果它仍然无法解开谜团，它就会从原始文档中抓取相关的文本来填补空白。最后，它将它在地图上行走的逻辑路径与找到的文本结合起来，给出一个不仅正确而且带有清晰解释（说明它是如何得出结论的）的答案。

团队在两个具有挑战性的数据集上测试了这个系统：一个包含复杂的英国政策问题，另一个是基于维基百科的谜题。他们让 KGCaRe 与其他方法进行对决，包括仅仅进行猜测的 AI、仅阅读文本的 AI，以及仅遵循图谱的 AI。结果显而易见：KGCaRe 始终胜出。无论他们使用的是较小的开源 AI 还是像 GPT-4o 这样强大的 AI，这种结合了地图与文本的混合方法都带来了更好的答案，尤其是在处理那些棘手的“如果-那么”类问题时。例如，在英国政策数据集中，KGCaRe 达到了 57.89 的平均分，以显著优势击败了排名第二的方法。论文表明，通过赋予 AI 结构化地图和阅读原始文本的自由，我们可以让它们在解决现实世界的谜题时表现得更好，因为在这些谜题中，错过一个单一的条件就可能改变整个答案。最棒的部分在于，由于该系统记录了它在地图上走的每一步，它可以向你展示它是如何得出结论的，使 AI 的思考过程透明且值得信赖。

技术摘要：KGCaRe

问题陈述

使用大语言模型（LLM）和检索增强生成（RAG）回答复杂的条件性问题仍然是一个重大挑战，尤其是在特定领域背景下。通用大语言模型在处理涉及条件逻辑或需要跨专业内容进行推理的输入时，性能往往会下降。这种性能下降归因于缺乏在专业语料库上的微调，以及在上下文不足时容易产生幻觉。条件性问题对缺失或隐性约束非常敏感；模型必须同时感知查询本身以及该答案有效的特定条件。现有的解决方案，如依赖关键词或相似度搜索的标准 RAG，或纯符号知识图谱（KG）方法，往往无法检索关键的逻辑依赖关系，或在面对稀疏图连通性时表现挣扎。

方法论：KGCaRe

作者提出了 KGCaRe（基于知识图谱上下文感知的复杂问答推理），这是一种将基于 LLM 生成的知识图谱的符号推理与来自向量库的神经检索相结合的混合方法。该系统通过以下组件运行：

1. 自动知识图谱构建

KGCaRe 使用多提示词 LLM 提取策略从非结构化文档中构建知识图谱，并存储在 Neo4j 数据库中。该过程包含四个递进阶段：

阶段 1（上下文理解）： 提取初始实体和关系，强调时间、因果、程序和条件结构。
阶段 2（条件扩展）： 专注于条件逻辑、异常情况和“如果-那么”结构，以捕捉监管细微差别和分支决策逻辑。
阶段 3（精炼与逻辑扩展）： 验证完整性，并利用传递或隐含逻辑来推导新的三元组（例如，推导出如果父母可以将权利委托给法院，那么监护人也可以将权利委托给法院）。
阶段 4（规范化）： 将三元组格式化并导入图数据库。

2. 语义向量索引

与此同时，文档通过 LLM 驱动的嵌入器被嵌入到高维向量中，并存储在 FAISS 索引中。这实现了快速的近似最近邻搜索，以便根据与用户查询的语义相似度检索相关的文本段落。

3. 迭代图遍历（符号推理）

核心推理机制是 LLM 引导的迭代图遍历（算法 1）：

初始化： 从问题中提取主题实体（ $E_{topic}$ ）以锚定遍历过程。
深度受限搜索： 系统在最大深度 $D$ $D$ 内进行图遍历。
- 深度 1： 使用部分匹配（包括子词匹配）进行广泛探索。
- 后续深度： 使用精确匹配进行聚焦推理。
线索实体机制： 如果初始遍历产生的上下文不足，则会提示 LLM 生成“线索实体”（ $E_{clue}$ ）以引导进一步的遍历，这受到了 Tree-of-Traversal 方法的启发。
剪枝： LLM 驱动的函数（$PruneTriples$）过滤提取的三元组，仅保留对特定问题有上下文价值的三元组。
终止： 如果收集到足够的上下文以回答问题，或者未发现新的线索/三元组，则停止过程。

4. 融合答案生成

最终答案通过向 LLM 输入自定义提示词来生成。该提示词综合了：

符号上下文： 来自 KG 的精选三元组和遍历路径。
神经上下文： 来自向量库的排名靠前的文本段落。
提示词明确指示模型结合这两个来源的证据，并说明该答案成立的任何条件，从而确保输出既准确又具有可解释性。

核心贡献

端到端流水线： 设计并实现了一个自动化流水线，利用多提示词 LLM 三元组提取方法，从长篇复杂文档中构建知识图谱。
混合架构： 引入了 KGCaRe，它独特地结合了符号 KG 检索与基于向量的语义搜索，以解决复杂的条件性问答问题。

实证验证： 证明了 KGCaRe 在多种 LLM（Mistral, Mixtral, GPT-3.5, GPT-4o）上，在多个基准测试中均优于各种基准模型（Vanilla LLM, Code Prompt, Text Prompt, Think-on-Graph, Vanilla RAG, 以及 HybridContextQA）。

可复现性： 公开发布了软件流水线及相关的提示词。

实验结果

作者在两个数据集上评估了 KGCaRe：ConditionalQA（包含复杂条件约束的英国政策文件）和 HotpotQA（基于维基百科的多跳问题）。

性能： KGCaRe 在所有答案类型（是/否、片段、条件）以及所有测试的 LLM 中，始终取得了最高的平均 F1 分数。
- 在使用 Mistral 处理 ConditionalQA 时，KGCaRe 达到了 57.89 的 F1 分数，显著优于 Vanilla RAG (40.12) 和 HybridContextQA (45.17)。
- 在使用 GPT-4o 处理 HotpotQA 时，KGCaRe 达到了 80.21 的 F1 分数，在大多数类别中超过了 HybridContextQA (73.37)，尽管两者在“是/否”类别中的 F1 分数相近。
条件推理： 该方法在“条件”类别中表现尤为出色，该类别要求进行多跳推理并处理隐性约束。
消融研究： 在分析 106 个具有单一确定答案的“是/否”问题时，KGCaRe 在包括 GPT-4o 在内的高容量模型上均保持了对基准模型的领先地位（88.67 对比 Text Prompt 的 85.85）。
基准对比： 纯 KG 方法（Think-on-Graph）表现较差，通常无法从稀疏图中检索到必要的上下文。纯 RAG 方法表现较好，但缺乏混合模型的结构化推理能力。

意义与主张

论文声称，KGCaRe 验证了这样一个假设：由符号（结构化）和神经（非结构化）表示组成的混合上下文可以提高复杂条件性问答任务的性能。该工作的意义在于其能够：

增强可解释性： 通过维护显式的推理轨迹（遍历路径和剪枝后的三元组），系统可以为答案提供人类可理解的解释，这是法律和公共政策等高风险领域至关重要的特性。
克服稀疏图的局限性： 与仅依赖密集图连通性的方法不同，KGCaRe 利用语义检索的文本来补充稀疏的 KG，从而即使在 KG 不完整的情况下也能实现鲁棒的推理。
跨模型泛化： 该方法证明了无论底层 LLM 的能力如何（从开源模型 Mistral 到闭源模型 GPT-4o），都能实现持续的性能提升。

作者得出结论，该框架为在对答案忠实度和可追溯性要求极高的专业领域中，提供了一种更精确、更透明的问答系统路径。