💬 NLP

RAS: Retrieval-And-Structuring for Knowledge-Intensive LLM Generation

本文提出了检索与构建（Retrieval-And-Structuring, RAS）框架，该框架通过迭代式检索和结构化知识构建来动态构建特定问题的知识图谱，从而显著提升大语言模型在知识密集型任务上的多步推理性能。

原作者： Pengcheng Jiang, Lang Cao, Ruike Zhu, Minhao Jiang, Yunyi Zhang, Jiaming Shen, Jimeng Sun, Jiawei Han

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengcheng Jiang, Lang Cao, Ruike Zhu, Minhao Jiang, Yunyi Zhang, Jiaming Shen, Jimeng Sun, Jiawei Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个非常棘手的谜团，比如弄清楚一位著名的科学家在结婚后究竟信仰什么宗教。你手头有一个巨大的图书馆（互联网）可以利用，但你无法读完每一页。

现有方法的问题
现在的多数 AI 助手的工作方式就像是一个被递给一叠随机纸张的学生。他们被告知：“这里有五份关于这位科学家的文档；请写出一个答案。”这个学生必须阅读这些杂乱、无序的纸张，尝试在脑海中把这些点连接起来，并祈祷自己不会凭空捏造（这被称为“幻觉”问题）。如果这些纸张相互矛盾或者难以理解，学生就会感到困惑，并给出错误或不确定的答案。

新解决方案：RAS（检索与结构化）
这篇论文介绍了一种名为 RAS 的新框架。请不要把 RAS 看作是一个阅读一叠纸张的学生，而要把它看作是一个正在建立案卷的侦探。

以下是 RAS 如何运作的步骤，使用我们的侦探类比：

侦探的计划 (Planning)：
与其只是随机抓取纸张，侦探首先会问：“我现在到底需要知道什么？”
- 如果 AI 已经知道了答案，它就会停止并撰写报告。
- 如果它不知道，它会创建一个具体的、有针对性的问题（“子查询”）来寻找拼图缺失的部分。这就像是在说：“我知道他娶了谁，但我不知道他们的信仰是什么。让我们专门搜索他们的宗教观点。”
收集证据并进行整理 (Retrieval & Structuring)：
侦探前往图书馆，找到能回答那个特定问题的具体页面，然后做了一件至关重要的事情：他们不仅仅是阅读页面，而是将事实转化为一张地图。
- RAS 不再将信息保留为冗长、混乱的段落，而是将信息分解为简单、清晰的事实：主体（玛丽·居里） -> 关系（信仰） -> 客体（不可知论）。
- 他们将这些事实画在一块白板上（“知识图谱”）。如果它稍后发现了新的事实，它会将该事实添加到地图中，将其与之前的已知事实连接起来。这创造了一个针对这个特定谜团的、不断增长且有组织的真相网络。
破案 (Answering)：
最后，侦探观察完成后的地图。因为信息组织得逻辑清晰且明确，AI 可以看到全貌而不会迷失在噪音中。它仅根据地图上清晰的连接关系来撰写最终答案。

为什么这更好？

不再有“脑雾”： 旧的方法强迫 AI 去猜测事实是如何连接的。RAS 则显式地构建这些连接，就像画线在地图上一样。
不再浪费时间： 它不会阅读整个图书馆。它只寻找它需要的东西，然后进行组织。
更少的错误： 通过将杂乱的文本转化为结构化的事实，AI 就不太容易凭空捏造。

结果
作者在七种不同类型的困难知识任务（例如回答复杂的科学问题或编写长篇、详细的解释）上测试了这个“侦探”。

当使用开源 AI 模型时，RAS 将准确率提高了约 7%。
当使用强大的、付费的（专有）AI 模型时，准确率提高了约 8.7%。

底线
RAS 改变了 AI 处理知识的方式。它不再淹没在无序文本的海洋中，而是作为一个聪明的组织者，为被问到的每一个问题构建一张定制的、基于事实的地图。这使得 AI 更聪明、更准确，并且在处理复杂问题时的推理能力更强。

技术摘要：用于知识密集型 LLM 生成的 RAS（检索与结构化）框架

问题陈述

大语言模型（LLMs）在知识密集型任务中展现了令人印象深刻的能力，但在多步推理方面经常遇到困难。这种局限性很大程度上源于标准检索增强生成（RAG）框架中检索上下文的非结构化特性。虽然 RAG 提供了外部信息，但检索到的段落之间缺乏显式的组织，迫使模型必须隐式地弥补逻辑空白，这往往导致推理路径脆弱且容易产生幻觉。

现有的将知识图谱（KGs）与 LLMs 集成的尝试通常依赖于静态的、全语料库范围的图谱。这些方法面临两个显著的局限性：

高成本： 构建和维护全局知识图谱（例如维基百科）需要数百万次 LLM 调用和大量的资金投入。
歧义性： 全局图谱往往混合了来自冲突文档的证据，产生了模糊或矛盾的关系，从而掩盖了与用户查询相关的特定上下文。

因此，需要一种能够根据特定查询动态构建特定知识结构的系统，以便在无需承担高昂离线索引成本的情况下，实现更具解释性和鲁棒性的推理。

方法论：RAS 框架

作者提出了 Retrieval-And-Structuring (RAS)，这是一个通过迭代检索和结构化知识构建，动态构建特定于问题的知识图谱的框架。RAS 通过交织针对性的检索规划与增量式图谱构建，使得模型能够组装并基于为每个查询量身定制的演进式知识结构进行推理。

该框架通过三个主要阶段运行：

1. 知识感知规划

过程由一个规划模块启动并控制，该模块动态评估当前的知识状态。

初始规划： 给定输入查询 $Q$ ，模型确定该查询可以直接回答（[NO_RETRIEVAL]）还是需要检索。如果需要检索，主问题将作为初始子查询 ( $q_0$ )。
迭代规划： 在每次迭代 $i$ $i$ ，模型分析累积的知识图谱 $G_i$ $G_{i}$ 以及子查询和提取的三元组的历史记录。它决定是：
- 生成一个新的聚焦子查询 ( $q_{i+1}$ ) 以填补特定的知识空白（[SUBQ]）。
- 如果累积的知识已足够，则终止检索（[SUFFICIENT]）。

2. 文本检索与结构化

一旦生成了子查询，系统就会执行检索与结构化流水线：

检索： 稠密检索器为子查询获取前 $k$ 个语义相关的段落 ( $t_i$ )。
文本到三元组转换： 一个专门的模型 ( $f_{t2t}$ ) 将检索到的文本转换为结构化的事实三元组（主语-谓语-宾语）。该模型在 WikiOfGraph 数据集上进行了训练。
图构建： 提取的三元组被转换为具有节点和边语义嵌入的图结构 $g'_i$ 。
迭代富集： 新的图 $g'_i$ 被合并到一个演进中的、针对特定问题的知识图谱 $G_Q$ 中。该图通过迭代增长，累积与主查询相关的证据。

3. 知识增强回答

当规划模块发出知识已充分的信号时，模型生成最终答案。

如果不需要检索，则直接从查询生成答案。
否则，答案是在编码后的特定问题知识图谱 ( $G_Q$ ) 以及子查询链及其关联图信息的条件下生成的。模型通过关注这些结构化上下文来产生准确、连贯的输出。

训练策略

RAS 采用了 结构感知多任务学习 方法。一个统一的图 LLM 被训练来同时执行规划和回答任务，并使用参数高效的微调策略（LoRA）。训练数据 HotpotQA-SUBQ 通过过滤 HotpotQA 文档、为每个支持文档生成子查询，并使用适当的规划动作（[SUBQ]、[SUFFICIENT] 或 [NO_RETRIEVAL]）或最终答案进行标注来构建。

核心贡献

RAS 框架： 提出了一种通过迭代检索和结构化动态构建特定问题知识图谱的框架，避免了全局知识图谱的高昂成本和噪声。
统一模型架构： 设计了一个统一的图 LLM，能够共同进行检索规划并基于演进中的知识图谱生成答案，并利用多任务学习设置。
实证验证： 在七个不同的基准测试中展示了持续的性能提升，证明了动态结构化可以提高推理的准确性和鲁棒性。

实验结果

作者在涵盖开放域问答（TriviaQA, PopQA, 2WikiMultihopQA）、闭集任务（PubHealth, ARC-Challenge）和长文本生成（ASYA, ELI5）的七个基准测试上评估了 RAS。

性能提升： RAS 始终优于强有力的基线模型，包括 Self-RAG、RPG 和 SuRe。
- 使用 开源 LLM（LLaMA-2-7B/LLaMA-3-8B）时，RAS 相比基线实现了高达 7.0% 的提升。
- 使用 商业模型（Claude-3.5-Sonnet）时，RAS 实现了高达 8.7% 的提升。
消融实验：
- 迭代规划： 移除规划模块（退回到单次检索）会导致性能大幅下降，凸显了动态确定检索需求的必要性。
- 图构建： 移除文本到三元组转换或图编码器会导致性能显著退化，证实了结构化知识表示的价值。
- 训练策略： 联合多任务训练和使用 LoRA 被发现对于实现最优性能至关重要。
效率： 与需要昂贵离线索引的静态图方法（例如 GraphRAG，维基百科规模估计为 8.5 万至 50 万美元）不同，RAS 通过在推理时动态构建图，从而产生的离线成本几乎可以忽略不计。

意义与主张

论文声称，动态的、特定于问题的知识结构化 为提高语言模型生成的推理准确性和鲁棒性提供了一条稳健的路径。通过将检索到的知识显式地组织成演进中的图，RAS 减轻了与非结构化上下文相关的幻觉风险以及全局知识图谱的低效问题。

作者强调，他们的方法符合解释性研究的观点，即 LLM 的失败通常源于破碎的隐式推理链。通过利用结构化中间推理使这些链条显式化，RAS 为知识密集型任务提供了一个透明且可扩展的解决方案。该框架被呈现为一种通用的开放域问答方法，而非仅限于特定的知识图谱问答（KGQA）任务。