💬 NLP

Retrieval-Augmented Generation for Natural Language Processing: A Survey

本文对自然语言处理中的检索增强生成（RAG）进行了系统性综述，提出了一种新颖的检索融合方法分类体系，分析了应用与评估挑战，并概述了工业部署的未来方向。

原作者： Shangyu Wu, Ying Xiong, Yufei Cui, Haolun Wu, Can Chen, Ye Yuan, Lianming Huang, Xue Liu, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shangyu Wu, Ying Xiong, Yufei Cui, Haolun Wu, Can Chen, Ye Yuan, Lianming Huang, Xue Liu, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《自然语言处理中的检索增强生成：综述》的解释。

宏观图景：“聪明学生”与“图书馆”

想象一位非常聪明的学生（即大语言模型或LLM），他读过数百万本书，并记忆了海量信息。这位学生擅长写文章和回答问题，因为他拥有庞大的内部记忆。

然而，这位学生面临三个大问题：

幻觉：有时，当他们不知道答案时，为了显得乐于助人，他们会自信地编造内容。
知识过时：一旦学生毕业并停止学习，他们就不了解昨天的新闻或新的科学发现。若要学习这些内容，学生必须重返校园并重新学习一切（这既昂贵又缓慢）。
专业领域知识：如果你询问学生关于非常具体的医疗程序或公司内部规则，他们可能不知道，因为他们只记忆了通用知识。

解决方案：RAG（检索增强生成）
这篇论文介绍了RAG，它是一个赋予学生私人图书管理员和最新书籍图书馆的系统。

学生不再仅依赖脑海中的内容，而是询问图书管理员：“请在图书馆中找到能回答这个问题的具体页面。”图书管理员找到相关页面，将其交给学生，学生则仅根据这些页面撰写答案。

这篇论文是一篇综述，意味着它是一本巨大的指南书，描绘了工程师们构建这种“学生 + 图书管理员”系统的所有不同方式。

第一部分：系统的三个主要组成部分

论文将系统分解为三个主要角色：

1. 图书管理员（检索器）

在学生能够回答问题之前，图书管理员需要找到正确的书籍。

分块：图书管理员不会递上整本百科全书。他们将书籍切割成小的、易于管理的“块”（如单个段落），以免学生感到不知所措。
编码：图书管理员将这些文本块翻译成秘密代码（向量），以便快速比较。
搜索：当你提出问题时，图书管理员使用超快的搜索引擎（称为ANN）来找到与你问题最匹配的前 5 或 10 个块。

2. 融合（交接）

这是论文中最技术性的部分。一旦图书管理员找到页面，学生如何阅读它们？论文将此分为四种“交接”风格：

基于查询的（便利贴）：图书管理员将找到的文本直接粘贴在学生的问卷上。学生阅读全部内容并作答。（简单，但如果文本太长，问卷会变得过大。）
基于 logits 的（投票系统）：学生先仅阅读问题并写出答案。然后，学生仅阅读找到的页面并写出另一个答案。最后，系统将这两个答案像投票一样混合在一起，以获得最佳结果。
潜在融合（耳语）：图书管理员在学生思考的同时，将找到的页面的关键思想“耳语”进学生的耳朵。学生看不到文本，但他们能“感受”到信息，并利用它来塑造答案。
参数融合（临时眼镜）：图书管理员给学生一副特殊的眼镜（称为LoRA），这副眼镜会暂时改变学生看待世界的方式。学生戴上眼镜回答问题，然后摘下并收好。学生的头脑不会永久改变，但在佩戴眼镜期间，他们可以完美地回答特定问题。

3. 学生（生成器）

这是实际撰写答案的 AI 模型。论文讨论了是使用“黑盒”学生（如 GPT-4，你无法窥探其内部）还是“开卷”学生（如 Llama，你可以调整其大脑）。它还解释了有些学生比其他学生更擅长阅读长长的笔记列表。

第二部分：如何测试其效果（评估）

论文指出，测试该系统颇具挑战性。你不能仅仅问：“答案对吗？”

检索质量：图书管理员是否找到了正确的页面？（如果你问的是“苹果公司”，而图书管理员带来了一页关于“苹果水果”的内容，系统就会失败。）
忠实度：学生是否真的使用了图书管理员提供的页面，还是仅仅编造了内容？
鲁棒性：如果图书管理员带来了一页错误或令人困惑的内容，会发生什么？学生能否说“我不知道”，而不是撒谎？

论文指出，当前的测试往往过于简单（例如使用维基百科），并未测试现实世界的场景，如私人公司数据或快速变化的新闻。

第三部分：现实世界的挑战与未来

论文探讨了当你尝试在真实公司或应用程序中使用该系统时会发生什么：

安全性：如果图书馆（数据库）被黑客入侵，或者有人将假书放入其中，学生就会开始提供虚假答案。论文警告说，图书馆本身已成为黑客攻击的新场所。
速度：阅读图书馆需要时间。如果图书管理员必须搜索十亿本书，学生就必须等待。论文讨论了如何在保持准确性的同时加快搜索速度。
“长上下文”之争：新一代学生正在被构建，他们可以在脑海中同时容纳整个图书馆（长上下文 LLM）。论文问道：“我们还需要图书管理员吗？”
- 答案：需要。即使学生能容纳一百万页，他们也可能被所有噪音搞糊涂。仍然需要图书管理员来找到唯一相关的那一页，从而节省时间和金钱。
GraphRAG：想象一下，图书管理员不再仅仅寻找文本块，而是将图书馆组织成像家谱或连接地图（图）一样的结构。这有助于学生理解事实之间复杂的联系，例如某个人与某个特定事件是如何关联的。

总结

这篇论文是检索增强生成（RAG） 领域的全方位地图。它告诉我们，虽然 AI 模型很聪明，但它们需要一个“图书馆”来保持准确、及时和诚实。论文详细说明了如何构建该图书馆、如何将书籍交给 AI、如何测试系统是否有效，以及我们在为现实世界构建这些系统时需要警惕哪些安全风险。

技术综述：自然语言处理中的检索增强生成：一项调查

问题陈述

大型语言模型（LLM）通过在参数中隐式存储知识，取得了显著的实证成功。然而，这种参数化记忆方法面临三个关键局限性：

幻觉：LLM 经常生成连贯但事实错误的回答。
知识陈旧：更新 LLM 的内部知识需要昂贵的重新训练或微调，使得融入实时或快速演变的信息变得困难。
缺乏领域专业知识：通用 LLM 往往缺乏特定领域所需的专业知识，除非进行大量的数据策划和适配工作。

检索增强生成（RAG）通过为 LLM 配备外部知识库（KB）来解决这些问题。通过在推理时检索相关且基于事实的信息，RAG 将生成过程锚定在可验证的来源上，允许在不重新训练模型的情况下更新知识，并促进特定领域专业知识的整合。

方法论与技术框架

本文对 RAG 系统提供了系统性的端到端分解，分析了三个核心模块：检索器（Retriever）、检索融合（Retrieval Fusions）和生成器（Generator）。

1. 检索器模块

检索器负责从外部知识库中获取相关信息。本文详细阐述了构建和查询检索器的流程：

构建：涉及分块（将文档划分为语义独立的单元）、编码（使用 BERT、Siamese 编码器或基于 LLM 的编码器将文本转换为稀疏或稠密向量嵌入）以及索引（构建近似最近邻（ANN）结构，如 IVFPQ、HNSW 或基于树的索引，以加速搜索）。
查询：涉及对用户查询进行编码，执行 ANN 搜索以识别前 $k$ 个邻居，并应用后处理技术（如重排序）以优化结果。

2. 检索融合

本调查的一项新颖贡献是对检索信息如何与生成器集成的全面分类。本文将融合方法分为四种不同类型，并从可访问性、效率和实现复杂度方面进行比较：

基于查询的融合：最简单的方法，将检索到的文本或特征直接拼接至输入查询。
- 文本拼接：将检索到的文档前置到提示词中（适用于黑盒 LLM）。
- 特征拼接：将编码后的检索嵌入与输入特征合并（需要白盒访问权限，通常还需要微调）。
基于 Logits 的融合：在输出层集成检索信息，通过聚合或校准生成器与检索邻居的 logits（概率分布）。这包括集成方法（如 kNN-LM）和基于校准的方法。
潜在融合：将检索信息注入生成器的隐藏状态。
- 基于注意力：使用交叉注意力模块（如 RETRO）将检索特征整合到模型的潜在空间中。
- 加权相加：将加权检索嵌入添加到隐藏状态中（如 EAE、ReFusion）。
参数融合：将外部知识编码为轻量级的参数更新（如 LoRA 模块），在推理时合并到生成器的权重中。这使得模型能够适应检索到的知识，而无需修改其基础架构或进行完全重新训练。

3. 生成器模块

本文分析了有效 RAG 对生成器的要求，强调需要能够处理长上下文、利用超越简单拼接的检索信息，并提供依据/归因的架构。它将生成器分类为专有（仅限 API）、开源权重的仅解码器模型，以及检索原生/感知模型。

4. 训练范式

本调查区分了两种训练场景：

无知识库更新：知识库保持静态，同时微调检索器和/或生成器（例如，使用梯度下降联合训练检索器和生成器）。
有知识库更新：知识库动态更新（例如，添加新文档或更新嵌入），随后进行训练或推理调整。这利用了 LLM 的上下文学习能力，以适应新数据而无需立即重新训练。

主要贡献

与现有调查相比，本文声称具有以下独特贡献：

面向系统的分解：针对 NLP 的 RAG 端到端分解，包括算法级别的 walkthrough，以及构建和查询检索器的时间与空间复杂度分析。
新颖的融合分类法：对检索融合（基于查询、基于 logits、基于潜在和基于参数）的结构化分类，并比较了它们的可访问性、效率、实现复杂度及适用场景。
训练与更新策略：综合了静态和动态知识库设置下的训练工作流程，将检索器/生成器优化与参数高效的知识注入联系起来。
特定任务分析：全面回顾了 RAG 在各种 NLP 任务（语言建模、机器翻译、摘要、问答、信息抽取、分类、对话）中的应用，详细说明了每种任务的具体技术和失败模式。
评估与部署：介绍了 RAG 特有的评估指标（超越标准 IR 指标），分析了基准测试的局限性（例如，过度依赖维基百科、缺乏时间动态性），并探讨了工业部署的实际考量，包括安全性、隐私和可扩展性。

结果与发现

作为一篇调查论文，其“结果”源于对现有文献的综合，而非新的实验数据。主要发现包括：

融合中的权衡：基于查询的融合为黑盒模型提供了快速部署，但由于输入序列过长，导致高延迟和内存成本。基于参数和基于潜在的融合提供了更高的效率和更好的集成，但需要白盒访问权限以及显著的架构修改或微调。
任务敏感性：不同的 NLP 任务具有独特的失败模式。例如，问答系统对检索质量高度敏感，常遭受“信息缺失幻觉”；而摘要任务则难以应对内容污染和复制偏差。
评估差距：当前的基准测试往往无法区分检索错误和生成错误，缺乏细粒度的诊断能力，并且低估了延迟和成本等操作指标。在评估时间新鲜度和多模态检索方面存在明显差距。
效率与质量：RAG 效率是一个主要瓶颈。虽然减少数据量可以提高速度，但会牺牲质量。系统级优化（如 HNSW、GPU 加速）和高效的融合设计对于生产环境至关重要。

意义与未来方向

本文将自己定位为研究人员和从业者的实用指南，旨在弥合理论 RAG 概念与可实施流程之间的差距。其意义在于：

提供了一个统一的框架，以理解检索与生成之间复杂的相互作用。
强调 RAG 不仅仅是一个插件，而是需要根据具体约束（例如，黑盒与白盒、静态与动态知识）进行仔细架构和训练选择。
识别了新兴挑战和未来研究方向，包括：
- 安全与隐私：解决知识投毒、提示注入和嵌入反转等风险。
- 跨模态检索：将文本与图像、视频和音频集成，以提供更丰富的上下文。
- GraphRAG：超越扁平段落检索，转向基于图的结构，以更好地处理多跳推理和复杂实体关系。
- RAG 与长上下文 LLM：阐明虽然长上下文模型功能强大，但 RAG 对于精度、成本效益和可验证性仍然至关重要，且这两种范式可以互补。

作者得出结论，RAG 对于提高 LLM 的准确性、适应性和可靠性至关重要，未来的工作必须专注于稳健的评估、高效的部署以及解决安全漏洞，以实现在工业应用中的全部潜力。