💻 computer science

A Retrieval-Augmented Generation Method for Industrial Documents based on Reinforcement Learning

本文提出了 RLo-RAG，一种通过 LoRA 增强的基于强化学习的多轮检索增强生成模型，该模型利用动态奖励函数迭代检索高相关性文档块，与传统的 RAG 方法相比，显著提高了工业文档的检索精度和生成质量。

原作者： Ling WeiQing, Yongqi Zhi

发布于 2026-09-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Ling WeiQing, Yongqi Zhi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代工业世界中，工厂和工程公司正在产生海量的复杂文档。这些不仅仅是简单的手册，而是由技术报告、设备日志和测试记录组成的密集集合，它们是解决关键问题的关键。几十年来，在这些庞大的档案中寻找特定信息一直是一项缓慢且依赖人工的任务，通常依赖于员工个人的记忆或专业知识。最近，被称为大语言模型的强大计算机程序为寻找出路提供了新途径。这些模型能够以卓越的技巧阅读并理解人类语言，扮演着超级智能助手的角色。然而，当被问及特定的工业细节时，这些助手往往会遇到困难，因为它们的训练数据是通用的互联网数据，而非工厂车间内那些专门且碎片化的记录。为了解决这个问题，研究人员开发了一种称为检索增强生成（RAG）的方法，其原理是让计算机在回答问题之前，先从私有数据库中查找相关的实事。然而，即使是这种改进后的方法，在需要跨多个文档进行信息关联时也经常失效，导致答案不完整或产生混乱。

同济大学的一个研究团队通过创造一种旨在处理工业知识中杂乱、破碎特性的新系统，解决了这一特定挑战。他们将这种方法称为 RLo-RAG，这是一种结合了大语言模型的能力与一种被称为强化学习的学习技术的方法。简单来说，强化学习是一种通过让计算机程序尝试不同行动，并在做出正确选择时给予奖励来教授程序的方法，就像用零食训练表现正确的狗一样。在这个系统中，计算机扮演着一个好奇代理人的角色，它不仅仅是进行一次搜索来寻找答案。相反，它会提出一系列问题，从每次搜索的结果中学习，并优化下一个问题，以填补缺失的信息碎片。这个过程会持续进行，直到计算机觉得它已经收集了足够的证据来构建一个完整且准确的答案。

研究人员发现，工业文档经常存在一种被称为“语义碎片化”的问题。这意味着回答单个问题所需的信息可能散落在不同的章节、表格甚至单独的文件中。传统的搜索可能会找到一段描述测试程序的文字，却遗漏了位于另一页表格中的具体数值。新系统通过使用动态奖励机制解决了这个问题。随着计算机的搜索，它会根据三个因素获得反馈：所找到信息的关联性、是否在重复已看到的信息，以及找到答案的速度。如果计算机找到了高度相关的文档，它会获得奖励；如果它浪费时间查看重复的信息，它会受到惩罚。至关重要的是，系统会随着时间的推移调整这些奖励。在学习的早期阶段，它侧重于寻找高质量的信息，但随着能力的提升，它学会了在寻找优质信息与高效完成任务之间取得平衡。

为了测试这一想法，研究人员构建了一个原型系统，并使用了一种称为 LoRA 的技术对其进行了训练，该技术允许他们在无需从头开始重建整个“大脑”的情况下，教给计算机特定的技能。他们使用两个旨在挑战计算机处理多事实关联问题的知名数据集对系统进行了测试。结果显示，他们的新方法显著优于现有方法。旧的方法往往会遗漏关键细节，或者陷入重复搜索相同信息的循环中，而新系统在其中一个测试集上成功检索到正确信息的比例达到了 88.9%。它生成的答案也比其他先进模型产生的答案更准确、更有条理。研究人员指出，系统决定何时停止搜索以及何时继续寻找的能力是其成功的关键因素，这既防止了时间的浪费，又确保了不会遗漏重要事实。

该团队还将他们的方法与其他使用强化学习的方式进行了对比，以观察他们的特定方法是否为最佳选择。他们发现，他们那种仔细平衡计算机学习过程的策略比其他流行方法更稳定且更有效。这种稳定性在工业环境中至关重要，因为错误的答案可能会导致代价高昂的错误。通过采用平滑、循序渐进的学习目标调整，该系统避免了计算机试图同时学习过多内容时可能产生的混乱。研究人员通过多次运行实验验证了这些发现，以确保结果具有一致性，而非仅仅是运气好。他们还通过一个涉及民用飞机制造的真实案例展示了系统的能力，展示了它如何通过整合文本、表格和图表中的信息，来提供关于电气测试要求的完整答案。

尽管该系统展现出了巨大的潜力，但研究人员也承认仍有改进空间。目前，该系统依赖文本描述来链接到图像和表格，这意味着它知道某段文字提到了某个特定的图表，但它并不会深入分析该图表的视觉内容本身。未来的改进可以让系统直接“看到”并理解图像和图表，而不仅仅是阅读指向它们的文本。尽管存在这一局限性，这项研究仍标志着人工智能在处理复杂的现实工业任务方面迈出了重要一步。通过教导计算机像人类专家一样思考——进行迭代、检查工作并判断何时拥有足够的信息——研究人员创造了一个能够帮助工厂和工程师释放其庞大文档档案全部价值的工具。

技术摘要：面向工业文档的 RLo-RAG

1. 问题陈述

本文针对复杂工业文档（如设备手册、技术报告、测试记录）中存在的知识碎片化和检索不完整这一关键挑战进行了研究。虽然大语言模型（LLM）结合检索增强生成（RAG）为工业知识重用提供了路径，但现有方法面临显著局限：

语义碎片化： 工业文档包含嵌套引用、跨文档引用以及分散的定量数据（表格、图表），传统的单跳检索往往会遗漏这些信息。
静态检索： 现有的多跳 RAG 方法（例如固定迭代策略或僵化的路径选择）难以解析跨章节的动态语义关联。
幻觉与准确性： 标准 LLM 在垂直领域容易出现幻觉，且当前的 RAG 系统缺乏在生成答案前通过迭代优化查询以收集所有必要证据的适应能力。
效率与质量的权衡： 当前的方法往往无法平衡检索完整性与计算效率，导致冗余检索或过早终止。

2. 方法论：RLo-RAG

作者提出了 RLo-RAG（基于 LoRA 增强的多轮检索增强生成强化学习），该框架旨在通过马尔可夫决策过程（MDP）来优化检索过程。

核心架构

系统由三个主要部分组成：

查询检索器 (Querier)： 一个通过强化学习（RL）微调的策略网络，根据当前状态生成迭代搜索查询。
检索器 (Retriever)： 一个标准的基于余弦相似度的检索器，负责从知识库中获取前 k 个文本块（chunks）。
生成器 (Generator)： 一个 LLM，在检索过程结束时合成最终答案。

关键技术组件

A. 将多轮检索形式化为 MDP

检索过程被形式化为智能体与环境之间的序列交互：

状态空间 ( $S$ )： 由原始用户查询 ( $q_0$ )、历史检索信息 ( $HRI$ ，包括过去的查询和检索到的文本块) 以及一组未检索但相关的段落 ( $SP$ ) 组成。
动作空间： 由 Querier 生成的精炼查询语句 ( $q_i$ )。
转移： 检索器根据 $q_i$ 获取新的文本块 ( $p_i$ )，从而更新 $HRI$ 并将检索项从 $SP$ 中移除。当“过程计算器”判定信息已足够充分或达到最大轮数时，过程继续进行。

B. 基于 LoRA 的强化学习

为了避免全参数微调的高昂成本，作者采用 低秩自适应 (LoRA) 技术对基础 LLM (ChatGLM3-6B) 进行微调，以执行查询生成任务。

训练策略： 模型使用 PPO (近端策略优化) 算法进行训练。
目标： 策略网络学习通过识别信息缺口并生成能够弥补这些缺口的查询来最大化累积奖励，而非依赖启发式提示词。

C. 动态奖励函数

一种新颖的多维度奖励函数引导 RL 智能体，通过自适应权重平衡质量与效率：

相似度奖励 ( $R_s$ )： 鼓励检索与最相关的未检索内容高度相似的文本块。
冗余惩罚 ( $R_r$ )： 惩罚检索与先前检索内容相似的内容（使用 Jaccard 距离），以防止陷入循环。
效率奖励 ( $R_e$ )： 应用时间衰减因子，以鼓励在更少的轮次内完成任务。

动态权重： 权重 ( $\omega_s, \omega_r, \omega_e$ ) 通过 课程学习 (Curriculum Learning) 策略进行调整。早期训练强调质量（相似度），后期训练则转向效率，确保模型学习到鲁棒的检索路径。

D. 工业实现

针对实际应用，论文提出了一种 布局感知语义分块 (Layout-aware semantic chunking) 策略。系统并非采用固定长度截断，而是利用文档布局分析来保留上下文（章节、表格、图表），并通过构建 知识图谱 (Neo4j) 来通过显式引用关系（如“如图 3 所示”）将文本、表格和图表连接起来。

3. 主要贡献

多轮检索的形式化： 本文首次将工业文档中复杂的多轮检索问题形式化为 MDP，超越了启发式规则，转向学习型策略网络。
RL 驱动的查询优化： 引入了基于强化学习的查询生成器（通过 LoRA 微调），能够动态精炼搜索查询，以最大化信息熵增益，其表现优于静态或基于提示词的多跳方法。
动态奖励机制： 设计了具有基于课程的动态权重机制的复合奖励函数，有效解决了探索与利用的权衡问题，平衡了检索精度与计算效率。
系统验证： 作者通过公开的多跳推理数据集（HotPotQA, HoVer）以及应用于民用飞机制造文档的原型系统验证了该方法，证明了其在跨模态和跨文档推理方面的改进。

4. 实验结果

所提出的 RLo-RAG 与单轮基线（RAG, DPR）以及高级多轮基线（LeReT, Self-RAG, CoT-RAG）在 HotPotQA 和 HoVer 数据集上进行了评估。

答案生成性能： RLo-RAG 在所有指标上均取得了最高分。在 HotPotQA 上，其 F1 分数达到 80.2%，EM 为 66.9%，分别比排名第二的 CoT-RAG 高出 1.8 个百分点（F1）和 1.4 个百分点（EM）。
检索精度： 在检索正确文本块（EM）方面，RLo-RAG 在 HotPotQA 上达到了 88.9%，显著超过了 CoT-RAG (79.2%) 和 Self-RAG (77.8%)。
消融实验：
- RL vs. 启发式： 去除 RL 模块（替换为启发式提示）会导致 F1 分数下降 8.4 点，证实了学习型策略的必要性。
- RL 策略： PPO 的表现优于 A2C、DPO 和 GRPO，这归功于其对中间状态的评估能力以及通过裁剪（clipping）维持策略稳定性的能力。
- 权重策略： 用于奖励权重的“平滑协作动态策略”比突发性或单维度调整表现出更高的性能和稳定性。

5. 重要性与主张

论文声称 RLo-RAG 为工业知识管理中固有的 语义碎片化 问题提供了鲁棒的解决方案。通过将强化学习与参数高效的微调相结合，该方法使 LLM 能够执行传统 RAG 系统无法实现的 自适应多跳推理。

作者断言，其方法：

增强语义完整性： 通过迭代检索和聚合分散的信息（文本、表格、图表），系统生成的答案具有更高的准确性和完整性。
优化效率： 动态奖励机制防止了不必要的检索轮次，使系统适用于实时工业应用。
可扩展性： 使用 LoRA 使得模型能够高效地适配特定工业领域，而无需承担全参数重训的计算成本。

论文总结道，尽管该方法展现出显著前景，但未来的工作应侧重于更深层次的多模态融合（超越文本引用）以及通过领域特定术语表处理非标准查询形式。