💬 NLP

DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation

DynaKRAG 是一个将多跳检索增强生成建模为状态条件控制问题的统一框架，它通过学习到的策略从检索和查询重构等有效证据操作中进行动态选择，从而在 HotpotQA、2Wiki 和 MuSiQue 等基准测试上超越了现有方法。

原作者： Yaqi Wu, Xiaolei Guo, Chenyu Zhou, Jiaqi Huang, Xianfa Zhang, Junxu Zhang, Zhuo Yu, Zhubo Shi, Jianghao Lin, Dongdong Ge

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yaqi Wu, Xiaolei Guo, Chenyu Zhou, Jiaqi Huang, Xianfa Zhang, Junxu Zhang, Zhuo Yu, Zhubo Shi, Jianghao Lin, Dongdong Ge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解复杂谜题的侦探，比如“谁偷走了皇冠珠宝，又把它们藏在了哪里？”

在旧有的工作方式中（标准 AI 系统），侦探会被给予一本严格的规则手册：“查看档案柜中的前三个文件。如果没找到答案，就看接下来的三个。无论如何，看满五个文件后必须停止。”这是僵化的。有时第一个文件提供的线索会改变整个调查方向，但规则手册却强迫你继续查看错误的档案。

DynaKRAG 是一种更聪明的新型侦探工作方式。它不再遵循固定的规则手册，而是使用一个灵活的、基于学习的管理机制，根据目前已发现的情况来决定下一步行动。

以下是它的工作原理，通过简单的概念进行拆解：

1. 侦探的笔记本（“状态”/ State）

每当侦探发现一张新的纸片（证据）时，他们都会将其记录在笔记本上。这个笔记本不仅仅是一堆纸片的堆积；它是一张动态的地图。它记录了：

原始问题是什么。
已经阅读过的纸片有哪些。
还缺少哪些线索（例如：“我知道了小偷的名字，但我不知道他住在哪里”）。
目前为止采取了哪些行动。

2. 行动菜单（“动作”/ Actions）

在任何时刻，侦探都有一个可能的行动菜单，但并非所有行动在任何时候都是可用的。

搜寻书架： 寻找更多文档。
重写问题： 也许原始问题很模糊；让我们换一种方式提问。
追踪线索： 如果一份文档提到了某个特定的人（“桥接实体”），就去寻找关于那个人的更多信息。
检查缺口： 问问自己，“我们现在有足够的信息来解决问题了吗？如果没有，还缺少什么？”
停止并解决： 如果证据已经完整，则写下最终答案。

3. 两步决策过程

这是 DynaKRAG 的核心秘诀。在侦探选择行动之前，会发生两件事：

步骤 A：保镖（有效性层/ Validity Layer）： 想象一个俱乐部的保镖。保镖会观察当前情况并说：“你现在不能做那个。”例如，如果你还没读过任何文档，你就不能“重写问题”；如果你还没找到线索，你就不能“追踪线索”。保镖会过滤掉不可能的动作，只留下一个有效选项列表。
步骤 B：教练（学习型控制器/ Learned Controller）： 现在，既然保镖已经把有效的行动列表交给了侦探，教练便介入了。这位教练从成千上万个过去的侦探案例中学习到了经验。它观察当前的笔记本并说：“在这些有效的选项中，目前最能帮助我们最高效地解决谜题的行动是追踪关于嫌疑人地址的线索。”

4. 为什么这更好

不浪费精力： 旧系统可能会在已经拥有足够答案时仍继续搜索，或者不断重复同样的问题。DynaKRAG 知道何时该停止。
适应谜题： 如果第一个线索揭示了一个全新的角度，系统会立即切换策略（例如重写问题），而不是盲目遵循预设计划。
节省能量： 该系统是“Token 高效”的。在 AI 术语中，“Token”就像是处理数据时消耗的单词或碎片，它们代表着成本和时间。DynaKRAG 在收集到足以解开谜题的证据后就会立即停止，与那些只会不停挖掘的系统相比，节省了时间和金钱。

结果

作者在三个非常困难的谜题数据集（HotpotQA, 2Wiki, 和 MuSiQue）上测试了这个“智能侦探”。

更好的答案： 它比之前的最优方法解决了更多的谜题。
更聪明的开销： 它使用了更少的资源（更少的“Token”使用量）来获得更好的答案。
概念验证： 当他们移除了“教练”（学习型决策器），让系统仅从有效的行动列表中随机选择时，性能显著下降。这证明了，比起拥有采取行动的能力，选择下一步行动的方式同样重要。

简而言之： DynaKRAG 将 AI 从一个遵循僵化剧本的机器人，转变为一个灵活的侦探，它知道根据已发现的情况使用什么工具，从而确保以最少的无谓努力解决谜题。

技术摘要：DynaKRAG

问题陈述

多跳检索增强生成（Multi-hop RAG）旨在解决那些答案依赖于分布在多个文档及多个推理步骤中的证据的问题。与通常遵循固定的“检索-生成”范式的标准 RAG 不同，多跳问题需要一个演进的信息获取过程。单一检索到的段落往往不足以回答问题；相反，它可能会揭示一个“桥接实体”（bridge entity）、暴露一个缺失的关系、指示一个查询缺陷，或者提供足够的支撑以停止检索。

现有的自适应 RAG 方法（如 IRCoT、Self-Ask、CRAG、S2G-RAG）引入了有用的行为，例如迭代检索、查询重写、证据批判和充分性判断。然而，这些方法通常将这些操作组织在特定方法的流水线或预定义的控制拓扑结构中。这种碎片化导致了两个主要局限：

缺乏统一控制： 异构的证据操作难以在单一框架内进行表达、比较和学习。一个决定进行更多检索的系统可能不知道何时重写更好，而充分性模块可能在识别出缺失事实的同时，无法在桥接扩展或停止决策之间进行联合仲裁。
效率低下： 自适应轨迹会反复调用检索器和语言模型。由于缺乏用于协调这些操作的学习策略，系统可能会在冗余证据上浪费 Token，或者在证据已足够时无法及时停止。

核心挑战在于学习一个共享的状态条件策略（shared state-conditioned policy），该策略能够随着证据状态的演进，在当前有效的证据操作中动态选择。

方法论：DynaKRAG

DynaKRAG（动态知识检索增强生成）将多跳证据获取建模为对原子证据操作的状态条件控制。它将动作的有效性与其效用解耦，允许通过规则强制执行转换一致性，同时通过学习来确定最有效的操作。

1. 统一证据-动作框架

系统将过程建模为轨迹 $\tau = (s_0, a_0, s_1, a_1, \dots, s_T)$ 。

状态 ( $s_t$ )： 编码可观测信息，包括问题、检索到的文档、检索前沿统计数据、动作历史、检测到的桥接实体以及诊断反馈（例如，缺失信息的描述）。至关重要的一点是，在推理阶段，它不包含标准答案或支持性注释。
原子操作： 该框架定义了七种原子动作：
- 检索/扩展： retrieve_more（推进前沿）、gap_query（针对缺失事实）、bridge_entity_expand（围绕检测到的实体进行检索）、rewrite_query（基于证据进行查询重写）。
- 诊断/终止： sufficiency_check（询问生成器证据是否充分；如果不足，则记录缺失信息）、stop_answer（停止回答）。
- 后处理： compress_answer_evidence（在最终生成前提取支持性的片段）。
有效性层（Validity Layer）： 一个硬性的、基于规则的层，通过过滤掉未定义、已耗尽或过早的操作（例如，如果已知不存在缺口，则防止执行 gap_query）来构建可执行的动作集 $A(s_t)$ 。

2. 学习型状态条件控制策略

DynaKRAG 使用一个学习到的控制器来对有效动作进行排序：

动作价值模型： 一个随机森林回归器 $\hat{v}_\theta(s, a)$ $\overset{v}{^}_{θ} (s, a)$ 用于估计一个动作能为证据状态带来的改进。
- 训练目标： 在训练期间，价值 $v(s, a)$ 由**支持召回率（Support Recall, SR）**的变化量定义（即存在标注的支持文档的比例）。对于获取类动作，$v = SR(s') - SR(s) $。对于充分性检查，它预测是否$ SR(s)=1$。对于停止动作，根据当前的覆盖范围进行评分。
- 推理： 控制器选择使“价值减去成本项”最大化的动作 $a^*$ ： $a^* = \arg\max_{a \in A(s_t)} [\hat{v}_\theta(s_t, a) - \lambda c(s_t, a)]$ 。
持续模型（Continuation Model）： 一个独立的模型用于估计继续轨迹的效用，防止在预测额外证据仍有帮助时过早停止。
终端压缩（Terminal Compression）： 在终止时，压缩器从累积的上下文中提取相互支持的片段，以减轻最终答案生成器的负担。

3. 推理流程

推理循环（算法 1）按如下方式迭代：

根据当前状态约束构建有效动作集 $A(s_t)$ 。
使用学习到的价值模型对有效动作进行评分。
选择排名最高的动作。
执行该动作（例如，查询密集索引、更新状态）。
重复直至选择 stop_answer 或达到检索/动作上限。
（可选）压缩证据并生成最终答案。

核心贡献

统一框架： 本文提出了一个统一的证据-动作框架，其中异构的 RAG 策略被表示为共享状态上的原子操作，从而摆脱了孤立的、特定方法的流水线模式。
高性价比的学习型控制器： 开发了一个将硬性动作有效性与状态条件下的动作效用相分离的控制器。这使得能够在演进的轨迹中动态协调检索、诊断、重写和终止，而无需替换底层的检索器或生成器。
实证验证： 通过在三个基准测试上的受控实验，作者隔离了学习型动作排序、充分性反馈和终端压缩的效果，证明了动态控制在质量和效率方面均能带来持续的提升。

实验结果

作者使用 Qwen2.5-7B-Instruct、GPT-4o-mini 和 Llama-3.1-8B-Instruct 作为骨干生成器，在 HotpotQA、2WikiMultiHopQA 和 MuSiQue 上进行了评估。

性能： DynaKRAG 在所有三个基准测试中均取得了最高的 F1 分数（Qwen2.5-7B 在 HotpotQA 上为 0.5998，2Wiki 上为 0.5340，MuSiQue 上为 0.3061），超过了最强的受控基线（如 S2G-RAG、CoRAG）2.88 到 7.19 个百分点。
泛化能力： 在 Qwen 轨迹上训练的策略可以有效地迁移到 GPT-4o-mini 和 Llama-3.1-8B 而无需重新训练，并在大多数配置下达到了最先进的水平。这表明学习到的策略捕捉的是通用的证据获取偏好，而非过拟合于特定的生成器。
效率： 与最强 F1 基线（S2G-RAG）相比，DynaKRAG 在实现更高准确率的同时，减少了 13.1% 至 20.7% 的总 Token 消耗。
消融实验：
- 将学习型控制器替换为均匀有效策略会导致 F1 下降 3.96–5.78 个百分点，证明了仅仅暴露动作是不够的；对动作进行排序至关重要。
- 移除充分性反馈会降低所有数据集上的性能，证实了显式证据就绪度评估的价值。
- 移除终端压缩也会降低性能，突出了上下文精炼的益处。
检索预算敏感性： 受控实验表明，“更多检索”并不总是受益的。例如，在 MuSiQue 上，性能在两次检索调用时达到顶峰，并在三次检索时下降，这表明动态控制对于根据特定的证据状态有效分配预算是必要的。

意义与主张

论文声称，自适应多跳 RAG 取决于从当前信息状态中选择合适的证据操作。 通过将证据获取建模为一个闭环控制过程，DynaKRAG 克服了现有方法的碎片化问题。

作者强调，他们的方法证明了在演进的证据状态下，协调检索、诊断和针对缺口的获取所带来的好处。结果表明，统一的学习控制策略在答案质量和 Token 效率方面都能优于专门的、基于流水线的系统，并且这些控制策略可以跨不同的语言模型骨干进行泛化。这项工作确立了：下一步要做什么（检索、重写、检查充分性或停止）的决策与检索本身同样关键，且这一决策应当由状态条件策略驱动，而非固定启发式规则。