💬 NLP

Can David Beat Goliath? On Multi-Hop Reasoning with Resource-Constrained Agents

本文介绍了 David-GRPO，这是一种强化学习框架，它通过结合离线策略专家引导与证据引导的在线策略探索，增强了资源受限智能体的多跳推理能力，从而克服了有用训练路径稀缺的问题，并在多跳问答基准测试中实现了卓越性能。

原作者： Hojae Han, Heeyun Jung, Jongyoon Kim, Seung-won Hwang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hojae Han, Heeyun Jung, Jongyoon Kim, Seung-won Hwang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个复杂的谜团，比如判断两个著名地标是否位于同一个街区。你有一个小巧的智能助手（一个“小语言模型”）想要帮忙，但这个助手的预算非常紧张。它只能向图书管理员（“检索工具”）提出几个问题，之后就必须给出答案。

问题在于，大多数针对这些助手的训练方法，就像是让棋手与超级计算机对弈数千局来培养一位国际象棋特级大师。如果你拥有超级计算机，这招很管用；但我们的这个小助手只有几枚硬币可以用来下棋。如果你试图用这么少的对局来训练它，它通常会放弃、随机猜测，或者过早停止提问。

这篇题为《大卫能击败歌利亚吗？》（"Can David Beat Goliath?"）的论文作者提出了一种名为 DAVID-GRPO 的新训练方法。他们称之为“大卫”，因为它专为资源受限的小型智能体设计，而“歌利亚”则代表了大型科技公司使用的庞大且昂贵的训练设置。

以下是 DAVID-GRPO 的工作原理，使用简单的类比来说明：

1. 问题：学习的“空房间”

通常，为了教会人工智能解决多步骤谜题，你会让它尝试多次（生成多个样本），并在它给出正确答案时给予奖励。但在预算极其有限的情况下，人工智能尝试几次后，因未能找到正确的线索而得不到任何奖励。这就像一个学生在没有书籍的房间里试图解数学题；他们只能猜测，答错，然后停止尝试。人工智能因此陷入了失败的循环。

2. 解决方案：两个特殊技巧

DAVID-GRPO 通过运用两个巧妙的策略来解决这个问题，使每一次尝试都物尽其用：

技巧 A：“专家作弊条”（专家引导）
研究人员不是让人工智能从零开始，而是给它一张微小的“作弊条”。他们仅选取了四个专家（一个更强大的人工智能或人类）如何完美解决该问题的示例。

类比：想象你正在学习烤蛋糕，但只有一张食谱卡片。与其从零开始发明蛋糕，不如查看那张完美的食谱以获得起步优势。
如何帮助：尽管人工智能只看到了这四个示例，但它利用它们来启动学习过程。它不仅仅是照搬；而是将它们作为指南，去理解什么是“好”的路径，从而防止它立即放弃。

技巧 B：“部分成功”救援（证据引导的探索）
有时，人工智能会进展到一半。它找到了一些线索，但错过了最后的关键部分。在旧方法中，这种尝试会被当作失败而丢弃。

类比：想象你正在一个凌乱的房子里寻找一把特定的钥匙。你找到了钥匙可能在的那个抽屉，但没有找到钥匙本身。一位老派老师会说：“你失败了，重新开始。”而 DAVID-GRPO 会说：“找到那个抽屉做得好极了！我们就停在这里，用全新的眼光再次尝试在那个特定的抽屉里寻找。”
如何帮助：系统会检查人工智能找到了多少线索（证据）。如果它找到了一些但不是全部，系统就会在它表现尚好的那个点截断尝试，并让人工智能从那里继续。这将一次“失败”转化为一次“新尝试”，节省了宝贵的时间和金钱。

3. 结果：小预算，大胜利

研究人员在小型人工智能模型（约 15 亿参数）上测试了这种方法，仅使用了四张标准显卡（RTX 3090）。

对比：他们将这种方法与其他使用庞大预算（数千张 GPU 和数百万次尝试）的人工智能训练方法进行了比较。
结果：DAVID-GRPO 几乎能与昂贵的巨头一样解决复杂的多步骤问题（例如“写了 X 的人的表亲是谁？”），但它仅使用了**4.7%**的计算预算。
行为改变：如果没有这种方法，小型人工智能通常会完全跳过寻找线索，或者在一次快速搜索后就停止。有了 DAVID-GRPO，小型人工智能学会了深入挖掘，在回答前收集更多证据，就像真正的侦探一样。

总结

简而言之，DAVID-GRPO 是一种训练技术，它通过以下方式使小型、廉价的人工智能智能体能够学习复杂的推理任务：

从少量专家示例中学习，以避免从零开始。
回收部分成功的尝试而不是将其丢弃，确保每一分努力都算数。

它证明了训练“大卫”去解决难题并不需要“歌利亚”般的预算；你只需要一种更聪明的方法来利用你现有的资源。

技术摘要：大卫能否战胜歌利亚？资源受限智能体上的多跳推理

问题陈述

本文探讨了在严格资源约束下，训练小型语言模型（SLM）智能体执行多跳推理（例如多跳问答）的挑战。虽然强化学习（RL）已成功训练智能体完成复杂任务，但现有方法通常依赖高成本设置，涉及大批次和大量的策略内 rollout（例如每次更新数千条轨迹）。这些设置对于使用商用硬件（例如 4×RTX 3090 GPU）的研究人员来说是无法触及的。

在低预算约束（小批次、少量 rollout）下，标准的强化学习方法（如组相对策略优化 GRPO）面临一个关键瓶颈：每次更新包含的当前策略有用轨迹太少，无法形成有意义的优势估计。具体而言，在多跳检索中，智能体必须累积多个支持文档（桥接证据和答案证据）。在 rollout 稀疏的情况下，智能体往往无法检索到任何有用证据，导致“策略崩溃”，即智能体获得零奖励且无法学习。现有解决方案在此类场景下均告失败：

基于监督微调（SFT）的初始化在标注轨迹稀缺时会产生过拟合。
检索级奖励通常将信用分配给单个文档，而未优化完整证据集的覆盖范围。
Rollout 扩展（例如 Tree-GRPO）在从缺乏证据进展信号的词缀进行扩展时，会浪费计算资源。

方法论：DAVID-GRPO

作者提出了DAVID-GRPO，这是一种预算高效的强化学习框架，旨在通过利用当前策略内部和外部信息，使小型轨迹批次更具信息量。该方法包含两个核心组件：

1. 专家引导（Off-Policy 注入）

为了防止当智能体自身的探索未产生奖励时出现早期的策略崩溃，DAVID-GRPO 将少量 off-policy 专家轨迹注入到强化学习更新组中。

机制：该方法不依赖数千条标注轨迹进行监督微调（SFT），而是使用一个仅包含 $k$ 个示例（其中 $k \ll |X_{train}|$ ）的“少样本”专家轨迹池（ $X_{inj}$ ）。
集成：对于给定输入，训练组由一条 off-policy 专家轨迹（ $\tau^*$ ）和从当前策略（ $\pi_\theta$ ）采样的 $G-1$ 条 on-policy 轨迹构建而成。
目标：修改损失函数以包含混合目标，其中专家轨迹被分配特定的优势值以鼓励模仿，而 on-policy 轨迹则通过标准的组相对优势进行更新。即使智能体的探索失败，这也提供了梯度信号。

2. 证据引导探索（On-Policy 复用）

为了解决没有轨迹获得完美奖励的次优批次问题，该方法引入了更密集的奖励信号，并设计了一种复用部分成功的机制。

证据覆盖奖励（ $r_g$ ）：该方法不单纯依赖最终答案的正确性（ $r_o$ ），而是基于整个轨迹中累积检索文档集 $\hat{D}_{union}$ 对完整支持集 $D$ 的召回率来计算奖励。
$r_g(\tau) = \frac{|\hat{D}_{union} \cap D|}{|D|}$
总奖励为加权总和： $R(\tau) = \lambda r_g(\tau) + (1-\lambda)r_o(\tau)$ 。这鼓励智能体检索所有必要的桥接和答案文档，而不仅仅是最终答案。
前缀延续：如果批次中最好的轨迹仍然次优（即证据覆盖不完整），该方法会识别证据覆盖增加的最后一个步骤 $t'$ 。它在 $t'$ 处截断轨迹，并从当前策略重新采样延续部分。如果新的延续提高了奖励，它将替换批次中最差的轨迹。这有效地“回收”了有前景的前缀，以生成更高质量的示例，而无需额外的完整 rollout。

主要贡献

DAVID-GRPO 框架：一种新颖的强化学习框架，结合了专家引导和证据引导探索，使得在计算资源有限的情况下对小型模型进行多跳推理训练成为可能。
效率提升：证明了小型智能体（高达 15 亿参数）仅需使用高成本基线（如 Tree-GRPO）所需 rollout 预算的4.7%，即可学习复杂的多跳检索策略。
行为转变：表明 DAVID-GRPO 学会了执行多次检索动作并累积完整证据集，而先前的低预算基线往往跳过检索或在浅层搜索后停止。
鲁棒性：该方法在不同模型规模（0.5B 至 1.5B）下保持稳定，并泛化到维基百科风格问答之外的工具使用链（例如 BFCL 工具使用基准测试）。

实验结果

作者在六个多跳问答基准测试（HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle、BamTwoogle 和 AntiLeakBench）上评估了 DAVID-GRPO，使用了在 4×RTX 3090 GPU 上训练的 Qwen2.5 和 Llama-3.2 模型（0.5B 和 1.5B 参数）。

与高预算基线的性能对比：尽管仅使用了高成本 Tree-GRPO 基线 rollout 预算的 4.7%，DAVID-GRPO 在 2WikiMultiHopQA、MuSiQue 和 Bamboogle 上实现了更高的精确匹配（EM）分数。
与低预算基线的性能对比：在相同的低预算约束下，DAVID-GRPO 显著优于其他低预算方法（Tree-GRPO、StepSearch、Search-R1-v0.3）。例如，在 1.5B 规模的 AntiLeakBench 上，其精确匹配分数比第二好的基线高出 19.6 个百分点。
检索行为：分析显示，DAVID-GRPO 智能体平均执行 2–3 次检索动作，成功覆盖了桥接和答案文档。相比之下，Tree-GRPO 等基线通常执行零次检索动作，依赖参数化知识。
消融研究：移除专家引导或证据引导探索中的任一组件均导致性能下降，证实了这两种机制的必要性。该方法在使用“银证据”（生成的问题与固定的答案 - 支持对配对）训练时也表现出鲁棒性。

意义与主张

本文主张，小型智能体在多跳推理中的主要瓶颈不仅仅是模型规模，而是在资源约束下缺乏密集的、证据级别的训练信号。通过引入 DAVID-GRPO，作者证明了：

小型智能体可以在没有密集 rollout 预算的情况下学习有效的多跳检索策略。
将少量 off-policy 专家轨迹与 on-policy 证据引导复用相结合，可以稳定训练并提高样本效率。
这种方法降低了智能体研究的计算门槛，使拥有商用硬件的学术实验室能够复现和扩展此前仅限于资源丰富组织的智能体能力。

作者总结道，他们的工作为在商用硬件上训练有能力的检索智能体提供了一条途径，尽管他们指出未来的工作可以进一步减少对检索器质量和语料库覆盖的依赖。