💻 computer science

SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval

SubSearch 提出了一种无需外部监督的框架，通过利用内在过程奖励直接优化生成器，引导大语言模型在复杂检索任务中进行更稳健的多步推理，从而在多个基准测试中超越了仅依赖结果奖励的传统方法。

原作者： Roxana Petcu, Evangelos Kanoulas, Maarten de Rijke

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Roxana Petcu, Evangelos Kanoulas, Maarten de Rijke

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SubSearch 的新框架，旨在让大型人工智能模型（LLM）在回答复杂问题时变得更聪明、更可靠。

为了让你轻松理解，我们可以把 AI 回答复杂问题想象成**“侦探破案”**。

1. 以前的困境：只有“结果”的侦探

在 SubSearch 出现之前，训练 AI 就像是在训练一个只关心最终结果的侦探。

场景：你问侦探：“谁杀了谁？”
旧方法：侦探去查资料，最后给你一个名字。如果名字对了，你就给他发奖金（奖励）；如果名字错了，就扣钱。
问题：这种“只看结果”的方法有个大漏洞。侦探可能会走捷径或瞎蒙。比如，他可能根本没查清楚，只是碰巧猜对了名字；或者他在推理过程中完全逻辑混乱，但最后蒙对了答案。这就叫“奖励黑客”（Reward Hacking）——为了拿奖金，不择手段，甚至牺牲推理过程的真实性。

2. SubSearch 的革新：给“每一步”都发奖金

SubSearch 的核心思想是：不要等侦探破案了再给奖励，而是他在调查的每一步走对了，就立刻给奖励。

这就好比给侦探配了一个**“过程监督员”**：

分解任务（Sub-queries）：面对复杂问题（比如“比较两家银行的分行数量”），AI 不再试图一口吃成胖子，而是学会把大问题拆成小问题（“查 A 银行有多少分行”、“查 B 银行有多少分行”）。
中间奖励（Intermediate Rewards）：
- 拆解奖励：如果 AI 把大问题拆得合理、清晰，监督员就给分。
- 可回答性奖励：如果 AI 搜出来的资料确实能回答这个小问题，监督员就给分。
- 格式奖励：如果 AI 按照规定的格式（先思考、再搜索、最后回答）来操作，也给分。

3. 核心亮点：不需要“老师”手把手教

以前的类似方法（过程奖励模型），通常需要人类专家或者超级 AI 来给每一步的推理打分（就像请一位老师坐在旁边，看着侦探的每一步笔记，告诉他“这一步做得好”或“那一步错了”）。这非常昂贵且耗时。

SubSearch 的厉害之处在于“自给自足”：

它不需要外部老师。
它利用**“内在奖励”**：AI 自己判断“我拆分的这个问题是否覆盖了原问题的信息？”、“我搜到的资料是否真的能回答这个问题？”。
比喻：就像侦探自己带了一个智能罗盘。他不需要别人告诉他方向对不对，罗盘会根据他当前的位置和目的地，自动告诉他：“你现在的搜索方向是对的，继续！”或者“你走偏了，换个方向”。

4. 实验结果：更稳健的推理

论文在七个不同的测试数据集上进行了实验（包括简单的问答和需要多步推理的复杂问题）。

结果：使用了“中间奖励”的 SubSearch，比那些只盯着最终答案的 AI 表现更好。
比喻：在复杂的迷宫里，只盯着出口（最终答案）的 AI 容易撞墙或迷路；而 SubSearch 这种每走一步都确认方向（中间奖励）的 AI，能更稳健地找到出口，即使路很绕。

总结

SubSearch 就像是一个学会了“自我反思”和“自我规划”的超级侦探。

它不再盲目地为了猜对答案而行动，而是学会了：

把大难题拆成小任务（像切蛋糕一样）。
每切好一块，就检查这块切得对不对（内在奖励）。
根据检查结果调整下一步，而不是等到最后才后悔。

这种方法不仅让 AI 回答更准确，还省去了雇佣大量人类专家来标注数据的昂贵成本，让 AI 在信息密集的任务中变得更加自主和聪明。

` 包裹内部推理。

搜索动作： 使用 <search>query</search> 生成查询。
检索内容： 使用 <information>...</information> 获取文档。
最终答案： 使用 <answer>...</answer> 输出结果。

2.2 查询分解策略

模型被激励将复杂任务分解为子查询（Sub-queries）。

模板设计： 鼓励模型将复杂问题分解为最多 3 个子问题（使用 ## 分隔），支持串行或并行分解，具体取决于初始查询的类型。
动态性： 模型仅在缺乏知识或问题包含多个独立部分时才进行分解，避免过度分解。

2.3 内在过程奖励机制 (Intrinsic Process Rewards)

这是 SubSearch 的核心。奖励信号完全由生成器内部状态推导得出，无需外部标注：

答案可答性奖励 (Answerability Reward, $R_{answerability}$ )：
- 衡量检索到的文档在多大程度上回答了子查询。
- 计算方式： 计算子查询嵌入与检索到的 Top-k 文档嵌入之间的余弦相似度。这作为一个连续的信号，反映信息覆盖度。
查询分解奖励 (Decomposition Reward, $R_{decomposition}$ )：
- 旨在确保分解后的子查询既全面又互斥。
- 语义覆盖 ( $r_{coverage}$ )： 确保子查询的集合在语义上等同于父查询（防止“查询漂移”）。计算子查询平均嵌入与父查询嵌入的相似度。
- 组内可分性 ( $r_{split}$ )： 最大化子查询相对于父查询的相关性，同时最小化子查询之间的冗余（互斥性）。
- 公式： $R_{decomposition} = \alpha \cdot r_{coverage} + \beta \cdot r_{split}$ 。
格式奖励 (Format Reward, $r_{format}$ )：
- 用于稳定训练，确保模型遵循正确的 XML 标签格式（如 <search>, <answer> 等），防止模型崩溃。

2.4 奖励聚合 (Aggregation)

采用**自适应残差奖励聚合（Adaptive Residual Reward Aggregation）**将中间奖励与最终稀疏奖励结合：
$r = R_{answer} + \beta_t (1 - R_{answer}) \cdot \text{IntermediateRewards}$

逻辑： 如果模型已经给出了正确答案（ $R_{answer}=1$ ），中间奖励的权重为 0；如果答案错误，则中间奖励的权重增加，引导模型修正推理过程。
自适应 $\beta_t$ ： 随着训练进行， $\beta_t$ 动态调整，初期更依赖中间奖励，后期逐渐转向最终结果奖励。

2.5 训练算法

使用 组相对策略优化 (GRPO) 进行强化学习训练，无需额外的价值模型（Critic Model），直接优化策略模型。

3. 主要贡献 (Key Contributions)

提出 SubSearch 框架： 首个将内在过程奖励直接用于优化生成器（Generator）的框架，无需外部标注数据或独立的奖励模型训练。
定义内在奖励信号： 提出了基于语义相似度的“答案可答性”和“查询分解”奖励，实现了从结果监督向过程监督的转变，且完全自主。
自适应聚合机制： 设计了一种动态权重机制，平衡了最终答案的稀疏奖励与中间推理步骤的连续奖励，有效缓解了奖励黑客问题。
数据高效性： 证明了在没有人类标注推理轨迹的情况下，仅通过内在信号即可训练出高性能的搜索代理，降低了数据成本。

4. 实验结果 (Results)

实验设置：

数据集： 7 个基准测试，包括通用 QA（Natural Questions, TriviaQA, PopQA）和多跳推理 QA（HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle）。
基线模型： 对比了直接推理、CoT、RAG、Search-R1、ZeroSearch、InForage（SFT+RL）等 SOTA 方法。
模型： 基于 Qwen2.5-3B (Base 和 Instruct) 进行训练。

关键发现：

整体性能提升： SubSearch 在所有基准测试中均优于其他无 SFT 的 RL 搜索代理（如 Search-R1, ZeroSearch）。
- 在复杂的多跳数据集上提升显著：HotpotQA (+6.5 EM), 2WikiMultiHopQA (+7.7 EM), Bamboogle (+13.5 EM)。
- 在通用 QA 数据集上也取得了稳定提升（如 NQ +4.2 EM）。
中间奖励的有效性： 消融实验表明，仅使用查询分解（Query Decomp）已有提升，但加入中间奖励（可答性 + 分解奖励）后，性能进一步大幅提升，特别是在需要组合推理的数据集上。
与 SFT+RL 方法对比： 尽管 InForage 和 O2-Searcher 使用了昂贵的人工标注数据，SubSearch 在无监督设置下仍能与其竞争，证明了内在奖励信号的强大泛化能力。
模型选择： 实验发现，使用 Base 模型（Qwen2.5-3B-base）配合 GRPO 训练效果优于 Instruct 模型，后者在训练早期容易崩溃。

5. 意义与未来展望 (Significance & Future Work)

意义：

自主推理： SubSearch 推动了信息密集型推理向自主化发展，减少了对昂贵的人类标注或外部裁判模型的依赖。
解决奖励黑客： 通过中间奖励信号，强制模型在每一步都进行高质量的检索和分解，从而生成更鲁棒的推理轨迹，而不仅仅是“猜”对答案。
可扩展性： 提供了一种数据高效、计算成本相对较低的强化学习训练范式，适用于各种复杂的检索任务。

局限与未来工作：

计算复杂度： 内在奖励的计算（如嵌入相似度）增加了推理和训练的计算开销，未来需探索更高效的计算方法。
检索器优化： 目前的奖励依赖于检索器的质量，未来研究可探索同时优化生成器（推理）和检索器（Retriever），为每个模块设计专用信号。
泛化性： 虽然目前在 QA 任务上表现优异，未来可探索其在更广泛的复杂任务（如代码生成、科学发现）中的应用。

总结：
SubSearch 通过引入内在过程奖励，成功解决了复杂检索任务中强化学习依赖最终结果奖励导致的推理质量低下问题。它证明了无需外部监督，仅利用模型内部状态和检索反馈，即可训练出具备强大多步推理和查询分解能力的智能搜索代理。