💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

该论文提出了 CoSearch 框架，通过引入语义分组策略和复合奖励机制，利用 GRPO 算法联合优化推理智能体与生成式文档排序模型，从而有效解决了现有方法中检索系统固定导致的性能瓶颈，在多个问答基准测试中显著提升了智能搜索的整体表现。

原作者： Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 COSEARCH 的新系统，它旨在解决人工智能（AI）在回答复杂问题时遇到的一个核心痛点：“找错资料”。

为了让你轻松理解，我们可以把整个系统想象成一个**“侦探破案”**的过程。

1. 核心问题：侦探很聪明，但助手很笨

想象一下，你雇佣了一位超级侦探（这就是现在的 AI 大模型，比如 Qwen），他逻辑推理能力极强，擅长分析线索。但是，这位侦探自己不能直接去图书馆查书，他必须依赖一个图书管理员助手（这就是“检索系统”）去帮他找资料。

以前的做法（Search-R1 等）： 我们只拼命训练侦探，让他变得更聪明、更会提问。但是，那个图书管理员助手是固定不变的。如果侦探问“那个 1990 年出生的演员是谁”，助手可能因为笨拙，把一本关于"1990 年出生的厨师”的书递给了侦探。侦探再聪明，拿到错误的书，也只能得出错误的结论。
论文发现的真相： 作者做了一个实验，假设有一个“全知全能的完美助手”（Oracle），能直接把正确答案的书放在侦探手边。结果发现，侦探的成绩瞬间提升了 14% 到 26%！这说明，限制侦探发挥的瓶颈，不是侦探不够聪明，而是助手找书太烂了。

2. 解决方案：COSEARCH（让侦探和助手一起“练级”）

COSEARCH 的核心思想就是：别只练侦探了，让侦探和助手一起训练，互相配合！

在这个新系统里：

侦探（主智能体）： 负责思考、提问。
助手（生成式排序模型）： 负责从一堆候选书籍中，挑出最 relevant（相关）的几本，并按重要性排序给侦探看。

它们是怎么一起训练的？
这就好比侦探和助手在打一场**“团队游戏”**。

如果侦探最后猜对了答案，两个人都加分（因为助手找对了书，侦探推理对了）。
如果侦探猜错了，系统会分析：是侦探推理错了？还是助手给的书不对？
通过这种强化学习（RL），侦探学会了怎么问更好的问题，而助手也学会了怎么根据侦探的问题，更精准地挑书。

3. 两个技术难点（用通俗比喻解释）

把这两个组件放在一起训练，遇到了两个大麻烦，作者用两个巧妙的办法解决了：

难点一：怎么给助手打分？（语义分组策略）

问题： 侦探每次问的问题都不一样（比如一次问“苹果”，一次问“香蕉”）。如果我们要训练助手，通常需要针对同一个问题，让助手给出多个不同的答案来比较谁更好。但侦探每次生成的“子问题”都不一样，没法直接比较。
比喻： 就像教练要训练球员射门。如果球员 A 射的是球门左上角，球员 B 射的是右下角，教练没法直接说“谁射得更好”，因为目标不同。
解决办法（语义分组）： 作者发现，虽然侦探问的字面不同，但意思往往是一样的（比如“苹果”和“红富士”）。于是，他们把意思相近的问题自动归为一组。这样，助手在面对“同一类问题”时，就可以比较哪种找书策略更好了。这就像教练把射向“左上角”的所有球员归为一组进行特训，而不需要让每个人都去射不同的角。

难点二：怎么给助手发奖金？（复合奖励机制）

问题： 助手找书好不好，不能只看最后侦探猜没猜对。有时候侦探太笨，书找对了也猜错；有时候书找错了，侦探靠运气蒙对了。
比喻： 就像给快递员发奖金。如果只看“客户是否收到货”，那快递员可能会为了送得快而送错地址。
解决办法（复合奖励）： 作者设计了一个双重奖金制度：
1. 即时奖金（相关性）： 只要助手把“正确答案”的书放在了最上面，不管侦探最后猜没猜对，助手先拿一部分奖金。这鼓励助手先找对书。
2. 长期奖金（结果导向）： 如果书找对了，且侦探最终也猜对了，助手再拿一笔大奖金。这鼓励助手配合侦探把事做成。

4. 实验结果：效果拔群

作者在 7 个不同的问答测试集上进行了测试（包括单步问题和需要多步推理的复杂问题）：

成绩提升： 相比以前只训练侦探、固定助手的方法，COSEARCH 让整体准确率提升了 6.6% 到 10.8%。
效率提升： 因为助手找书更准了，侦探不需要反复问“再帮我找一下”，搜索次数减少了，破案速度更快。
小模型也能赢： 即使侦探是个“小个子”（30 亿参数的小模型），只要配上这个经过训练的“超级助手”，也能打败那些用“大模型 + 笨助手”的组合。

总结

这篇论文告诉我们，未来的 AI 搜索系统，不能只盯着“大脑”（推理能力）练，必须让“大脑”和“眼睛”（检索能力）同步进化。

COSEARCH 就像是一个**“师徒结对”**的训练营，让负责找资料的助手和负责思考的侦探在实战中互相磨合，最终实现 1+1 > 2 的效果。这不仅是技术的进步，更是让 AI 从“单打独斗”走向“团队协作”的关键一步。

1. 研究背景与问题定义 (Problem)

背景：
智能体搜索（Agentic Search）是指训练智能体通过迭代推理、发出查询并综合检索信息来回答复杂问题的任务。现有的方法（如 Search-R1）通常利用强化学习（RL）优化推理智能体（Reasoning Agent），但将检索系统（Retrieval System）视为固定不变的工具。

核心问题：
作者发现，现有的智能体搜索系统存在一个关键瓶颈：检索质量。

现象： 即使推理智能体发出的查询看似合理，如果检索系统无法返回相关文档，智能体要么被迫重试，要么基于噪声信息得出错误结论。
证据： 作者进行了“神谕检索”（Oracle Retrieval）实验，即在每一步检索中，强制将包含标准答案的文档排在首位。结果显示，对于 7B 参数的智能体，F1 分数相对提升了 14.7%；对于 3B 参数的智能体，提升高达 26.8%。
结论： 检索系统的性能上限严重制约了智能体搜索的整体表现，且这种瓶颈与智能体的推理能力大小无关。现有的“固定检索 + 优化推理”范式无法解决这一根本问题。

目标：
能否联合优化推理智能体和检索系统（特别是文档排序模型），使两者在强化学习框架下相互适应、共同提升？

2. 方法论 (Methodology: COSEARCH)

作者提出了 COSEARCH 框架，通过强化学习（RL）联合训练一个多步推理智能体（Main Agent）和一个生成式文档排序模型（Generative Ranker）。

2.1 系统架构

系统采用两阶段检索架构：

第一阶段（固定）： 使用固定的稠密检索器（Dense Retriever，如 E5）从语料库中召回 $N$ 个候选文档。
第二阶段（可训练）： 生成式排序模型（Ranker）接收候选文档和智能体生成的子查询（Sub-query），对文档进行重排序并选择前 $K$ 个作为观察结果（Observation）反馈给智能体。
联合优化： 推理智能体和排序模型同时通过 Group Relative Policy Optimization (GRPO) 进行训练，奖励信号来源于最终答案的正确性。

2.2 关键技术挑战与解决方案

挑战一：排序模型无法直接应用 GRPO 分组

问题： GRPO 要求对同一输入提示（Prompt）生成的多个响应计算组内优势（Advantage）。对于推理智能体，所有轨迹都来自同一个用户查询，自然形成分组。但对于排序模型，其输入包含智能体在不同轨迹中生成的不同子查询，导致无法直接分组。
解决方案：语义分组策略 (Semantic Grouping)
- 利用观察：不同推理路径生成的子查询在语义上往往是等价的（仅表面措辞不同）。
- 方法：将同一用户查询下的所有子查询，根据Token 级别的 F1 相似度进行贪婪聚类。
- 过滤：仅保留成员数量超过阈值（ $k_{min}$ ）的簇作为有效的 GRPO 分组。
- 优势： 无需为排序模型进行额外的 Rollout（采样），直接复用推理智能体生成的轨迹，零额外采样成本。

挑战二：排序模型的奖励信号设计

问题： 最终答案的正确性（Trajectory-level reward）是间接信号，难以区分是检索好还是推理好；而仅基于相关性的奖励（Relevance reward）无法监督那些对推理有帮助但未直接包含答案的中间步骤。
解决方案：复合奖励机制 (Composite Reward)
设计了一个结合相关性信号和轨迹级结果信号的复合奖励 $r_{rank}$ $r_{r ank}$ ：
1. 相关性奖励 ( $r_{rel}$ )： 基于 Hit@k 指标，衡量排序模型是否将包含答案的伪相关文档排在了前面。
2. 轨迹奖励 ( $r_{main}$ )： 基于最终答案的 Token 级 F1 分数。
3. 动态组合逻辑：
  - 若候选集中有相关文档但排序质量低（ $r_{rel} \le \gamma$ ）：仅使用 $r_{rel}$ 进行监督，避免推理噪声干扰。
  - 若排序质量高（ $r_{rel} > \gamma$ ）：结合 $r_{main}$ ，奖励那些不仅排得好且确实帮助了最终答案生成的行为。
  - 若候选集中无相关文档：仅使用 $r_{main}$ 。
- 所有奖励均基于规则计算，无需昂贵的 LLM 标注。

3. 主要贡献 (Key Contributions)

识别瓶颈： 通过 Oracle 检索实验量化了检索系统在 RL 训练的智能体搜索中的瓶颈作用（F1 提升潜力达 14.7% - 26.8%）。
提出 COSEARCH 框架： 首个通过 RL 联合训练推理智能体和生成式文档排序器的框架。
创新技术点：
- 语义分组策略： 解决了排序模型因输入（子查询）变化而无法直接应用 GRPO 的难题，实现了高效训练。
- 复合奖励设计： 巧妙平衡了即时检索质量信号和长期任务完成信号，解决了奖励分配难题。
实证效果： 在 7 个问答基准（单跳和多跳）上验证了方法的有效性，证明了联合训练的可行性和高性能。

4. 实验结果 (Results)

实验基于 Qwen2.5 模型（7B 和 3B 作为主智能体，7B 作为排序器），在 7 个 QA 数据集（PopQA, NQ, HotpotQA 等）上进行评估。

整体性能提升：
- 7B 智能体： COSEARCH 相比强基线 Search-R1 相对提升了 6.6% 的 F1 分数，相比固定排序器提升了 2.7%。
- 3B 智能体： 提升更为显著，相比 Search-R1 相对提升了 10.8%，相比固定排序器提升了 2.4%。这表明较弱的推理智能体从检索系统的优化中获益更多。
- 逼近上限： COSEARCH 填补了约 27%（7B 模型）和 26%（3B 模型）的检索性能差距（Gap to Oracle）。
消融实验 (Ablation Study)：
- 移除语义分组： 性能下降最大（相对下降 3.3%），证明了将语义异构的子查询混在一起训练会引入噪声，导致优势估计不稳定。
- 移除复合奖励： 仅移除 $r_{rel}$ 导致性能下降 2.8%，仅移除 $r_{main}$ 下降 1.4%，证明两者互补。
- 架构选择： 共享主干网络（Shared backbone）导致性能下降，交叉编码器（Cross-Encoder）在 RL 下表现不佳，证明了生成式列表排序（Generative Listwise）更适合 RL 优化。
效率分析：
- COSEARCH 的排序质量（Hit@5）在训练过程中稳步超越固定排序器。
- 由于检索质量提高，COSEARCH 完成问答所需的平均搜索轮次（Search Turns）显著减少，更接近 Oracle 水平。

5. 意义与展望 (Significance)

范式转变： 本文打破了“检索系统作为固定工具”的传统假设，证明了检索与推理的联合端到端优化是提升智能体搜索性能的关键。
可扩展性： 提出的语义分组策略和复合奖励机制为在 RL 框架下训练其他工具（Tool）提供了通用思路，特别是当工具输入随推理轨迹变化时。
未来方向： 随着搜索智能体向更复杂的“深度研究”（Deep Research）方向发展，构建能够自适应学习检索策略的代理将是未来的核心要素。COSEARCH 为此提供了一个强有力的基线和设计蓝图。

总结： COSEARCH 通过引入语义分组和复合奖励，成功解决了在强化学习中联合训练推理与检索系统的技术难题，显著提升了智能体在复杂知识密集型任务上的表现，是迈向下一代自适应搜索智能体的重要一步。