SearchMaster: Grounded and Regulated Self-Play for Search Agents
SearchMaster 是一个通过在本地环境中生成并解决任务来训练基于大语言模型的搜索智能体的自博弈框架，它利用证据链生成器、搜索深度奖励和过度开启惩罚来确保高质量、有据可依的数据，从而在不依赖人工标注样本的情况下，显著提升在深度搜索基准测试上的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：计算机不仅仅是在聊天，而是真正地去互联网上探索以寻找答案，就像侦探在图书馆里搜寻线索一样。这就是“搜索智能体”（search agents）的领域——这些基于大语言模型（LLM）构建的智能程序可以阅读网页、点击链接，并将信息拼凑起来以解决复杂的谜题。长期以来，教导这些数字侦探如何做好这份工作一直是个令人头疼的问题。这通常需要昂贵的人类教师来编写完美的搜索示例，甚至需要更强大的 AI 模型来指引方向。但如果 AI 可以自我教学呢？这就是“自我博弈”（self-play）的概念，即 AI 生成自己的挑战并通通过解决这些挑战来进行学习。这就像是一个视频游戏角色，它创建自己的关卡，然后通过玩通关卡来变得更强。然而，核心问题在于：如果 AI 走捷径怎么办？如果它创造了一个看起来很难但实际上是陷阱的谜题，或者如果它通过浅尝辄止而非深挖细究来解决问题，该怎么办？这篇论文正是在应对这个精确的问题，探讨我们如何训练这些搜索智能体，使其在不需要人类手把手引导的情况下，变得诚实、彻底且真正聪明。
由此，SearchMaster 应运而生，这是一个旨在解决 AI 自我博弈中“走捷径”问题的巧妙新框架。把 SearchMaster 想象成一名严格但公正的 AI 侦探队教练。SearchMaster 并没有让 AI 漫无目的地游荡，而是给了它三条特定的规则来遵循，以确保它创造的训练数据确实有用。
首先，AI 必须构建一条证据链（Evidence Chain）。想象一下 AI 正在试图解开一个谜团。它不能在只读了一页之后就直接猜出答案，而是必须将来自不同文档的线索物理性地连接在一起，就像在地图上连点成线一样。如果它无法展示出从一个文档到另一个文档的清晰证据路径，该任务就会被拒绝。这阻止了 AI 制造那些看似困难、实则只需扫一眼就能得到答案的“虚假”难题。
其次，AI 会获得搜索深度奖励（Search-Depth Reward）。在过去，如果 AI 解决了问题，无论它付出了多少努力，都会得到一颗金星。SearchMaster 改变了游戏规则：只有当 AI 真正进行了深度挖掘时，它才会获得高额奖励。如果 AI 通过浏览一页内容就解决了谜题，它只能得到低分；但如果它必须通过搜索许多页面才能找到答案，它就会受到表扬。这鼓励 AI 去创造并解决那些需要真正的、多步骤调查的任务，而不是浅层的猜测。
第三，存在过度开启惩罚（Over-Opening Penalty）。有时，AI 可能会表现得低效或困惑，只是盲目地打开无数文档而不进行实际阅读，希望能撞大运找到答案。SearchMaster 对这种行为进行惩罚。这就像教练在说：“你不能只是把屋子里的每一扇门都打开，你必须寻找正确的钥匙。”这迫使 AI 保持高效，仅在真正需要新信息时才打开文档。
这种严格训练的结果令人印象深刻。当研究人员在标准 AI 模型（具体为 Qwen3.5-9B 骨干网络）上测试其方法时，该模型解决深度搜索问题的能力平均从 38.19% 跳升至 51.52%。在一个名为 BrowseComp-Plus 的特别困难测试中，提升幅度巨大，跃升了 30.1 个百分点（从 30.12% 提升至 60.24%）。最棒的部分在于？AI 全靠自学完成了这一切，它在一个本地搜索环境中运行，没有使用任何人类编写的示例或专家演示。通过将 AI 的学习扎根于真实的证据链并规范其行为，SearchMaster 表明，只要教会 AI 遵守规则，AI 就可以通过自我教学成为一名更优秀的侦探。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。