💬 NLP

ZeroSearch: Incentivize the Search Capability of LLMs without Searching

ZeroSearch 是一种新颖的强化学习框架，它通过采用轻量级、基于课程设计的模拟搜索模块，有效激励并增强大语言模型的搜索能力，从而克服了真实世界搜索引擎训练中成本高和数据质量不稳定的问题。

原作者： Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位聪明但缺乏经验的学生（即人工智能）如何通过查阅图书馆中的线索来解决复杂谜题。通常，为了传授这项技能，每当学生提问时，你都得派他们去真实的图书馆。

真实图书馆的问题：

不可预测的书籍：有时图书管理员会递给他们一本完美且有用的书；而有时，他们得到的却是一本破损、过时或完全错误的小册子。这使得学生难以进行一致性的学习。
昂贵的门票：学生每次前往图书馆都需要花费巨资。如果学生需要往返数千次才能掌握要领，预算会立刻崩溃。

解决方案：ZEROSEARCH（“虚拟图书馆”）
通义实验室的研究人员创造了一种巧妙的训练方法，称为ZEROSEARCH。他们不再将学生派往真实图书馆，而是利用另一款人工智能，在教室内部构建了一个模拟图书馆。

以下是其逐步工作原理：

1. “扮演”图书管理员

首先，研究人员对一款标准人工智能进行快速、轻量级的训练（如同速成班），教导它扮演图书管理员的角色。

魔法技巧：他们可以明确指示这位“图书管理员人工智能”提供何种类型的书籍。
如果他们说：“给我有用的书籍”，该人工智能就会生成完美、准确的文档。
如果他们说：“给我嘈杂的（令人困惑或错误的）书籍”，该人工智能就会生成垃圾内容。
为何这很重要：在真实图书馆中，你无法控制图书管理员能找到什么；而在这里，教师可以完全掌控“线索”的质量。

2. “循序渐进难度”游戏（课程学习）

研究人员不会立即将学生扔进深水区。他们采用课程展开策略，这就像一款难度逐级提升的电子游戏：

第 1 关（简单）：图书管理员人工智能只递送完美、有用的书籍。学生学习基本规则：“提出问题，获得答案，解开谜题。”
第 2 关（中等）：图书管理员开始混入一些令人困惑或略有错误的书籍。学生必须学会过滤掉不良信息。
第 3 关（困难）：图书管理员递送的大多是垃圾内容。此时，学生必须化身侦探，找出哪一条微小的信息才是真实的。

当学生完成训练时，他们已擅长从不良信息中筛选内容，能够完美应对真实图书馆。

3. 结果：更经济、更智能

该论文使用不同规模的人工智能“学生”（从 30 亿参数的小型模型到 140 亿参数的较大模型）测试了这种方法。

成本：由于他们从未调用真实图书馆（Google），因此节省了巨额资金。“虚拟图书馆”运行在他们自己的服务器上，这比支付数千次真实搜索 API 调用的费用要便宜得多。
性能：
- 经过此方法训练的小型人工智能，其表现与使用真实搜索引擎训练的人工智能一样出色。
- 中型人工智能（70 亿参数）达到了真实搜索引擎的水平。
- 大型人工智能（140 亿参数）实际上超越了真实搜索引擎！
泛化能力：这种方法适用于不同类型的人工智能模型，无论是“原始”（Base）模型还是“经过指令微调”（Instruct）的模型。

核心结论

ZEROSEARCH 是一种教导人工智能如何搜索网络的方法，且在训练过程中无需真正接触网络。通过使用一个可控的“虚假”搜索引擎，从简单开始并逐步增加难度，人工智能学会了成为更出色的侦探，节省了巨额 API 费用，并最终取得了比在混乱、不可预测的真实互联网上进行训练更好的表现。

技术摘要：ZEROSEARCH

问题陈述

有效的信息检索对于增强大型语言模型（LLM）的推理和生成能力至关重要，特别是在缓解幻觉和获取最新知识方面。尽管近期研究已探索利用强化学习（RL）训练 LLM 与实时搜索引擎（如 Google）交互，但这些方法在可扩展性方面面临两大显著障碍：

文档质量不可控：真实搜索引擎返回的文档具有不可预测性，给训练过程引入了噪声和不稳定性。
API 成本高得令人望而却步：RL 训练需要频繁的 rollout（ rollout 指策略执行过程），可能涉及数十万次搜索请求。通过商业 API（如 SerpAPI）进行此类操作会产生巨额费用，严重限制了此类方法的可扩展性。

依赖静态语料库的现有解决方案无法捕捉真实世界搜索的复杂性，而使用实时引擎的方案则成本过高且不稳定。

方法论

作者提出了ZEROSEARCH，这是一种新颖的 RL 框架，旨在激励 LLM 利用搜索能力，同时在训练过程中不与真实搜索引擎交互。其核心见解是：LLM 从预训练中拥有广泛的世界知识，如果得到适当引导，可以模拟搜索引擎的行为。

该框架包含三个主要组成部分：

1. 搜索模拟微调

作者不单纯依赖提示（prompting），而是采用**轻量级监督微调（SFT）**将 LLM 转化为“检索模块”。

数据构建：收集 LLM 与真实搜索引擎交互的轨迹数据，并提取查询 - 文档对。
质量控制：利用一个 LLM 作为评判者，将文档标记为“有用”（包含充分信息）或“噪声”（信息不足）。
提示设计：对模拟 LLM 进行微调，使其能够针对查询生成有用或噪声文档。关键在于，通过调整提示中的特定关键词（例如“生成 [有用/噪声] 文档”）来动态控制输出质量。这使得系统能够模拟不同难度的检索场景。

2. 基于课程学习的 Rollout 策略

为了逐步激发模型的推理能力，ZEROSEARCH 在 RL rollout 阶段采用了课程学习机制。

动态难度：在训练过程中，生成文档的质量逐渐降低。
概率函数：概率函数 $p_i$ 控制在第 $i$ 个训练步生成噪声文档的可能性：
$p_i = p_s + \frac{b^{i/m} - 1}{b - 1}(p_e - p_s)$
其中 $p_s$ 和 $p_e$ 分别是初始和最终的噪声概率， $m$ 是总步数， $b$ 是指数底数（默认为 4）。
进阶过程：策略模型首先利用高质量（有用）文档学习基本输出格式和任务要求，随后逐渐适应日益具有挑战性和噪声的检索场景。

3. 训练算法与奖励设计

算法：该框架兼容多种 RL 算法，包括 REINFORCE、近端策略优化（PPO）和组相对策略优化（GRPO）。
损失掩码：为确保训练稳定性，对模拟 LLM 返回的文档 token 应用损失掩码机制。梯度仅针对策略模型自身的输出（推理和答案）计算，防止由外部生成的 token 引起的不稳定性。
奖励函数：使用基于规则的、关注答案准确性的奖励。为防止“奖励黑客”行为（例如生成过长的答案以增加匹配几率），作者采用F1 分数而非精确匹配（EM）。

主要贡献

新颖的 RL 框架：ZEROSEARCH 使 LLM 能够在训练期间不与真实搜索引擎交互的情况下学习搜索策略，有效消除了对昂贵且受速率限制的 API 的依赖。
可控模拟：通过 SFT，作者将 LLM 转化为检索模块，能够生成有用和噪声文档，从而实现对文档质量的显式控制。
课程式 Rollout：引入课程机制逐步降低文档质量，帮助模型在应对复杂、噪声场景之前掌握搜索工具的使用。
可扩展性与泛化性：该方法展示了强大的可扩展性（通过 GPU 并行加速），并在不同参数规模（3B、7B、14B）的基础模型和指令微调模型上表现出良好的泛化能力。

实验结果

作者在多样化的问答基准测试中评估了 ZEROSEARCH，包括单跳（NQ、TriviaQA、PopQA）和多跳（HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle）数据集。

性能与真实搜索对比：ZEROSEARCH 始终优于基线方法，包括依赖真实搜索引擎的方法（如 Search-R1）。值得注意的是，7B 模拟模块达到了与真实搜索引擎相当的性能，而 14B 模拟模块则超越了真实搜索引擎。
成本效益：该框架产生零 API 成本。成本分析显示，使用 64,000 次请求的真实搜索方法（通过 SerpAPI）成本约为 586.70 美元，而使用 GPU 服务器的模拟方法，根据模型规模不同，成本约为 17.70 至 70.80 美元。
泛化性：该方法对基础模型和指令微调模型均有效，并兼容 REINFORCE、PPO 和 GRPO。
消融研究：
- 模拟质量：经过微调的模拟引擎（SFT）显著优于基于提示的方法。较大的模拟模型（14B）比较小的模型（3B）产生更好的策略性能。
- 课程有效性：课程式 rollout 策略（由易到难）显著优于随机 rollout 基线。
- 损失掩码：移除文档 token 的损失掩码会导致奖励大幅下降和训练不稳定。

意义与主张

本文主张 ZEROSEARCH 为 RL 训练中的真实世界搜索引擎集成提供了一种实用、经济且稳定的替代方案。通过模拟具有可控噪声水平的搜索环境，该框架使模型能够在没有实时 API 的财务和稳定性约束的情况下学习鲁棒的搜索策略。作者认为，这种方法可以显著降低 RL 训练成本，并鼓励未来研究利用 LLM 作为真实世界任务的模拟器。

该工作强调，通过适当的模拟和课程设计，较小的模型（如 7B）可以有效地激励出搜索能力，其表现可与甚至超越在真实、噪声且昂贵的网络数据上训练的模型。