🤖 AI

WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning

本文提出了通过多智能体强化学习训练的 WideSeek-R1 框架，利用“主智能体 - 子智能体”架构实现并行化广度信息搜索，证明了在 4B 参数规模下其性能可媲美 671B 参数的单智能体模型，并展示了宽度扩展的有效性。

原作者： Zelai Xu, Zhexuan Xu, Ruize Zhang, Chunyang Zhu, Shi Yu, Weilin Liu, Quanlu Zhang, Wenbo Ding, Chao Yu, Yu Wang

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Zelai Xu, Zhexuan Xu, Ruize Zhang, Chunyang Zhu, Shi Yu, Weilin Liu, Quanlu Zhang, Wenbo Ding, Chao Yu, Yu Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 WIDESEEK-R1 的新系统，它解决了一个大问题：当任务变得非常庞大和复杂时，单个超级大脑（大模型）往往忙不过来，这时候该怎么办？

简单来说，以前的研究都在拼命把单个模型“练”得更强（这叫深度扩展，就像让一个超级侦探独自去查案，哪怕要查几千条线索，他也得一条一条查，查到最后可能脑子都乱了）。

而这篇论文提出了一个全新的思路：“广度扩展”（Width Scaling）。它的核心思想是：与其让一个人累死，不如组建一个高效的团队，大家分工合作，同时干活。

下面我用几个生动的比喻来解释这个系统是如何工作的：

1. 核心比喻：从“超级侦探”到“高效情报局”

旧模式（深度扩展）： 想象一个超级侦探（单个大模型）。他记忆力超群，推理能力极强。但是，如果让他去查“全世界所有大学校长的名字和建校年份”，他只能一个人查。查完哈佛查普林斯顿，再查耶鲁……查着查着，前面的信息就忘了（这叫“上下文污染”），而且效率极低，因为他是串行工作的（一次只能做一件事）。
新模式（WIDESEEK-R1，广度扩展）： 想象一个情报局。
- 局长（Lead Agent）： 他不需要自己查资料，他的工作是分派任务。他接到“查所有大学”的指令后，迅速把任务拆解成：“你查哈佛”、“你查普林斯顿”、“你查耶鲁”……
- 特工们（Subagents）： 这些是平行工作的。局长一声令下，10 个特工同时出发去查不同的学校。
- 结果： 10 个特工同时干完，局长把大家的情报汇总，瞬间就得到了答案。

2. 这个系统是怎么“学会”合作的？（多智能体强化学习）

以前很多多智能体系统（多机器人/多模型系统）就像是一群没有经过训练、只会按死板流程办事的机器人。比如：“局长必须先说话，然后特工 A 说话，再特工 B 说话……"这种轮流说话的方式，其实并没有真正发挥“并行”的优势，效率还是很低。

WIDESEEK-R1 的厉害之处在于“训练”：
作者用了一种叫多智能体强化学习（MARL） 的方法。

比喻： 就像在训练一支特种部队。
- 他们不是靠死记硬背操作手册（人工编写的工作流）。
- 而是通过成千上万次的“实战演习”（在 2 万个复杂的搜索任务中训练）。
- 如果局长分派任务不合理，或者特工们没查清楚，整个团队就“扣分”（奖励低）。
- 如果局长能精准拆解任务，特工们能同时高效查资料并汇总，团队就“加分”（奖励高）。
- 久而久之，局长学会了如何完美指挥，特工们学会了如何高效执行，他们之间形成了一种默契的“化学反应”。

3. 为什么这很重要？（小模型也能干大活）

论文里有一个非常惊人的发现：

DeepSeek-R1-671B：这是一个拥有 6710 亿 参数的超级大模型（像是一个拥有整个图书馆知识的超级天才），它单打独斗，查这些宽泛信息的效果很好。
WIDESEEK-R1-4B：这是一个只有 40 亿 参数的小模型（像是一个普通大学生），但它通过“组队 + 强化学习”，效果竟然和那个超级天才差不多！

这意味着什么？
这意味着我们不需要再死磕着去造那种几百亿、几千亿参数的“超级大脑”了。只要组织得当，让一群小模型通过并行协作，就能解决超级复杂的问题。这大大降低了算力成本，让普通公司甚至个人也能用得起强大的 AI 系统。

4. 他们是怎么造数据的？（自动化的“出题老师”）

为了训练这个系统，他们需要大量的“考题”。以前的题目大多是“查一个具体事实”（深度），但这次需要“查一大片信息”（广度）。

作者开发了一个全自动流水线，像是一个不知疲倦的出题机器。
它从维基百科等地方抓取信息，自动生成像“列出前 20 个最大人口国家及其首都”这样的复杂表格任务。
然后让 AI 自己生成答案，再互相核对，确保题目和答案都是高质量的。
最终，他们造出了 2 万个 这种“广度搜索”的练习题，专门用来训练这个“情报局”。

总结

WIDESEEK-R1 告诉我们：
在 AI 的世界里，“人多力量大”不仅仅是口号，更是一种新的技术路径。

以前： 我们追求让一个人变得无所不能（深度）。
现在： 我们学会了如何让一群人（多智能体）高效协作（广度）。

通过让一个小模型学会如何指挥团队和并行工作，它就能完成以前只有超级大模型才能完成的复杂任务。这就像是用一群训练有素的蚂蚁，通过完美的协作，搬动了一只大象。

这篇论文不仅提出了一个新的模型，还开源了数据和代码，为未来“小模型 + 大协作”的 AI 时代打下了基础。

WIDESEEK-R1 技术总结

1. 研究背景与问题定义 (Problem)

背景：
近年来，大语言模型（LLM）的进展主要集中在深度扩展（Depth Scaling），即通过增加推理步数（多轮思考、工具调用）让单个智能体解决长程任务。然而，随着任务范围变广（Broad Information Seeking），瓶颈从“个体能力”转移到了“组织能力”。

核心问题：
在**广泛信息检索（Broad Information Seeking）**任务中（例如：收集并整理多个实体的属性生成表格），传统单智能体方法存在两大局限：

上下文污染（Context Pollution）： 随着任务推进，无关信息积累导致模型性能下降。
串行执行效率低： 单智能体必须按顺序处理独立子任务，无法利用并行计算优势。

现有的多智能体系统通常依赖人工设计的固定工作流（Hand-crafted workflows）和轮流交互（Turn-taking），缺乏端到端的可扩展编排能力，且无法有效并行化子任务，导致扩展性受限。

2. 方法论 (Methodology)

作者提出了 WIDESEEK-R1，一个基于**多智能体强化学习（MARL）训练的“主智能体 - 子智能体（Lead-Agent–Subagent）”框架，旨在通过宽度扩展（Width Scaling）**解决广泛信息检索问题。

2.1 系统架构

共享模型： 主智能体和子智能体均使用同一个基础 LLM（Qwen3-4B），但拥有隔离的上下文和专用工具。
主智能体（Lead Agent）：
- 职责： 任务分解与多轮编排。
- 工具： 仅使用 call_subagent 工具。它将广泛目标分解为独立的子任务，并生成清晰的提示词分发给子智能体。
- 机制： 主智能体在子智能体完成所有并行任务前保持空闲，确保上下文清晰，避免污染。
子智能体（Subagents）：
- 职责： 并行执行信息检索。
- 工具： 拥有 search（搜索）和 access（访问网页）工具。
- 机制： 在隔离的上下文中并行运行，利用多轮工具调用收集信息并返回结果。

2.2 训练方法：多智能体强化学习 (MARL)

基于 GRPO (Group Relative Policy Optimization) 进行了关键改进，以支持多智能体协同训练：

多智能体优势分配（Multi-Agent Advantage Assignment）：
- 不再为每个智能体单独计算奖励，而是基于整个多智能体系统的最终结果（如答案与真值的匹配度）计算组级奖励 $R_i$ 。
- 对同一组（Group）内的所有智能体和所有 Token 分配相同的优势值（Advantage），通过组归一化（Group Normalization）稳定训练，避免奖励黑客（Reward Hacking）。
双层级优势重加权（Dual-Level Advantage Reweighting）：
- Token 级重加权： 针对多轮对话，根据每轮生成的 Token 数量对优势值进行加权，避免长轮次被稀释。
- Agent 级重加权： 针对多智能体系统，对同一组内的不同智能体进行平均。这防止了拥有大量子智能体的 rollout 主导梯度，确保只有当增加子智能体真正提升最终奖励时，系统才会学习增加并行度。

2.3 数据构建

为了支持 MARL 训练，作者构建了一个包含 20,000 个广泛信息检索任务的自动化数据集：

流程： 从 HybridQA 提取意图 -> 生成复杂查询（要求特定表格结构） -> 利用模型生成两个独立答案 -> 基于一致性过滤（Cell-wise match > 0.9）和难度过滤。
特点： 数据包含 10-50 行，强制要求结构化表格输出，填补了现有数据集多关注“深度推理”而缺乏“广度检索”的空白。

3. 主要贡献 (Key Contributions)

提出 WIDESEEK-R1 框架： 首个通过 MARL 端到端训练的主 - 子智能体系统，实现了可扩展的编排与并行执行的协同优化。
开源大规模数据集： 发布了包含 20k 广泛信息检索任务的专用数据集，为多智能体训练提供了互补资源。
验证宽度扩展的有效性： 证明了在参数规模远小于单一大模型的情况下，通过宽度扩展（增加并行子智能体数量）可以持续提升性能，打破了深度扩展的边际效益递减瓶颈。

4. 实验结果 (Results)

4.1 基准测试 (WideSearch Benchmark)

性能对比： WIDESEEK-R1-4B 在 WideSearch 基准测试中取得了 40.0% 的 Item F1 分数。
横向对比：
- 显著优于所有 4B/8B 参数量的基线模型（包括单智能体和多智能体）。
- 与巨型模型媲美： 其性能与单智能体 DeepSeek-R1-671B（671B 参数）相当，但参数量仅为后者的 1/170。
- 相比未训练的 Qwen3-4B 多智能体基线，Item F1 提升了 8.8%。

4.2 扩展性分析 (Scaling Properties)

深度扩展（Depth）： 单智能体随着轮数增加，性能迅速达到平台期（受限于上下文长度）。
宽度扩展（Width）：
- 未训练的基线模型在增加子智能体数量时，由于噪声累积，性能先升后降。
- WIDESEEK-R1-4B 随着并行子智能体数量增加（从 1 到 10），性能持续线性增长，证明了 MARL 成功学会了如何有效协调并行任务。

4.3 消融实验

联合优化必要性： 只有当主智能体和子智能体同时经过 MARL 训练时，性能最佳。单独训练任一部分都会导致性能下降，证明了端到端联合优化的重要性。
数据混合： 混合“广度数据”（广泛检索）和“深度数据”（多跳推理）训练的模型表现最好，说明两者能力互补。

4.4 通用能力

在标准 QA 基准（单跳和多跳）上，WIDESEEK-R1-4B 也超越了同规模的其他多智能体框架（如 OWL-8B, MiroFlow-8B），证明该方法未牺牲通用推理能力。

5. 意义与影响 (Significance)

范式转变： 从单纯追求“更大参数、更深推理”（深度扩展）转向“更优组织、并行协作”（宽度扩展），为 LLM 能力扩展提供了新的维度。
成本效益与民主化： 证明了使用 4B 参数的小模型，通过多智能体协作，可以达到 671B 大模型的性能。这极大地降低了高性能推理系统的计算门槛，使资源有限的机构也能部署强大的智能系统。
解决特定任务瓶颈： 针对广泛信息检索、数据收集等需要处理大量独立实体的任务，提供了一种比单一大模型更高效、更抗干扰的解决方案。
未来方向： 强调了多智能体系统从“人工编排”向“端到端学习编排”转变的潜力，为构建更复杂的自主智能体组织（Organizational Capability）奠定了基础。

总结： WIDESEEK-R1 通过引入多智能体强化学习和宽度扩展策略，成功解决了广泛信息检索中的上下文污染和串行效率问题，以极小的参数量实现了媲美超大规模单智能体的性能，是 LLM 多智能体协作领域的重要突破。