💬 NLP

MARS: Co-evolving Dual-System Deep Research via Multi-Agent Reinforcement Learning

本文介绍了 MARS，一种新颖的多智能体强化学习框架，它通过协同演化双重认知系统（快速直觉与深思熟虑的推理）来克服大语言推理模型在 Token 效率和知识局限性方面的不足，在无需监督微调的情况下，在知识密集型任务上实现了最先进的性能。

原作者： Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guoxin Chen, Zile Qiao, Wenqing Wang, Donglei Yu, Xuanzhong Chen, Hao Sun, Minpeng Liao, Kai Fan, Yong Jiang, Penguin Xie, Wayne Xin Zhao, Ruihua Song, Fei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“过度思考者”与“过时”的图书馆

想象你有一个才华横溢、超级聪明的助手（AI），他非常擅长解决难题。然而，这个助手有两个主要的缺陷：

过度思考者： 当你要求他阅读一篇简单的文章或总结一个网页时，他有时会陷入“深度思考”模式。他会分析每一个字，在不需要深度分析的事情上浪费时间和精力。这就像是用大锤去砸坚果。
过时的图书馆： 这个助手的知识停留在他们接受训练的那一天。如果你问他关于昨天发生的事情，他会一窍不通。如果没有经过处理，面对海量的新信息，他会因为感到困惑而无法自行查找资料。

解决方案：MARS（双脑协作团队）

研究人员创建了一个名为 MARS 的新系统。他们没有试图用一个大脑去做所有事情，而是借鉴了人类大脑的工作方式，在同一个 AI 内部构建了一支由两个截然不同的“人格”组成的团队：

系统 1（快速侦察兵）： 这是“直觉型”大脑。它快速、高效且擅长扫描。它的任务是观察大量的新信息（比如 10 个不同的网页或研究论文），并迅速提取出最重要的事实。它就像一名在前线奔跑的侦察兵，只带走有用的补给，留下没用的垃圾。
系统 2（深度思考者）： 这是“深思熟虑型”大脑。它缓慢、谨慎，擅长解决复杂的逻辑谜题。它接收来自系统 1 的纯净、提炼后的事实，并利用这些事实来解决实际问题。

神奇之处在于：
在之前的系统中，“侦察兵”和“思考者”是分别进行训练的。侦察兵不知道思考者需要什么，因此它可能会总结一些思考者并不关心的内容，或者遗漏了思考者迫切需要的细节。

在 MARS 中，它们是协同进化的。它们一起训练。侦察兵学会了什么样的信息能帮助思考者解决谜题，而思考者也学会了如何向侦察兵索取正确的东西。它们共享同一个“分数”（奖励），因此它们是一个完美的团队，而不是两个陌生人。

他们是如何训练的：“团队游戏”

为了教会这两个系统在没有人类老师的情况下协作（这种方法被称为“零样本强化学习”，意味着它们从零开始，没有任何预先编写的示例），研究人员使用了一种基于**群体相对策略优化（GRPO）**的聪明训练游戏。

把它想象成一支体育队正在为冠军赛进行练习：

团队集结（装箱问题）： 当团队外出收集信息时，他们可能会发现 10 个不同的网页。一次性阅读这么多内容太多了。该系统使用一种“装箱”策略（就像把杂乱的物品装进购物袋一样）。它将这些杂乱、大小不一的页面组织成整齐、易于处理的块，以便侦察兵可以同时阅读它们而不会感到应接不暇。
计分板（共享奖励）： 团队外出尝试解决一个问题。如果他们答对了，侦察兵和思考者都会得到一分。如果失败了，谁也得不到分。这迫使他们必须合作。
公平竞争（解耦梯度）： 这是最棘手的部分。尽管它们共享分数，但研究人员确保了侦察兵因“总结得好”而获得荣誉，而思考者因“推理得好”而获得荣誉。这就像一场接力赛：如果团队赢了，两名选手都会获得奖牌，但教练知道谁跑了第一棒，谁跑了第二棒。这确保了侦察兵学习的是如何成为更好的侦察兵，而不仅仅是成为更好的思考者。
平衡团队（平衡采样）： 有时侦察兵需要阅读 5 页，有时只需要 1 页。这会导致训练数据的失衡。系统使用一种特殊的采样方法，以确保侦察兵和思考者获得相等的练习时间，从而防止其中一方主导学习过程。

结果：小团队，大胜利

研究人员在名为 HLE（人类最后考试） 的极难考试上测试了 MARS，该考试涵盖了科学、数学和历史等高级课题。

挑战者： MARS 使用了一个相对较小的模型（80 亿参数）。
巨头们： 他们将其与更大的模型（320 亿或 720 亿参数）以及一些来自大科技公司的昂贵的、专有的“超智能”模型进行了对比。
结果： MARS 击败了那些经过人类示例预训练（监督微调）的更大模型。尽管从零开始且没有人类指导，且使用的是更小的“大脑”，它甚至非常接近目前最先进的商业模型的表现。

为什么这很重要（根据论文所述）

论文声称，秘诀不仅在于拥有更多的工具（如搜索引擎或计算器），而是在于伙伴关系。

没有“侦察兵”（系统 1），“思考者”（系统 2）会被过多的原始数据淹没并导致出错。
没有“思考者”（系统 2），“侦察兵”（系统 1）只会进行总结，而无法解决实际问题。
在一起时，它们创造了一个既能阅读海量最新信息，又能高效解决复杂多步推理问题的系统。

简而言之，MARS 教会了 AI 何时应该“快速扫描”，何时应该“深度思考”，以及如何将两者结合，而不至于产生混乱。

技术摘要：MARS —— 通过多智能体强化学习实现协同进化的双系统深度研究

1. 问题陈述

大型推理模型（LRMs）在处理复杂的知识密集型任务时面临两个根本性的局限：

信息处理效率低下： 在面对简单的信息处理任务（例如分析网页或总结论文）时，LRMs 倾向于“过度分析”，消耗过多的推理 Token。这限制了它们处理深度研究所需的大量外部信息的能力。
静态知识： LRMs 受限于其训练数据的知识截止日期，如果不使用外部工具，则无法获取最新信息。

现有的将推理模型与外部工具结合的方法（如 WebThinker、Search-R1）通常采用固定或独立训练的信息处理器。这些处理器并未针对特定的下游推理任务进行优化，导致出现了不匹配的情况：处理器要么提供过多无关信息（信息过载），要么遗漏关键细节（信息丢失）。此外，这些系统通常依赖于在精选轨迹上的监督微调（SFT），这可能导致泛化能力不足或扩展效率低下。

2. 方法论

作者提出了 MARS（多智能体深度研究系统），这是一个通过多智能体强化学习（MARL）使单个大语言模型（LLM）内部的两个认知系统实现协同进化的框架。

2.1 双系统协作框架

受人类认知双过程理论的启发，MARS 集成了两个系统：

系统 1（快速、直觉型）： 负责高吞吐量的信息处理。它根据系统 2 提供的特定“目的”（purpose），从原始工具输出（如搜索结果、论文）中提炼关键信息。
系统 2（慢速、审慎型）： 负责战略推理、规划和工具调用。它维持推理上下文，并决定何时调用工具以及需要什么信息。

工作流：

系统 2 分析当前上下文并生成一个推理步骤，可以选择性地请求一个带有特定目的 ( $p_i$ ) 的工具。
外部环境执行工具，返回原始输出（可以是多个、长度可变的文档）。
装箱优化（Bin-Packing）： 为了高效处理变长输出，采用首次适应递减（FFD）算法将这些输出组织成最优大小的块（chunks）。
系统 1 根据目的 $p_i$ 并行处理这些块，以提取精炼后的信息 ( $\tilde{o}_i$ )。
精炼后的信息被拼接进上下文，供系统 2 的下一轮迭代使用。

2.2 多智能体优化策略

作者将 组相对策略优化（GRPO） 扩展到多智能体设置中，通过三项关键创新来确保稳定且有效的联合训练：

解耦梯度计算： 尽管系统 1 和系统 2 共享同一个轨迹级奖励，但它们的梯度更新是解耦的。
- 系统 2 的损失仅在推理和规划 Token 上计算，屏蔽了系统 1 的输出 Token。
- 系统 1 的损失仅在其基于装箱输入的提炼输出上计算。
- 这确保了正确的信用分配（credit assignment）：系统 2 学习更好的规划/目的，而系统 1 学习针对这些特定目的的更好提取策略。
装箱优化： 为了实现系统 1 的并行处理，变长工具输出按长度排序并打包进符合模型上下文窗口大小的“箱”中。这减少了系统 1 所需的生成步数。
优势加权平衡采样： 在一次展开（rollout）中，系统 2 生成固定数量的样本（每个轨迹一个），而系统 1 生成变量数量的样本（取决于工具调用和箱的数量）。为了防止其中一个系统主导学习过程：
- 在一组样本内预先计算所有样本的优势值（advantages）。
- 然后对系统 1 的样本进行下采样或通过随机复制进行上采样，使其与系统 2 的样本数量匹配，从而在保持统计完整性的同时实现平衡优化。

2.3 训练设置：“零 RL”（Zero RL）

MARS 的一个关键方面是其训练机制。它在 “零 RL” 设置下运行：

模型直接从基座模型（例如 Qwen2.5-7B 或 Qwen3-8B）开始训练。
不使用监督微调（SFT） 或从更强的模型进行策略蒸馏。
这与依赖 SFT 热身阶段的基线（如 WebThinker）形成对比，从而能够直接评估多智能体 RL 框架本身的有效性。

3. 核心贡献

协同进化框架： 引入了 MARS，这是一个双系统框架，其中系统 1（信息处理）和系统 2（推理）通过共享的轨迹奖励进行联合优化。这使得系统 1 能够学习任务相关的知识提炼，而非通用的摘要生成。
适配的 GRPO 用于多智能体 RL： 开发了三种特定技术以实现稳定的联合训练：用于信用分配的解耦梯度、用于并行处理的装箱技术，以及优势加权平衡采样。
Zero RL 性能： 证明了在没有 SFT 的情况下，通过 8B 参数模型训练出的模型可以超越较大的、经过 SFT 训练的基线模型，并接近商业闭源模型。

4. 实验结果

作者在包括 Humanity's Last Exam (HLE) 和 7 个知识密集型问答任务在内的多个基准测试中评估了 MARS。

Humanity's Last Exam (HLE)：
- MARS (8B) 达到了 8.17% 的准确率。
- 这超越了 WebThinker（32B，带 SFT，6.87%）和 C-3PO（72B，带 SFT，5.79%）。
- 它缩小了与 Claude 3.7 Sonnet (7.89%) 和 o1 (7.75%) 等商业模型的差距。
- 这种提升在各个学科领域（生物/医学、计算机/AI、数学等）都是广泛存在的，并非局限于单一领域。
知识密集型问答任务：
- MARS 在 7 个任务（包括 NQ、TriviaQA、HotpotQA 等）中，比 C-3PO 基线平均提升了 8.9%。
- 在多跳推理（multi-hop reasoning）方面的增益尤为显著（比 C-3PO 高出 12.2%），这表明该框架能够处理需要多次“检索-推理”迭代的复杂推理链。
消融实验：
- 移除系统 1： 移除系统 1（迫使系统 2 直接处理原始工具输出）导致 HLE 准确率下降了 1.91% (7.38% $\to$ 5.47%)。这证实了系统 1 会积极协同进化以提取任务相关信息，而非仅仅作为一个被动的摘要器。
- 工具使用： 模型学会了有效地利用多种工具（搜索、Scholar、Python）。移除任何单一工具（尤其是 Search 或 Python）都会显著降低特定领域的表现。
- 训练动态： 分析显示，随着训练的进行，模型从保守的“单次尝试”式检索转向迭代式的证据收集，同时系统 1 有效地过滤了噪声。

5. 意义与主张

本文声称 MARS 展示了通过多智能体强化学习实现协同进化双系统架构的可行性，且无需依赖监督微调。

效率 vs. 容量： 该框架成功解决了处理大量外部信息与维持推理质量之间的权衡。系统 1 处理“阅读负载”，让系统 2 能够专注于复杂推理而不受上下文稀释的影响。
学习到的专业化： 结果表明，“最优信息提炼策略”并非静态的，而是取决于具体的推理任务。通过协同进化，系统 1 学习到了专门为系统 2 提供有用见解的提取能力，而这种能力是固定的提示词或独立训练无法实现的。
可扩展性： “Zero RL” 的成功表明，多智能体 RL 框架本身就是一个强大的性能驱动力，可能降低对大规模模型规模或昂贵 SFT 数据集的依赖。

作者强调，这种方法通过使模型能够在保持强大多步推理能力的同时合成最新的信息，提高了深度研究的可靠性，在教育和科学文献综述等领域具有潜在应用价值。他们同时也指出，在涉及高风险的场景中，存在关于误导性信息的潜在风险，并需要人工监督。