💬 NLP

A-MapReduce: Executing Wide Search via Agentic MapReduce

A-MapReduce 是一个新颖的多智能体框架，它利用 MapReduce 范式将宽泛的搜索任务转化为并行的、水平结构的检索过程，从而实现了超越现有顺序智能体系统的最先进性能和显著的效率提升。

原作者： Mingju Chen, Guibin Zhang, Heng Chang, Yuchen Guo, Shiji Zhou

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingju Chen, Guibin Zhang, Heng Chang, Yuchen Guo, Shiji Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 A-MapReduce: 通过智能体 MapReduce 执行广度搜索 (Executing Wide Search via Agentic MapReduce) 的解析，通过简单的概念和日常类比进行了拆解。

核心问题：“无尽走廊” vs. “图书馆”

想象你有一个非常聪明的助手（AI 智能体），你问它一个需要寻找大量信息的问题。

深度搜索 (Deep Search) 就像是要求你的助手解决一道复杂的数学题。他们会进行步步推理，一个接一个地深入逻辑。这运作得很好。
广度搜索 (Wide Search) 就像是要求你的助手：“帮我找遍巴黎前 100 家餐厅，包括它们的地址和星级评分。”

目前的 AI 系统尝试用处理“深度思考”的同样方式来做这种“广度搜索”：它们像是在走一条长长的、单一的走廊，检查完一家餐厅，再检查下一家，接着下一家。

问题在于： 如果列表非常庞大，助手就会迷失方向。他们会忘记之前找到了什么，可能会两次访问同一家餐厅，或者在完成列表之前就耗尽了时间。这就像试图通过一次只走一排书架来清理一座巨大的图书馆，结果走着走着累了，也忘了哪些书已经检查过了。

解决方案：A-MapReduce（“流水线”方法）

作者提出了一个名为 A-MapReduce 的新框架。他们从计算机科学中借鉴了一个概念（MapReduce），并将其应用于 AI 智能体。

不要把 A-MapReduce 看作是一个人在走廊里行走，而要把它看作是一个高度组织化的工厂流水线。

1. “Map”阶段：分解任务

与其让一个智能体做所有事情，不如让系统充当一个项目经理。

类比： 想象你需要为搬家打包 1,000 个箱子。与其让一个人一次只搬一个箱子，不如让项目经理创建一个包含所有 1,000 个箱子的清单（即“任务矩阵”）。
它在做什么： 经理将大问题（“寻找 100 家餐厅”）分解成 100 个微小且具体的任务（“寻找餐厅 A 的信息”、“寻找餐厅 B 的信息”）。
神奇之处： 它不仅仅是列出清单；它还会计算出最佳的分组方式。也许它会按街区进行分组，这样智能体就不需要跑太远。这被称为自适应批处理 (Adaptive Batching)。

2. “Reduce”阶段：整合信息

类比： 一旦 10 个工人（搜索智能体）通过并行工作（同时进行）完成了 100 个箱子的打包，他们都会把箱子送到一个中央站。
它在做什么： 一个“Reducer”智能体会将所有这些零散的信息片段拼接在一起，形成一张完美且有条理的表格。如果某个部分缺失了，系统能精确知道该打开哪个“箱子”进行修复，而不是从头开始。

秘诀所在：“经验记忆” (Experiential Memory)

论文引入了一个特殊功能，叫做经验记忆。这是系统在不需要人类教师的情况下，“从错误中学习”的方式。

类比： 想象一位资深厨师，他已经做过 100 次同样的菜肴了。
- 没有记忆： 每次你要求做这道菜时，厨师都得从头开始，可能会烤焦面包或忘记放调料，因为他不记得上次发生了什么。
- 有了记忆： 厨师有一本“食谱笔记本”。在开始烹饪之前，他会先看一眼笔记本。上面写着：“上次我们按颜色对食材进行分组，节省了 10 分钟。另外，我们忘了检查烤箱温度，所以这次要改进。”
在论文中是如何运作的：
- 当系统完成一项任务后，它会保存一份关于哪些做法有效、哪些无效的笔记。
- 下次遇到类似问题时，它会调取这些笔记。
- 它利用这些笔记来决定：“我应该派 10 个工人还是 50 个？我是应该按城市分组还是按价格分组？”
- 随着时间的推移，由于它不断根据以往的经验来优化自己的“流水线”，系统变得更快、更便宜、更准确。

为什么这很重要（实验结果）

论文在五个基准测试（如“WideSearch”和“DeepWideSearch”）上测试了这个系统，并将其与其它顶尖 AI 系统进行了对比。

它更快： 因为它使用了并行工作的工人（许多智能体同时工作）而不是缓慢的单线模式，它完成任务的速度比其他系统快了 45.8%。
它更便宜： 因为它不会浪费时间重复劳动或迷失方向，所以它在获得相同甚至更好结果的同时，使用了更少的资金（API 成本）。
它更聪明： 由于它能更好地追踪整个列表，确保没有遗漏任何项，因此它在准确性（F1 分数）上获得了更高的分数。

一句话总结

A-MapReduce 将原本混乱、缓慢的海量信息搜索，转变为一条高效、并行的工厂流水线；通过记住哪些做法最有效，它在完成每一项工作时都会变得更加聪明和高效。

技术摘要：A-MapReduce：通过代理式 MapReduce 执行广度搜索

1. 问题陈述

当代基于大语言模型（LLM）的多智能体系统（MAS）在“深度搜索”任务中取得了显著成功，这类任务依赖于迭代的、垂直结构的推理。然而，这些系统在处理广度搜索任务时表现挣扎——这类场景的特征是规模化、面向宽度的检索，其目标是覆盖海量的弱耦合实体并将其聚合为结构化输出。

现有的智能体框架设计围绕顺序的、垂直的推理，在应用于广度搜索时面临两个主要局型限制：

目标管理困境： 大多数 MAS 依赖隐式的对话历史或自由形式的计划来管理检索目标。在长程执行过程中，这会导致条目缺失、重复检索以及目标失准。
执行模式困境： 当前系统通常针对每个查询重新规划执行流水线，而没有抽象或复用跨相似查询的共享结构模式。这阻碍了经验的积累和执行决策的演进。

作者认为，广度搜索不应被建模为一个深度推理问题，而应是一个水平结构的检索问题，需要对大规模检索目标进行组织、分配、跟踪和聚合。

2. 方法论：A-MapReduce

为了应对这些挑战，作者提出了 A-MapReduce，这是一个受数据库系统 MapReduce 范式启发的多智能体执行框架。它将广度搜索重新定义为一个用于结构化检索的分布式计算过程，包含三个核心组件：

A. 代理式 MapReduce 执行

该框架将执行决策显式地结构化为一个三元组 $\Theta_q = (M_q, P_q, B_q)$ ：

任务矩阵 ( $M_q$ )： 编码具有已知属性的 $N$ 个目标实体，作为检索范围的显式 Schema（模式）。
模板 ( $P_q$ )： 与 $M_q$ 的列对齐的带有占位符的特定查询字符串。
分批策略 ( $B_q$ )： 一种离散策略（例如：按原子、按属性或自适应），用于将原子任务划分为不相交的批次。

执行遵循两阶段流水线：

映射阶段（Mapping Stage）： 管理智能体 ( $A_{manage}$ ) 分析查询并结合累积的观察结果，采样出一个高层决策 $\Theta_q$ 。它通过用 $M_q$ 中的行填充模板 $P_q$ 来实例化原子检索任务。随后，这些任务根据 $B_q$ 被划分为若干批次。
归约阶段（Reducing Stage）： 独立的搜索智能体 ( $A_{search}$ ) 并行执行各批次。管理智能体将部分结果聚合为统一表格，根据 Schema 进行验证，并在违反完整性时触发轻量级的“增量补丁（delta-patch）”轮次。

B. 基于经验的演进

A-MapReduce 引入了一种经验记忆机制来驱动执行决策的持续演进。记忆 $\mathcal{M}$ 存储了：

记录集 ( $D$ )： 历史任务级信息，包括查询、实现的决策、执行轨迹和效用反馈。
提示池 ( $H$ )： 从过去成功案例中提炼出的、可复用的结构化提示（例如：最优分批策略或模板约束）。
提炼算子 ( $F_\psi$ )： 将记录整合为集群层级的代表性提示，以防止冗余和语义漂移。

演进循环：

记忆检索： 对于新查询，系统检索语义相似的正向（高收益）和负向（低收益）历史记录。
条件决策采样： 系统通过结合检索到的提示与范例记录，构建一个经验先验 $\Delta_q$ 。该先验作为一个决策锚点，将 $\Theta_q$ 的采样偏置向历史上高收益的决策空间区域。
反馈更新： 执行完成后，系统利用新的记录更新记忆，并根据效用反馈精炼提示得分，从而实现执行效率和鲁棒性的渐进式提升。

3. 核心贡献

本文概述了三个主要贡献：

范式重构： 引入了 A-MapReduce，这是一个开源框架，它将广度搜索重新定义为一个可控的、类 MapReduce 的执行过程。它实现了持久的覆盖率跟踪、并行化的映射以及向 Schema 一致表格的原则性归约。
实践演进： 开发了一种基于经验的演进机制，将 MapReduce 执行与经验记忆相结合。这使得系统能够逐步优化以查询为条件的决策分布，从而实现越来越具适应性和成本效益的执行。
实验评估： 通过五个智能体基准测试进行了全面评估，证明了 A-MapReduce 在显著提高成本效益的同时，达到了最先进的性能水平。

4. 实验结果

作者在 WideSearch、DeepWideSearch 以及由 xBench、WebWalkerQA 和 TaskCraft 构成的 Agentic-Wide Subset 上对 A-MapReduce 进行了评估。

性能： A-MapReduce 在 WideSearch 和 DeepWideSearch 上均取得了最先进的结果。
- 在 WideSearch 上，与包括 OpenAI o3 和 Gemini 2.5 Pro 后台在内的强基准模型相比，其平均 Item F1 提升了 5.64% 至 27.62%。
- 在 DeepWideSearch 上，与开源多智能体框架相比，其核心实体准确率（Core Entity Accuracy）实现了 3.52% 至 19.09% 的绝对增益，Column-F1 提升了 9.71% 至 30.18%。
- 它在 DeepWideSearch 上达到了 4.43% 的成功率，显著优于徘徊在 0–2% 附近的基准模型。
效率与成本：
- 与代表性的多智能体基准相比，A-MapReduce 减少了 45.8% 的运行时间。
- 它实现了卓越的成本-性能权衡，平均每个任务节省 $1.10，并将 API 成本降低了高达 47.5%，同时交付了更高质量的输出。
消融研究： 移除经验记忆会导致 Item F1 下降 5.15%，Row F1 下降 5.73%，且增加了成本。移除结构化决策（任务矩阵或分批策略）会导致性能出现更剧烈的下降，证实了结构化方法的必要性。

5. 意义与主张

论文声称 A-MapReduce 通过将重点从垂直、深度的推理转向水平、结构化的检索，解决了多智能体系统中一个关键的空白。其意义在于：

显式状态管理： 通过将检索目标外显化为与 Schema 对齐的任务矩阵，该框架使执行状态变得可观测且可纠正，从而缓解了长程任务中常见的覆盖丢失和证据碎片化等失效模式。
经验驱动优化： 该框架证明了多智能体系统可以通过从历史中提炼执行模式来“学习如何计划”，而不仅仅是检索更多内容。这实现了在无需重新训练底层 LLM 的情况下，实现效率和鲁棒性的渐进式提升。
可扩展性： 受 MapReduce 启发的的设计允许并行处理海量检索目标，为现有顺序框架无法高效处理的大规模范围信息寻求提供了一个可扩展的解决方案。

作者总结道，A-MapReduce 为广度范围检索提供了一种资源高效且可靠的范式，有望降低大规模部署用于复杂、数据密集型任务的智能体系统的门槛。