Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks

该论文提出了名为 AggAgent 的聚合智能体，通过将并行轨迹视为环境并利用轻量级工具按需检索与合成信息，有效解决了长周期代理任务中并行测试时扩展的聚合难题，在多个基准测试中显著优于现有方法且开销极低。

要点

这篇论文介绍了一种名为 AggAgent 的新方法，旨在解决大型人工智能（AI）在处理复杂、长周期任务（比如深度研究、网络搜索、写长篇报告）时遇到的一个核心难题：如何把多个 AI 的“尝试”整合成最好的答案？

为了让你轻松理解，我们可以用一个生动的比喻来贯穿全文：

🏛️ 核心比喻：超级侦探事务所

想象你是一家超级侦探事务所的老板。你接到了一个非常棘手的案子（比如：“找出 1990 年世界最高楼列表中，第 44 到 46 名建筑所在城市，在 2024 年 1 月 2 日谁是最年长的市长？”）。

这个案子太难了，线索分散，需要查阅大量旧报纸、数据库，还要推理。

1. 传统的做法（并行采样）

你派出了 8 名侦探（AI 模型）同时去查案。

• 侦探 A 查到了线索，但最后算错了。
• 侦探 B 查到了关键证据，但没注意到一个细节。
• 侦探 C 完全走错了路。
• 侦探 D 查到了正确答案，但报告写得太乱。

现在，你手里有 8 份长长的、杂乱的调查笔记（这就是论文说的“轨迹”）。你的任务是：如何从这 8 份笔记里，拼凑出唯一的、完美的结案报告？

2. 以前的笨办法（现有聚合方法）

以前的老板（现有的 AI 聚合方法）通常用这两种方式：

• 方法一：少数服从多数（投票法）
  • 做法：问 8 个侦探：“你们觉得答案是什么？”如果 5 个人说“休斯顿”，你就选休斯顿。
  • 缺点：如果正确答案其实藏在少数派（比如只有 1 个侦探查对了，但他声音小），这个方法就完全失效了。而且，它忽略了侦探们推理过程中的精彩细节。
• 方法二：摘要法（Summary Aggregation）
  • 做法：让一个秘书把 8 份几千页的笔记，强行压缩成 8 页的“摘要”，然后再让老板看摘要做决定。
  • 缺点：信息丢失严重！ 就像把一部精彩的侦探小说压缩成“凶手是 A"，你丢掉了所有推理过程、证据链和反转。对于复杂的长任务，这种压缩是致命的。
• 方法三：全文堆砌法
  • 做法：把 8 份几千页的笔记全部塞进老板的脑子里。
  • 缺点：老板的脑子（上下文窗口）装不下！直接崩溃。

3. 我们的新方案：AggAgent（智能聚合代理）

这篇论文提出了 AggAgent，它不是简单的“投票者”或“摘要员”，而是一位拥有超能力的“总侦探”（Aggregation Agent）。

AggAgent 是怎么工作的？

它把 8 份调查笔记看作一个巨大的“证据库”，而不是死板的文本。它手里拿着三把轻量级的“魔法钥匙”（工具），可以按需打开证据库：

1. 🔑 钥匙一：查看最终结论 (get_solution)
   • 先快速扫一眼 8 个侦探最后都写了什么答案。
2. 🔑 钥匙二：关键词搜索 (search_trajectory)
   • 如果侦探 A 说“市长是约翰”，侦探 B 说“市长是玛丽”，AggAgent 不会瞎猜。它会立刻在侦探 A 的笔记里搜索“约翰”，看看他是怎么找到这个名字的？有没有证据支持？
3. 🔑 钥匙三：调阅原始档案 (get_segment)
   • 如果搜索发现侦探 A 的推理有漏洞（比如他看错了日期），AggAgent 会直接调取那段原始的、未经修改的调查记录（比如当时的网页截图或数据库记录），亲自核实。

AggAgent 的绝招：

• 它不依赖直觉：它不看谁声音大（投票），也不看谁看起来自信（置信度）。
• 它像侦探一样思考：它会发现，“虽然 7 个侦探都选错了，但侦探 3 虽然结论错了，但他引用的原始证据其实是正确的，只是他理解错了。让我把侦探 3 的证据和侦探 5 的推理结合起来……"
• 它只读需要的部分：它不需要把 8 份几千页的笔记全读一遍，而是像用搜索引擎一样，按需读取关键片段。这既省时间，又不会让脑子过载。

🚀 为什么这很重要？（论文结论）

1. 更聪明：在 6 个不同的复杂任务测试中，AggAgent 的表现全面碾压了以前的所有方法。特别是在需要深度研究的任务上，它比第二名高出 10% 以上。
2. 更省钱：以前的“摘要法”需要额外花很多钱去压缩文本。AggAgent 就像是一个只读关键信息的精算师，它的额外成本几乎可以忽略不计（只相当于多跑了一次侦探的行程）。
3. 能“无中生有”：最神奇的是，有时候没有任何一个侦探单独做对了，但 AggAgent 通过拼凑不同侦探的正确碎片（比如侦探 A 找对了时间，侦探 B 找对了地点），最终拼出了完全正确的答案。

📝 一句话总结

AggAgent 就像是一位拥有“上帝视角”的总指挥，它不盲目投票，也不盲目压缩，而是像一位经验丰富的侦探长，在多个 AI 的尝试中灵活地搜索、核对、拼凑线索，用最低的成本，从混乱中提炼出最完美的真相。

这就好比在 8 个迷路的人中，你不需要听他们所有人的抱怨，也不需要把他们的地图全撕碎了重画，而是直接问：“谁手里有正确的路标？”然后结合大家的碎片信息，直接画出那条通往终点的完美路线。

技术摘要

这篇论文提出了一种名为 AggAgent 的新框架，旨在解决长程智能体（Long-Horizon Agentic Tasks）在并行测试时扩展（Parallel Test-Time Scaling）过程中的聚合难题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 背景：大语言模型（LLM）在推理任务（如数学、代码）中，通过并行生成多个推理轨迹（Rollouts）并进行聚合（如多数投票、最佳选择），已被证明能显著提升性能。然而，这种策略在长程智能体任务（如深度研究、代理搜索、软件工程）中尚未得到充分探索。
• 核心挑战：
  1. 轨迹复杂性：智能体任务涉及多轮交互、工具调用（如搜索、代码执行）和观察，轨迹长度极长（数千至数万个 Token），且包含丰富的中间推理过程。
  2. 现有聚合方法的局限性：
     • 仅聚合最终答案 (Solution Aggregation)：丢弃了轨迹中丰富的中间证据和推理过程，导致无法纠正最终答案中的逻辑错误。
     • 轨迹摘要聚合 (Summary Aggregation)：将每条长轨迹压缩为摘要。这会导致不可逆的信息丢失（Lossy），且需要额外的 $K$ 次 LLM 调用，成本高昂。
     • 全量拼接 (Concatenation)：将所有 $K$ 条轨迹拼接到一个上下文中，超出了模型的最大上下文窗口限制，且计算成本过高。
  3. 信息稀疏性：正确答案的证据可能分散在不同的轨迹中，或者被错误的推理掩盖，简单的启发式投票（如多数投票）往往失效。

2. 方法论：AggAgent (Methodology)

作者提出 AggAgent，将“聚合”本身视为一个智能体任务。AggAgent 不直接读取所有轨迹，而是将并行生成的 $K$ 条轨迹视为一个交互式环境，通过轻量级工具按需检索和合成信息。

核心设计

• 环境交互：AggAgent 不预加载所有轨迹到上下文，而是将轨迹存储在内存数组中，作为环境的一部分。
• 轻量级工具集：AggAgent 配备三个核心工具，用于按需访问轨迹内容：
  1. get_solution(traj_id): 获取单条或多条轨迹的最终解决方案。
  2. search_trajectory(traj_id, query, role, k): 在单条轨迹中搜索关键词，返回按相关性排序的匹配步骤（支持区分“工具观察”和“助手推理”）。
  3. get_segment(traj_id, start, end): 读取特定步骤范围的完整内容（包括原始思考和工具观察）。
  4. finish(): 提交最终合成答案及推理依据。
• 工作流程 (Coarse-to-Fine)：
  1. 概览 (Survey)：读取元数据和所有最终答案，识别共识与分歧。
  2. 深入验证 (Verify)：针对分歧点或关键主张，使用 search_trajectory 定位相关步骤，并使用 get_segment 读取原始工具观察（Ground Truth），以验证智能体的推理是否基于事实。
  3. 合成 (Synthesize)：基于验证后的证据，跨轨迹整合信息，生成最终答案。

成本优势

• 上下文窗口：AggAgent 的上下文消耗被限制在单个模型窗口内，与并行轨迹数量 $K$ 无关。
• 计算成本：仅需一次额外的智能体推理（Aggregation Rollout），避免了 Summary Aggregation 所需的 $K$ 次额外调用。
• 延迟：由于工具操作在内存中进行，无外部 API 延迟。

3. 主要贡献 (Key Contributions)

1. 提出了 AggAgent 框架：首次将聚合过程建模为智能体任务，通过工具交互实现对并行轨迹的全保真（Full Fidelity）、按需访问，解决了长轨迹聚合的信息丢失和上下文溢出问题。
2. 实现了帕累托最优 (Pareto-Optimal)：在性能和成本之间取得了最佳平衡。相比现有的聚合方法，AggAgent 在显著提升性能的同时，仅增加了极低的额外开销（约 5.7%）。
3. 广泛的实证验证：在 6 个基准测试（涵盖代理搜索和深度研究）和 3 个不同规模的模型家族（GLM-4.7, Qwen3.5, MiniMax-M2.5）上进行了验证。
4. 揭示了聚合机制：通过定性分析发现，AggAgent 能够识别少数派正确答案、解决轨迹间的冲突、甚至从全部错误的轨迹中合成出正确答案（Cross-trajectory synthesis）。

4. 实验结果 (Results)

• 性能提升：
  • 在 6 个基准测试中，AggAgent 平均性能比现有最佳基线（Solution Aggregation）高出 5.3%。
  • 在深度研究任务（Deep Research）上，提升幅度高达 10.3%。
  • 在 GLM-4.7-Flash 模型上，AggAgent 甚至超越了 Pass@8（即 8 次并行尝试中最好的单次结果），证明了聚合能合成出单次尝试无法得到的正确解。
• 成本与效率：
  • 成本：AggAgent 的额外聚合成本仅为 5.7%（相对于 8 次并行推理的总成本），而 Summary Aggregation 高达 41%。
  • 延迟：AggAgent 的延迟增加极小，远优于 Summary Aggregation。
• 模型无关性：该方法在 GLM-4.7 (30B), Qwen3.5 (122B), MiniMax-M2.5 (229B) 上均表现优异，且支持使用更强的模型作为聚合器（Aggregator），进一步提升性能。
• 消融实验：
  • 合成 vs. 选择：AggAgent 的“合成新答案”策略在深度研究任务上显著优于直接“选择最佳轨迹”的策略，因为深度研究任务的答案往往分散在不同轨迹中，单一轨迹无法覆盖全貌。
  • 工具使用：AggAgent 主要使用 search_trajectory 进行关键词定位，仅在必要时使用 get_segment 读取全文，体现了高效的粗粒度到细粒度的搜索策略。

5. 意义与影响 (Significance)

• 范式转变：AggAgent 确立了“智能体聚合”（Agentic Aggregation）作为长程任务并行扩展的有效范式。它证明了在处理复杂、多步骤任务时，推理过程的价值与最终答案同样重要，且可以通过智能体工具高效利用。
• 成本效益：为工业界部署长程智能体系统提供了一种低成本、高效率的扩展方案，无需昂贵的训练或巨大的上下文窗口。
• 未来方向：该工作为训练专门的聚合智能体（Aggregator Agents）开辟了道路，并展示了不对称模型分配（弱模型并行推理 + 强模型聚合）的潜力。

总结：AggAgent 通过引入“将轨迹视为环境”的交互机制，巧妙地解决了长程智能体任务中并行扩展的聚合瓶颈。它在不牺牲信息完整性的前提下，以极低的计算成本实现了显著的性能提升，是长程智能体系统迈向实用化的重要一步。