💬 NLP

ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization

本文提出了无需训练即可通过外部工具压缩交互历史来突破上下文限制的 ReSum 框架，并辅以基于优势广播的 ReSum-GRPO 微调策略，显著提升了大语言模型在长程搜索任务中的表现。

原作者： Xixi Wu, Kuan Li, Yida Zhao, Liwen Zhang, Litu Ou, Huifeng Yin, Zhongwang Zhang, Xinmiao Yu, Dingchu Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Minhao Cheng, Shuai Wang, Hong Cheng, Jingren Zhou

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Xixi Wu, Kuan Li, Yida Zhao, Liwen Zhang, Litu Ou, Huifeng Yin, Zhongwang Zhang, Xinmiao Yu, Dingchu Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Minhao Cheng, Shuai Wang, Hong Cheng, Jingren Zhou

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 ReSum 的新方法，旨在解决大语言模型（LLM）在上网搜索复杂信息时遇到的一个核心难题：“脑子记不住那么多事”。

为了让你更容易理解，我们可以把大语言模型想象成一个超级聪明的侦探，而 ReSum 就是给这位侦探配备的**“智能记事本”**。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心难题：侦探的“记忆容量”不够用

想象一下，侦探（AI 模型）要去查一个非常复杂的案子（比如：“找出那个父亲死于心脏病、有三个前妻、五个孩子，且写过一本特定书的人是谁？”）。

传统做法（ReAct 模式）： 侦探每查一次资料，就把所有的线索、思考过程、搜索结果全部写在一张无限长的纸上，贴在墙上。
问题所在： 侦探的“脑子”（上下文窗口）容量是有限的。如果案子太复杂，需要查几十次，那张纸就会长得贴满整个房间，甚至把侦探的视线都挡住了。结果就是，侦探还没查完，纸就写满了，后面的线索根本看不到了，案子就破了。
现有的笨办法： 以前的解决方案像是给侦探换个大点的脑子（修改模型架构），但这需要重新训练，而且让侦探变得不兼容以前的工具，成本极高。

2. ReSum 的解决方案：定期“写摘要”

ReSum 的核心思想非常简单：“定期把长纸卷起来，只保留精华。”

怎么做？ 当侦探查了一会儿，发现纸快写满了，ReSum 就会叫来一个**“超级秘书”**（ReSumTool-30B）。
秘书的工作： 秘书快速阅读侦探之前写的所有杂乱笔记，提炼出最关键的线索（比如：关键人物、时间线、已排除的选项），然后写一张**“精华摘要”**。
重启侦探： 侦探把那张长长的旧纸扔掉，只拿着这张“精华摘要”重新开始查案。
效果： 侦探的“脑子”永远只装着最新的线索和最重要的摘要，空间永远够用，可以无限期地查下去，直到破案。

比喻： 就像你在玩一个超长 RPG 游戏，传统做法是你要记住从游戏开始到现在的所有对话（内存爆炸）；而 ReSum 的做法是，每过一章，系统自动帮你生成一份“剧情回顾”，你只需要带着这份回顾继续玩下一关，既不会迷路，也不会卡死。

3. 两个关键升级

为了让这个“记事本”更好用，论文还做了两件事：

A. 训练了一个“超级秘书” (ReSumTool-30B)

普通的秘书（通用大模型）可能只会把笔记抄一遍，分不清重点。

创新： 作者专门训练了一个 300 亿参数的“超级秘书”。它非常擅长从一堆乱七八糟的搜索记录中，一眼看出哪些是破案关键，哪些是废话，还能指出“这里还缺什么线索，下一步该查哪”。
效果： 这个秘书虽然个头不大（30B），但写摘要的能力比那些几百亿参数的“巨无霸”还要强，而且速度更快、更省钱。

B. 教侦探“适应新习惯” (ReSum-GRPO)

刚开始，侦探习惯了“把所有东西都记下来”，突然让他看“摘要”，他可能会懵，不知道该怎么基于摘要继续推理。

创新： 作者用了一种叫 GRPO 的强化学习方法（有点像教练带队员训练）。
- 训练方法： 教练把侦探的查案过程切成一段一段的（每段对应一次摘要）。
- 奖励机制： 只要最后案子破了，教练就给整个查案过程（包括之前所有的段落）发奖金。
- 目的： 这让侦探明白，“写好摘要”和“基于摘要推理”也是破案的关键。它学会了如何从精简的信息中继续思考，而不是依赖冗长的历史。

4. 实验结果：小模型也能干大事

不用训练也能用： 即使不重新训练侦探，直接给普通侦探配上这个“摘要系统”，破案率也比传统方法提高了 4.5%。
训练后更强： 如果让侦探经过少量的“摘要特训”（只用 1000 个样本），它的表现会突飞猛进，甚至能打败那些花了巨大成本训练出来的顶级商业模型。
性价比之王： 相比于其他需要修改模型架构的复杂方案，ReSum 就像是一个**“即插即用”的插件**，不需要大动干戈，就能让现有的 AI 拥有无限探索的能力。

总结

ReSum 就像给 AI 侦探装了一个**“智能记忆压缩器”。
它不再让 AI 死记硬背所有历史，而是教会它“抓重点、做总结、带着精华继续干”**。这不仅解决了 AI 记不住长任务的痛点，还让中小规模的模型也能通过“聪明地总结”，完成那些原本只有超级大模型才能完成的复杂搜索任务。

一句话概括： 别试图把整个图书馆塞进脑子里，学会写“读书笔记”，你就能读遍天下书。

ReSum：通过上下文总结解锁长程搜索智能技术总结

1. 研究背景与核心问题

基于大语言模型（LLM）的 Web 智能体（Web Agents）在处理知识密集型任务时表现出色，但在面对需要**长程探索（Long-Horizon Exploration）**的复杂查询时面临根本性挑战：

上下文窗口限制：现有的主流范式（如 ReAct）会将每一次思考、行动和观察都追加到历史上下文中。对于需要多轮搜索、交叉验证的复杂任务，上下文会迅速耗尽（Token 限制），导致智能体被迫截断历史或终止任务。
现有方案的局限性：
- 架构修改类方案（如 MEM1、MemAgent）：通过引入内部记忆 Token 或修改模型架构来管理记忆。这类方法通常需要从头进行端到端训练，破坏了与现有智能体的兼容性，且训练成本高昂。
- 简单截断：直接丢弃旧历史会丢失关键信息，导致推理断裂。

2. 方法论：ReSum 范式与相关组件

为了解决上述问题，论文提出了 ReSum（Reinforced Summarization），一种轻量级、即插即用的范式，旨在通过周期性总结实现无限探索。

2.1 ReSum 核心范式

ReSum 不改变模型架构，而是引入外部工具定期压缩交互历史：

轨迹初始化：智能体按标准 ReAct 流程进行推理、行动和观察。
上下文总结（Context Summarization）：当触发条件（如接近 Token 限制）满足时，调用一个专门的总结工具（Summary Tool），将累积的历史对话（ $H_t$ ）压缩为一个紧凑的、目标导向的总结（ $s$ ）。
状态重置：将原始用户问题 $q$ 与总结 $s$ 组合成新的压缩状态 $q' = (q, s)$ ，并将工作历史重置为 $(q', s)$ 。
无限探索：智能体从压缩状态继续推理，从而在有限的上下文窗口内实现理论上无限的探索轮次。

2.2 专用总结模型：ReSumTool-30B

通用 LLM 难以从嘈杂的长历史中提取关键证据。为此，作者开发了 ReSumTool-30B：

基座模型：基于 Qwen3-30B-A3B-Thinking。
训练数据：利用强大的开源模型（如 GPT-OSS-120B）作为教师，在 SailorFog-QA 数据集上生成高质量的 <对话，总结> 对（约 9000 条）。
能力：专门训练用于提取关键线索、识别信息缺口并规划下一步搜索方向，其总结质量甚至优于 DeepSeek-R1-671B 等更大模型。

2.3 范式适配算法：ReSum-GRPO

虽然 ReSum 在无需训练的情况下有效，但标准智能体并未被训练为在“压缩上下文”下推理。为此提出了 ReSum-GRPO：

轨迹分段（Trajectory Segmentation）：将长轨迹根据总结点自然分割为多个片段（Episodes）。
优势广播（Advantage Broadcasting）：
- 仅基于最终答案的正确性计算整个轨迹的奖励（Reward）。
- 利用 GRPO（Group Relative Policy Optimization）算法，将轨迹级别的奖励归一化为优势值（Advantage）。
- 关键创新：将该优势值广播给该轨迹中的所有片段。这使得智能体不仅能学习如何从压缩状态推理，还能确保早期的探索步骤（即使当时未看到最终结果）获得正确的信用分配（Credit Assignment）。
数据效率：仅需 1K 训练样本即可显著提升性能。

3. 主要贡献

ReSum 范式：提出了一种无需架构修改的即插即用方案，通过周期性总结解决了上下文限制与长程探索之间的矛盾。
ReSumTool-30B：开发了一个专用的总结模型，在 Web 搜索场景下表现出卓越的证据提取和规划能力。
ReSum-GRPO：设计了一种基于强化学习的范式适配算法，通过轨迹分段和优势广播机制，解决了长程任务中的信用分配难题，使智能体熟练掌握基于总结的推理。

4. 实验结果

实验在 GAIA、BrowseComp 和 BrowseComp-zh 三个具有挑战性的基准测试上进行：

免训练设置（Training-Free）：
- ReSum 相比 ReAct 平均提升了 4.5% 的性能。
- 使用自研的 ReSumTool-30B 作为总结工具时，30B 参数量的 WebSailor 模型在 BrowseComp 上达到了 16.0% 的 Pass@1，超越了部分闭源模型（如 Claude-4 的 12.2%）。
- 相比之下，其他免训练的记忆管理方法（如 MEM1）在现有智能体上表现不佳甚至下降。
训练设置（Training-Required）：
- ReSum-GRPO 带来了进一步的 8.2% 提升。
- 数据效率极高：仅使用 1K 样本训练，ReSum-GRPO 优化的 30B 模型在 BrowseComp-zh 上达到 33.3%，超越了使用 10K+ 样本训练的其他开源模型（如 ASearcher-32B 的 15.6%）。
- 效率对比：相比 MEM1-GRPO，ReSum-GRPO 在达到相似或更高性能的同时，Token 消耗减少了约 3 倍，具有更好的部署性价比。
扩展性：即使在拥有 128k 上下文窗口的强大模型（Tongyi-DeepResearch）上，ReSum 依然能带来性能提升，证明复杂任务所需的探索深度往往超出当前上下文限制。

5. 意义与影响

范式创新：ReSum 提供了一种不依赖昂贵重训练即可解锁长程智能体能力的通用路径，具有极高的兼容性和可移植性。
成本效益：通过“总结 + 强化学习”的组合，以极低的计算和数据成本（1K 样本）实现了媲美甚至超越大规模训练模型的性能。
未来方向：为长程信息检索、复杂决策任务提供了新的解决思路，未来可进一步探索完全自主的、由智能体驱动的总结机制。

总结：ReSum 通过巧妙的“总结 - 重置”机制和针对性的强化学习策略，成功打破了 LLM 上下文窗口对智能体探索能力的限制，是构建高效、低成本长程 Web 智能体的重要突破。