💬 NLP

IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

IterResearch 引入了一种基于交互缩放（Interaction Scaling）和受 MDP 启发的工作空间重构（MDP-inspired workspace reconstruction）的迭代深度研究范式，该范式克服了现有智能体在上下文方面的限制，从而在作为训练模型以及作为前沿系统的提示策略时，均在长程任务上实现了显著的性能提升。

原作者： Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Z

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 IterResearch 论文的解释，已将其翻译为中文。

核心问题： “无尽滚动”陷阱

想象一下，你正在试图解决一个非常困难的谜题，比如在互联网深处寻找一个特定的事实。

目前大多数 AI 智能体的工作方式就像是一个永远不会翻页的人在读一本书。他们开始读第 1 页，然后是第 2 页，接着是第 3 页。但他们并没有在读完旧页面后将其关闭并重新开始，而是不断地将新页面添加到同一个巨大堆栈的底部。

结果： 读到第 50 页时，这个堆栈变得如此之高，以至于这个人看不见顶端了。他们被所有的旧文本“窒息”了。
噪音： 如果他们在第 5 页不小心读到了一个错误的事实，这个错误的事实会永远卡在堆栈中，让他在第 5 0 页时依然感到困惑。

论文称之为 “单上下文范式” (Mono-contextual Paradigm)。这就像是在跑马拉松时拖着一个随着每一步都在变重的沉重背包。最终，你会崩溃倒地。

解决方案：“智能笔记本” (IterResearch)

作者引入了 IterResearch，这是一种让 AI 进行思考的新方式。AI 不再拖着一叠巨大的纸张，而是使用一本每次学习新知识时都会被重写的 “智能笔记本”。

以下是它的工作步骤：

“重置”按钮：
想象你是一名侦探。你收集了一段时间的线索。你并没有保留所有接触过的碎纸片，而是坐下来，在一个干净的笔记本上写下你目前所知的摘要，然后扔掉那些凌乱的碎片。
- 论文术语： 迭代式工作空间重构 (Iterative Workspace Reconstruction)。
- 类比： AI 清理了它的桌面，只保留核心的“案件档案”（报告），然后以一个全新的、干净的状态开始下一轮调查。这防止了因拥有过多旧文本而导致的“窒息”。
“进化型”报告：
AI 不仅仅是记住事实；它还在编写一份“活的”报告。每当它发现新信息时，它都会更新这份报告，过滤掉垃圾信息，只保留精华。
- 论文术语： 进化报告记忆 (Evolving Report Memory)。
- 类比： 这就像一个 AI 实时编辑的维基百科页面。旧的、错误的或无关的信息会被删除；新的、正确的信息会被添加。无论调查持续多久，“记忆”始终保持精简和干净。
“效率”教练：
AI 需要学习如何高效地搜索。论文引入了一种名为 EAPO（效率感知策略优化）的训练方法。
- 类比： 想象一位教练，如果你用 5 步解开了谜题，他会给你一颗金星；但如果你用了 50 步才解开，他只会给你一颗微弱的、暗淡的星星。即使你得到了正确答案，教练也会教你如何更快、更聪明地解决问题，而不是仅仅靠不断挖掘直到碰巧成功。

惊人的结果

论文将这种新的“智能笔记本”方法与旧的“无尽滚动”方法进行了对比测试。结果如下：

击败竞争对手： 新的 AI (IterResearch) 在六项不同的困难测试中，得分显著高于其他任何开源 AI 智能体。它缩小了与最昂贵的专有系统（如来自 Google 或 OpenAI 的系统）之间的差距。
“超长”马拉松： 最令人震惊的结果是 交互规模化 (Interaction Scaling)。
- 类比： 旧的智能体通常在 20 或 30 步之后就会放弃或感到困惑，因为它们的“背包”太重了。而 IterResearch 能够连续运行 2,048 步而不显疲态。
- 结果： 当允许它进行更多步数（高达 2,048 步）时，它的表现从糟糕的 3.5% 跃升到了惊人的 42.5%。这证明了问题不在于 AI “太笨”无法解决任务，而在于旧的方法无法让它观察得足够久。
通用技巧： 作者发现，你甚至不需要重新训练 AI 来使用这种方法。如果你只是将“智能笔记本”的指令（提示词）交给另一个强大的 AI，那个 AI 会立刻在长任务处理上变得更出色。这就像是给一把标准的电筒换上了一个新透镜，让它能看得更远。

总结

IterResearch 是一种让 AI 进行深度研究的新方式。它不再囤积它发现的每一条信息（这最终会使 AI 窒息），而是定期总结已知信息、丢弃噪音并重新开始。

这使得 AI 能够：

进行更长时间的清晰思考（长达 2,048 步）。
更高效地寻找答案。
比目前几乎所有其他的开源智能体表现得更好。

它将 AI 从一个溺于纸堆的人，转变为一名拥有完美组织、不断更新的案件档案的侦探。

技术摘要：IterResearch

问题陈述

深度研究智能体（deep-research agents）的最新进展展示了通过对外部来源进行动态推理来实现自主知识构建的潜力。然而，现有的方法主要依赖于单上下文范式（mono-contextual paradigm），即将所有检索到的信息和中间推理步骤附加到一个单一且持续扩张的上下文窗口中。作者指出，这种范式在处理长程任务（long-horizon tasks）时存在两个关键的失效模式：

上下文窒息（Context Suffocation）： 随着上下文窗口被先前的交互填满，用于主动推理的可用空间不断缩小，迫使模型产生受限的响应，导致其退化为过早或肤浅的结论。
噪声污染（Noise Contamination）： 来自网络搜索的无关信息以及早期探索过程中的错误会永久嵌入上下文中，产生级联干扰，从而在整个推理过程中稀释信号质量。

这些局限性阻碍了现有智能体在探索深度增加时维持持续推理能力的能力。

方法论

本文引入了 IterResearch，一种全新的迭代深度研究范式，通过**交互缩放（Interaction Scaling）**的视角重新审视长程研究。该方法论建立在两个核心组件之上：

1. 迭代深度研究范式（基于 MDP 的架构）

IterResearch 并非采用线性上下文累积，而是采用了由元组 $\langle S, D, E, T, R \rangle$ 定义的马尔可夫决策过程（MDP）形式化表达。

状态空间 ( $S$ )： 每个状态 $s_t$ 是一个经过策略性重构的工作空间，仅包含核心要素：恒定的问题 $q$ 、一个演进中的报告 $M_t$ （作为已验证发现的压缩记忆）以及来自上一步的即时上下文。
决策空间 ( $D$ )： 策略 $\pi$ 生成一个复合决策 $d_t$ ，包括内部思维（ $Think_t$ ）、更新后的报告（ $M_{t+1}$ ）以及外部动作（ $a_t$ ）。
转移函数 ( $T$ )： 至关重要的是，转移函数通过重构工作空间而非附加历史记录来运作。历史轨迹被刻意丢弃，仅保留合成后的知识并更新至报告中。这确保了无论交互轮数多少，工作空间的大小始终保持恒定（ $O(1)$ ），从理论上实现了无限探索。

2. 高效感知策略优化（EAPO）

为了有效训练这一迭代范式，作者提出了 EAPO，该策略解决了两个挑战：

几何奖励折扣（Geometric Reward Discounting）： 意识到并非所有成功的轨迹都具有同等价值，作者改编了标准的几何折扣法（ $r_t = \gamma^{T-t} \cdot R_T$ ）。这创造了一种隐性的效率压力，激励智能体通过简洁、专注的探索而非穷举式搜索来得出正确结论。
自适应下采样（Adaptive Downsampling）： 由于迭代范式将轨迹分解为多个独立的训练样本（每轮一个），样本数量会随问题而异。作者采用自适应下采样技术来使训练批次与数据并行规模对齐，在保持 99% 以上数据完整性的同时，确保分布式训练的稳定性。

核心贡献

新颖范式： 提出了 IterResearch，通过维护一个演进中的报告记忆并执行策略性的工作空间重构，消除了上下文窒息和噪声污染问题。
训练策略： 开发了 EAPO，它结合了用于提升效率的几何奖励折扣和用于处理变长轨迹稳定训练的自适应下采样。
实证验证： 通过广泛实验证明，IterResearch 在现有开源智能体基础上取得了实质性改进，并缩小了与前沿闭源系统之间的差距。

实验结果

作者在六个极具挑战性的基准测试中评估了基于 Qwen3-30B-A3B 的 IterResearch：Humanity's Last Exam (HLE)、BrowseComp、BrowseComp-zh、GAIA、Xbench-DeepSearch 和 SEAL-0。

性能增益： 在六个基准测试中，IterResearch 相比现有开源智能体平均提升了 14.5 个百分点 (pp)。它超越了所有开源基线，并展现出与闭源系统（如在 HLE 和 BrowseComp-zh 上超越 OpenAI 的 DeepResearch）相当甚至更优的性能。
交互缩放： 该范式展现了前所未有的缩放能力，在仅 40K 上下文长度的情况下可扩展至 2048 次交互。随着最大交互限制从 2 增加到 2048，性能从 3.5% 大幅提升至 42.5%，这对于由于上下文溢出而导致结构性失效的单上下文方法而言是无法实现的。
跨范式迁移： 研究发现，由 IterResearch 生成的轨迹可以显著增强单上下文智能体的表现，作为其训练数据，这表明该范式诱导出了可迁移至不同架构的卓越探索行为。
提示策略： 在无需任何训练的情况下，将 IterResearch 的提示结构应用于前沿模型（如 o3, DeepSeek-V3.1），在长程任务上较标准 ReAct 提示取得了显著提升（在 BrowseComp 上提升高达 19.2pp）。

意义与主张

本文将 IterResearch 定位为一种通用的长程推理解决方案，既可作为训练后的智能体使用，也可作为一种与模型无关的提示范式。作者提出了三个基本洞察：

交互缩放： 迭代范式解锁了极端的交互缩放能力，这表明长程任务的感知难度可能源于探索能力的不足，而非内在推理能力的限制。
卓越的探索行为： 该范式诱导了高质量的探索行为，能够产生可迁移的训练信号，即使对于使用不同架构范式的智能体也是如此。
模型无关的有效性： 带有工作空间重构的迭代结构提供了一种基础性的认知优势，能够提升不同模型架构在长程推理中的表现，而无需特定的微调。

研究结论认为，通过策略性合成而非线性累积来进行迭代，是攻克长程推理挑战的基础。