💬 NLP

Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

本文提出了名为 ProactAgent 的经验驱动终身学习框架，通过引入经验增强在线进化（ExpOnEvo）和基于强化学习的主动检索机制（ProactRL），使智能体能够在交互过程中主动识别知识缺口并仅在必要时检索结构化记忆与技能，从而在多个基准测试中显著提升了长期任务的成功率并降低了检索开销。

原作者： Yuxuan Cai, Jie Zhou, Qin Chen, Liang He

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxuan Cai, Jie Zhou, Qin Chen, Liang He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 PROACTAGENT 的新系统，它的核心目标是让 AI 智能体（Agent）像人类一样，具备**“终身学习”**的能力。

为了让你轻松理解，我们可以把传统的 AI 智能体比作一个**“死记硬背的学生”，而 PROACTAGENT 则是一个“懂得主动查资料、会反思的聪明学生”**。

以下是用通俗语言和创意比喻对这篇论文的解读：

1. 核心痛点：以前的 AI 为什么“笨”？

想象一下，你让一个 AI 去解决一个复杂的科学实验任务（比如“搭建一个导电电路”）。

以前的做法（被动检索）：
- 开局给书： 任务开始时，系统会塞给它一本“百科全书”（记忆库），让它带着开始做。
- 全程不管： 一旦开始做，它就埋头苦干。如果中途卡住了，或者发现之前的步骤错了，它不会主动去翻书，因为它不知道什么时候该查资料。
- 或者查得太勤： 另一种做法是让它每走一步都查一次书。但这就像你每写一个字都要翻字典，效率极低，而且书里的内容太多，反而把它搞晕了（上下文过载）。

结果： AI 经常因为“知识盲区”而犯错，或者因为查资料太频繁而浪费大量时间。它不知道**“什么时候该停下来想一想，去查一下资料”**。

2. PROACTAGENT 的解决方案：学会“主动提问”

PROACTAGENT 的核心创新在于**“主动检索” (Proactive Retrieval)**。

比喻： 它不再是一个只会听指令的机器，而是一个**“有直觉的侦探”**。
它是怎么做的？
- 当它在做任务时，它会时刻自我监控：“我现在卡住了吗？我的脑子里有现成的答案吗？如果没有，我是不是该去‘记忆库’里找点线索？”
- 如果它觉得“不需要查”，它就会继续行动，节省时间。
- 如果它觉得“这里有个坑，我得查查以前有没有人踩过”，它就会主动触发检索，精准地找到最需要的信息。

这就好比： 以前是“不管会不会，先翻字典”或者“翻一次字典管到底”；现在是“遇到不懂的词，心里灵光一闪，知道该去查字典了”。

3. 两大核心“超能力”

为了实现这种“主动”，论文设计了两个关键组件：

A. 经验增强在线进化 (EXPONEVO) —— 建立“分类档案室”

以前的 AI 记忆库就像一个**“大杂烩仓库”**，所有的笔记、事实、失败教训都混在一起，找起来很费劲。

PROACTAGENT 把记忆库整理成了五个分类清晰的档案室：

事实档案 (Factual Memory)： 像百科全书，存客观知识（如“铝是导电的”）。
故事档案 (Episodic Memory)： 像日记，存具体的经历（如“上次在这个房间找钥匙失败了”）。
成功技能库 (Success Skills)： 像“通关秘籍”，存怎么做的才对。
失败避坑指南 (Failure Skills)： 像“错题本”，存怎么做的会错。
对比分析库 (Comparative Skills)： 像“专家点评”，分析为什么方案 A 比方案 B 好。

比喻： 当 AI 需要帮助时，它不是去乱翻一堆废纸，而是直接去“成功技能库”找秘籍，或者去“错题本”看避坑指南。这让它的记忆既丰富又精准。

B. 基于强化学习的主动检索 (PROACTRL) —— 学会“何时查、查什么”

这是最厉害的部分。AI 怎么知道什么时候该查资料呢？它通过一种**“平行宇宙”实验**来学习。

比喻： 想象 AI 在做一个决定时，会同时模拟两个“平行世界”：
- 世界 A（查资料）： 在这个时间点，AI 停下来，去查了资料，然后继续做。
- 世界 B（不查资料）： 在这个时间点，AI 强行忍住不查，直接凭脑子继续做。
结果对比：
- 如果世界 A 的结果比世界 B 好很多，AI 就学到了：“看！在这个时刻查资料是对的，下次还要查！”
- 如果世界 B 也能做好，或者世界 A 查了反而更慢，AI 就学到了：“刚才那个时刻查资料是多余的，下次别查，省点时间。”

通过这种**“成对比较”，AI 学会了“主动”：它不再依赖死板的规则，而是根据任务进展，自己决定“什么时候该停下来查资料”以及“该查什么内容”**。

4. 实验结果：真的有用吗？

作者在三个不同的“考场”（SciWorld 科学任务、AlfWorld 家庭任务、StuLife 学生生活任务）上测试了这个系统：

成绩更好： 在科学任务中，成功率从 55% 提升到了 73.5%。
速度更快： 它做的任务步骤更少，因为它知道什么时候该查资料，什么时候该直接行动，不再盲目试错。
小模型也能打： 即使使用较小的模型（3B 参数），配合这种“主动检索”能力，也能打败那些大模型（7B 参数）但只会被动查资料的方法。

总结

这篇论文告诉我们，让 AI 变强，不仅仅是把模型做得更大（堆算力），更重要的是教会它**“如何管理自己的记忆”和“何时主动寻求帮助”**。

PROACTAGENT 就像给 AI 装上了一个“大脑皮层”：

它把经验整理得井井有条（分类档案室）。
它学会了在关键时刻主动翻书（主动检索）。
它通过不断的“试错与对比”，变得越来越聪明，能够处理那些需要长期规划和复杂决策的任务。

这就是从“被动执行”到“主动进化”的跨越。

1. 研究背景与问题定义 (Problem)

背景：
在线终身学习（Online Lifelong Learning）旨在让智能体在连续的交互任务中积累经验，并不断改进以应对长视野任务。现有的方法通常依赖外部经验库（Experience Base）来存储历史交互知识。

现有方法的局限性：
尽管记忆增强（Memory-Augmented）的方法已被广泛采用，但现有的检索机制存在两个核心缺陷：

被动检索（Passive Retrieval）： 检索通常由预定义的规则、固定的时间点或外部门控模块触发（例如：任务开始时注入、每一步都检索、或依赖另一个模型判断）。智能体无法在交互过程中主动识别“知识缺口”，导致无法在关键时刻获取最有用的经验。
解耦的在线更新（Decoupled Online Updating）： 现有的在线更新策略通常将“文本记忆积累”与“策略参数优化”视为独立过程。仅更新记忆而不优化策略，或仅优化策略而不利用结构化记忆，限制了智能体从交互历史中持续进化的能力。

核心挑战：
如何设计一个框架，使智能体能够主动决定“何时”以及“检索什么”，并同时实现记忆库与策略网络的协同进化（Co-evolution）。

2. 方法论 (Methodology)

作者提出了 PROACTAGENT，一个基于经验的终身学习框架，包含两个紧密耦合的核心组件：

2.1 结构化经验库与经验增强在线进化 (EXPONEVO)

为了支持有效的检索和进化，PROACTAGENT 将历史交互组织成结构化经验库（Structured Experience Base），包含五种类型的存储：

事实记忆 (Factual Memory, $M_f$ )： 环境事实、工具输出等客观真理。
情景记忆 (Episodic Memory, $M_e$ )： 具体的交互轨迹、局部计划或约束。
成功技能 (Success Skills, $S_+$ )： 从成功轨迹中提取的可复用策略。
失败技能 (Failure Skills, $S_-$ )： 从失败轨迹中提取的错误模式及修正规则。
对比技能 (Comparative Skills, $S_\Delta$ )： 从成对分支（有检索 vs 无检索）中提取的对比洞察，解释为何某种延续优于另一种。

EXPONEVO 机制：
这是一个闭环系统，智能体在交互过程中：

利用当前策略 $\pi_\theta$ 和结构化经验库 $D$ 进行主动检索和决策。
将完成的轨迹蒸馏为上述五种类型的条目，更新经验库 $D$ 。
利用收集到的轨迹通过强化学习更新策略 $\pi_\theta$ 。
这种机制确保了“更好的策略产生更高质量的轨迹，进而丰富经验库；更丰富的经验库反过来提升检索质量，优化策略”。

2.2 基于主动强化学习的检索 (PROACTRL)

这是解决“何时检索”和“检索什么”的关键创新。PROACTRL 将检索视为一个显式的策略动作，并通过**成对分支过程奖励（Paired-Branch Process Rewards）**提供细粒度的监督信号。

核心机制：

自适应展开（Adaptive Rollout）： 当智能体在步骤 $t_b$ $t_{b}$ 触发检索动作时，系统会基于相同的前缀交互历史 $h_{t_b}$ $h_{t_{b}}$ ，自适应地采样两个分支：
- 检索分支 ( $\tau_{ret}$ )： 保留检索动作及其后续上下文。
- 无检索分支 ( $\tau_{no-ret}$ )： 在 $t_b$ 处抑制检索动作，让智能体仅凭当前知识继续执行。
过程奖励 (Process Reward)： 比较两个分支的结果：
- 如果检索分支的环境奖励更高或效率更高（步数更少），则给予正奖励 ( $+\alpha$ )。
- 如果检索分支表现更差（表明检索是多余的或误导的），则给予负奖励 ( $-\alpha$ )。
- 如果无检索，奖励为 0。
效率惩罚： 引入惩罚项以防止重复查询和过长的轨迹。

通过这种反事实对比（Counterfactual Comparison），PROACTRL 能够精确地学习到：在什么状态下检索是必要的，以及什么样的查询内容能带来更好的结果。

3. 主要贡献 (Key Contributions)

PROACTAGENT 框架： 提出了首个将“主动检索”与“经验增强在线进化”统一的终身学习框架，使智能体不再依赖被动触发的经验，而是主动识别知识缺口。
双组件设计：
- EXPONEVO： 实现了文本记忆与策略参数的联合优化，打破了传统方法中两者独立更新的局限。
- PROACTRL： 利用成对分支过程奖励，将检索建模为策略动作，实现了“何时检索”和“检索什么”的端到端学习。
结构化经验库： 设计了包含事实、情景、成功/失败技能及对比技能的分类存储体系，确保检索能同时提供证据（Evidence）和行动指南（Guidance）。
实验验证： 在三个具有挑战性的基准测试（SciWorld, AlfWorld, StuLife）上取得了 SOTA 性能，证明了主动检索和协同进化的有效性。

4. 实验结果 (Results)

实验在 SciWorld（科学推理）、AlfWorld（家庭环境操作）和 StuLife（学生生活模拟）三个基准上进行。

性能提升：
- SciWorld: 成功率 (SR) 达到 73.50%，相比次优基线 (GRPO+Reflexion, 55.50%) 提升了 18.0%。
- AlfWorld: 成功率达到 71.28%，优于所有基线。
- StuLife: 在仅使用开源模型（Qwen2.5-7B）的情况下，性能达到了与专有模型（Proprietary Models）竞争的水平。
效率提升：
- 在 SciWorld 上，交互轮数减少了 33.2%（从 27.52 降至 18.38）。
- 在 AlfWorld 上，交互轮数减少了 22.5%。
- 主动检索避免了不必要的上下文填充，显著降低了 Token 消耗。
消融实验 (Ablation Study)：
- 移除 PROACTRL（主动检索学习）导致性能大幅下降（SciWorld 从 73.50% 降至 26.50%），证明主动检索是核心驱动力。
- 移除 EXPONEVO（在线参数进化）导致性能下降，证明记忆与策略的协同进化至关重要。
- 结构化经验库（分类存储）优于单一的记忆库（如 Reflexion）。
模型缩放 (Model Scaling)：
- 使用 3B 参数的模型配合 PROACTAGENT，其性能（53.50% SR）几乎达到了 7B 参数被动增强基线（55.00% SR）的水平，且交互轮数减少了 48%。这表明主动检索能力可以部分弥补模型容量的不足。

5. 意义与影响 (Significance)

范式转变： 论文将检索从“被动的外部工具调用”转变为“智能体的内在策略能力”。智能体学会了像人类一样，在意识到知识不足时主动寻求外部信息。
解决长视野任务瓶颈： 证明了对于长视野、复杂的终身任务，单纯增加模型参数量（Scaling）不如提升“检索控制能力”和“经验利用效率”有效。
高效能智能体： 通过减少冗余交互和精准的知识获取，PROACTAGENT 展示了在资源受限环境下（如小参数模型）实现高性能的潜力。
通用性： 该方法不仅适用于特定任务，其“结构化经验库 + 主动检索策略”的架构为构建自主、自适应的通用智能体提供了新的技术路径。

总结：
PROACTAGENT 通过让智能体学会“在需要时主动提问”，并同步进化其记忆库和决策策略，成功解决了在线终身学习中经验利用低效和被动的问题。实验结果表明，这种经验驱动、主动控制的范式显著提升了智能体在复杂、动态环境中的任务成功率和执行效率。