🤖 AI

Do Self-Evolving Agents Forget? Capability Degradation and Preservation in Lifelong LLM Agent Adaptation

本文指出了自进化大语言模型智能体中存在的“能力侵蚀”现象，即适应新任务会导致工作流、技能、模型和记忆维度上先前习得的技能退化，并提出了一种“能力保持进化”（CPE）框架，通过明确阻止此类破坏性漂移来稳定长期适应过程。

原作者： Ye Yu, Xiaopeng Yuan, Haibo Jin, Heming Liu, Yaoning Yu, Haohan Wang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ye Yu, Xiaopeng Yuan, Haibo Jin, Heming Liu, Yaoning Yu, Haohan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《自进化智能体是否会遗忘？》的解释。

核心观点：“过于热心的实习生”问题

想象你雇佣了一位才华横溢、能够自我提升的实习生来管理你的办公室。这位实习生非常棒：他们可以重写自己的工作指令，学习新工具，更新自己的“大脑”，并记录所有已完成的任务的运行日记。

这篇论文提出了一个简单的问题：如果这位实习生把所有时间都花在解决今天出现的新难题上，他们是否会忘记昨天已经掌握的简单常规任务？

作者的回答是：是的，他们会遗忘。

他们将这种现象称为**“能力侵蚀”**。就像河岸被慢慢冲刷侵蚀一样，智能体适应新任务的过程会不断侵蚀其执行旧任务的能力。论文证明了这种侵蚀通过四种具体方式发生：

工作流：逐步指令变得混乱且臃肿。
技能：工具箱被新工具填满，挤走了旧有的可靠工具。
模型：智能体的“大脑”（其内部代码）被覆盖，导致旧知识丢失。
记忆：智能体的日记被新笔记覆盖，使得旧建议难以查找。

智能体“遗忘”的四种方式

研究人员观察了智能体如何改变自身，发现“无约束”的进化（即允许智能体随意改变）会导致四种类型的损害：

1. 工作流漂移（“过度设计的食谱”）

类比：想象一位厨师能做出完美的三明治。然后，他们接到一个制作复杂 gourmet 汉堡的请求。为了解决汉堡问题，他们增加了额外的步骤：“检查面包温度”、“验证生菜脆度”、“双重检查面包卷”。他们不断添加这些安全检查。
问题：当他们回到制作简单三明治时，仍然使用汉堡的食谱。三明治的制作时间增加了一倍，且包含不必要的步骤。智能体变得“过度防御”，使简单任务变得复杂且容易失败。

2. 技能置换（“装满的背包”）

类比：想象一位徒步旅行者的背包只能装 30 件物品。他们学会了登山（新技能）并加入了一根绳子。但背包已满，因此他们不得不扔掉旧地图（旧技能）以腾出空间。
问题：随着智能体学习新的、专门的技能，它会踢出早期学到的通用且有用的技能。它成为了新地形的专家，却在旧小径上迷路。

3. 大脑重写（“擦除白板”）

类比：想象一名学生正在为数学考试学习。他们完美地掌握了代数。然后，他们开始学习生物学。为了记忆生物学事实，他们不得不在白板上乱涂乱画，覆盖代数笔记。
问题：智能体更新其内部“权重”（其大脑）以解决新的医学或技术问题。在此过程中，它意外地覆盖了帮助其解决旧问题的特定神经通路。这是典型的“灾难性遗忘”案例。

4. 记忆覆盖（“被淹没的日记”）

类比：想象一本日记，你每天记录所学内容。如果你不断写新条目而不整理旧条目，新墨水最终会覆盖旧页面，或者日记变得太满，你不得不扔掉前面的章节。
问题：智能体的记忆库被新的、具体的经历填满。旧的、可靠的记忆被挤出或变得难以检索，即使智能体的大脑本身没有改变。

解决方案：“能力保留进化”（CPE）

论文提出了一种名为**能力保留进化（CPE）**的修复方案。

将 CPE 想象成一个**“安全卫士”或“便利贴”**系统。它并不阻止智能体学习新事物；它只是告诉智能体：“你可以学习新技能，但在这样做时，绝不能破坏旧技能。”

以下是“安全卫士”如何解决上述四个问题的方法：

针对工作流：当智能体试图重写其指令时，CPE 会检查：“这个新版本是否仍然适用于简单任务？”如果新版本过于臃肿或破坏了旧流程，卫士会说：“不，保持核心结构简洁。”
针对技能：CPE 不会为了腾出空间给新技能而直接丢弃旧技能，而是尝试合并它们。如果新技能与旧技能相似，它将两者结合，从而保留两者。它保护高价值的旧技能不被删除。
针对大脑：这使用了一种称为弹性权重巩固的技术。想象智能体的大脑有“重要”神经元和“不太重要”神经元。CPE 在那些有助于旧任务的重要神经元上贴上“请勿触碰”的标志。智能体仍然可以学习，但仅限于不会破坏旧知识的区域。
针对记忆：CPE 就像图书管理员。如果某条记忆在过去被证明多次有用，它就会获得“金星”并受到保护，不被删除。只有低质量或未经证实的记忆才被允许被覆盖。

结果：稳定性与可塑性的平衡

论文使用不同的模型（如 GPT-5 等）在真实的 AI 智能体上测试了这一点。

没有 CPE（“原味”智能体）：智能体在新的高难度任务上表现更好，但在旧的简单任务上表现显著变差。这就像一个学生通过了生物学考试，却搞砸了原本擅长的数学考试。
有 CPE（“受保护”智能体）：智能体仍然有效地学习了新任务。但是，它几乎完美地保留了旧技能。

核心结论：
论文得出结论，为了让 AI 智能体在长期内真正“进化”，它不能仅仅是一个不断重写自身的机器。它需要一种机制来保护其过去。如果你想要一个能够无限成长的智能体，你就必须教它在学会所需知识的同时，如何记住它已经知道的内容。

简而言之：自进化智能体确实会遗忘，但我们可以教它们在构建未来的同时，紧紧抓住过去。

技术摘要：终身大语言模型智能体适应中的能力退化与保持

问题定义：自我演进智能体中的能力侵蚀

近期的框架已使大语言模型（LLM）智能体能够自主优化其推理工作流、积累可复用技能、更新底层模型参数并维持持久记忆。尽管这些系统承诺了一个智能体能力持续扩展的未来，但本文指出了一个根本性的失效模式：自我演进过程中的能力侵蚀。

作者证明，自我演进往往是非单调的。当智能体适应新的任务分布（ $Y$ ）时，针对 $Y$ 进行优化的过程往往会损害其在早期任务分布（ $X$ ）上已获得的先前能力。这一现象在结构上表现为三个维度：

回溯性能力衰减：在对新任务进行微调或更新后，先前已掌握任务的性能出现下降。
行为策略漂移：工作流变得不必要地复杂和臃肿，引入了成功先前行径中不存在噪声和执行步骤。
泛化能力侵蚀：适应过程缩小了有效的推理空间，干扰了先前获得的技能或记忆检索模式。

本文认为，这不仅仅是特定算法的失败，而是无约束的持续自我修改所导致的结构性后果。无论可变存储库是工作流图、技能库、模型参数还是记忆存储，仅针对当前任务分布进行优化都会引入破坏性干扰，覆盖或削弱支持先前任务成功行为的结构。

方法论：能力保持演进（CPE）

为解决这一问题，作者提出了能力保持演进（Capability-Preserving Evolution, CPE），这是一种通用的稳定化原则。CPE 修改了标准的自我演进目标，使其包含一个显式的保留正则化项。

理论框架

作者将自我演进建模为一个序列过程，其中智能体更新能力状态 $R_t$ 以最小化新分布 $D_t$ 上的损失。朴素演进仅最小化当前损失 $L_t(R)$ 。CPE 则求解：
$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$
其中 $\Omega_t$ 衡量与先前支持能力的结构的偏差， $\lambda$ 控制稳定性与可塑性之间的权衡。

局部分析（命题 1 和 2）表明，只要更新方向与先前任务的高曲率（敏感性）方向重叠，朴素更新就会增加保留风险。CPE 通过惩罚沿这些敏感方向的更新来抑制这种情况，有效地约束智能体在迈向新分布的同时，不破坏旧任务所需的“能力支撑”。

特定维度的实例化

本文在四个不同的演进通道中实现了 CPE，每个通道都配有定制的正则化项：

工作流演进：
- 存储库：可执行的工作流图/提示程序。
- 机制：正则化项 $\Omega_{wf}$ 抑制偏离从种子工作流中提取的“锚定行为特征”。它防止了过度复杂的验证步骤和结构绕路的积累，这些会导致简单任务性能的下降。
技能/工具演进：
- 存储库：容量有限的程序模板技能库。
- 机制：正则化项 $\Omega_{sk}$ 防止因容量限制而驱逐有用技能。它采用能力保持的整合机制，合并语义相关的技能，并在接纳新技能时保护高价值的历史条目不被直接删除。
模型演进：
- 存储库：可训练模型参数（例如 LoRA 适配器）。
- 机制：正则化项 $\Omega_{md}$ 使用弹性权重巩固（EWC）风格的惩罚。它估算先前领域参数的重要性（通过费雪信息），并惩罚沿这些方向的移动，仅允许在低重要性方向上进行适应。
记忆演进：
- 存储库：持久外部记忆库。
- 机制：正则化项 $\Omega_{mem}$ 使用证据门控保持。那些积累重复自我验证支持的记忆被视为稳定状态，受到保护免受驱逐或破坏性重写，而低证据条目则保持可适应性。

关键结果

作者在四个主要基准测试和多个模型骨干（包括 GPT-5.1、GPT-5 nano、GPT-4o mini、Qwen3-0.6B 和 Llama3.2-3B）上评估了 CPE 与无约束（“朴素”）自我演进的表现。

工作流演进（EvoAgentX 在 $\tau^2$ -Bench 上）：
- 朴素演进导致工作流臃肿，简单任务性能下降（例如，GPT-5.1 在航空任务上的表现从 57.1% 降至 41.8%）。
- CPE 保持了更紧凑的执行结构，将保留的简单任务性能提升至52.8%，同时维持或提升了复杂任务的适应能力。
技能演进（MemSkill 在 MATH 上）：
- 随着分布向数论转移，朴素演进逐步覆盖了早期技能（例如几何），导致在代数和几何评估集上持续退化。
- CPE 保持了对先前技能的稳定利用，从而在所有顺序领域中都获得了更高的保留准确率（例如，GPT-5 nano 的几何准确率从 58.9% 提升至 59.3%）。
模型演进（STaR 在 MedMCQA 上）：
- 朴素自训练在模型适应新领域时，表现出对早期医学领域（解剖学、生物化学）的灾难性遗忘。
- CPE 一致地提高了所有领域和模型规模的保留准确率（例如，Qwen3-0.6B 的解剖学准确率从 29.4% 上升至 30.5%）。
记忆演进（动态作弊条）：
- 无约束的记忆更新平均使旧任务保留率下降了 2.3%。
- CPE 将这一保留差距缩小至0.7%，在不妨碍新任务适应的情况下，稳定了先前学习领域的检索模式。

意义与主张

本文声称首次系统地识别出能力侵蚀是自我演进智能体所有主要维度（工作流、技能、模型和记忆）中的结构性失效模式。

统一视角：作者提供了一个统一的干扰视角，表明尽管实现方式各异，但这四个维度都遭受了相同的机制影响：针对新任务的优化会覆盖支持旧任务的结构。
稳定化原则：本文提出，稳定的长周期自我演进不仅需要获取新能力，还需要显式地保留先前学到的能力。CPE 被提出为实现这一目标的一般设计原则。
适度范围：作者承认，他们目前的保留机制是轻量级且特定于领域的。他们将这项工作定位为对侵蚀现象的验证，以及证明显式正则化可以缓解这一现象，而非解决所有未来自主智能体挑战的完整方案。他们指出，现实世界的智能体可能面临比此处测试的受控顺序转移更为复杂、开放式的轨迹。

总之，本文认为，如果没有显式的保留约束，自我演进智能体将不可避免地偏离可靠行为，而能力保持演进是构建具备真正终身学习能力的智能体的必要组成部分。