🤖 AI

Enhancing Software Engineering Through Closed-Loop Memory Optimization

本文介绍了 \ours，这是一个通过将其建立在经过验证的下游影响之上，从而优化软件工程智能体内存效用的闭环框架，由此实现了任务无关的评估和无需人工标注的优化，并显著提升了成功率、解决效率和计算成本。

原作者： Xuehang Guo, Zora Zhiruo Wang, Qingyun Wang, Graham Neubig, Xingyao Wang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuehang Guo, Zora Zhiruo Wang, Qingyun Wang, Graham Neubig, Xingyao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《通过闭环记忆优化增强软件工程》（MemOp）的解释，采用了简单的语言和富有创意的类比。

问题所在：拥有“金鱼脑”的软件工程师

想象一下，你雇佣了一位才华横溢的新软件工程师来修复一个庞大且复杂的代码库（一个巨大的数字指令库）。这位工程师非常聪明，但患有严重的金鱼记忆症。

每当他们开始一项新任务时：

他们会忘记昨天学到的一切。
他们必须从头开始阅读整个库，以找到东西在哪里。
他们会在之前的项目中犯下完全相同的错误。
他们每一次都在重新发明轮子。

在人工智能领域，这些“工程师”就是作为软件智能体（Software Agents）的大语言模型（LLMs）。论文指出，虽然这些 AI 智能体功能强大，但它们本质上是**片段式（Episodic）**的。它们只活在“当下”。它们无法从过去的经验中学习，因此不断在同样的障碍上跌倒，浪费时间并消耗计算资源。

旧的解决方案：“不好用的笔记本”

研究人员曾尝试给这些 AI 智能体一个“笔记本”（记忆）来记录信息。但旧的笔记本有一个重大缺陷：没有人知道到底什么才是值得写下来的有用信息。

有些智能体会记下每一个按键动作（噪音太多）。
有些写的总结过于笼统（太模糊了）。
缺乏一条规则来规定：“嘿，这条特定的笔记在稍后确实帮我解决了问题，所以请保留它，”或者“这条笔记没用，把它扔掉。”

由于没有一种方法来判断一段记忆是否真的“好”，智能体只是在笔记本里填满了垃圾，这让它们变得更慢、更混乱。

新的解决方案：MemOp（“聪明的导师”）

作者引入了 MemOp，这是一个系统，它扮演着一个严厉且以数据为驱动的导师的角色。MemOp 不仅仅是让 AI 随心所欲地记录，而是使用一个“闭环”过程，以确保 AI 只保留那些能够证明其有效性的记忆。

把 MemOp 想象成 AI 大脑的健身教练：

训练（任务）： AI 尝试修复一个软件漏洞。
反思（记忆）： 任务结束后，一个特殊的“记忆模型”（一个较小的 AI）会观察发生了什么，并尝试写下一个关于所学知识的总结（即记忆）。
测试（关键步骤）： 这是最神奇的部分。系统并不只是猜测记忆的好坏。它会进行测试。
- 它会问：“如果我们把这段记忆交给 AI 来解决一个新问题，它会有帮助吗？”
- 如果这段记忆帮助 AI 更快或更好地解决了新问题，该记忆就会被接受。
- 如果这段记忆没有帮助（甚至让情况变糟），它就会被拒绝并丢进垃圾桶。

这就创造了一个闭环：系统只学习那些被证明能提高性能的记忆。这就像一位厨师，只保留那些味道确实好的食谱，而丢弃那些会毁掉菜肴的食谱。

在实践中是如何运作的

论文描述了这种“记忆导师”的两步训练过程：

第一步：学习基础知识（监督微调）： 导师学习如何写出像样的总结，就像学生学习做笔记一样。
第二步：从结果中学习（强化学习）： 导师根据其笔记在下一轮是否真正帮助了 AI 来获得评分。如果笔记提供了帮助，导师会获得“奖励”；如果没用，导师则会受到“惩罚”。随着时间的推移，导师学会了只写那些真正重要的笔记。

结果：更快、更聪明、更便宜

论文在真实的软件工程任务（修复开源项目中的漏洞）上测试了这个系统。结果如下：

成功率： 带有 MemOp 的 AI 智能体修复的漏洞显著更多（提升高达 5.25%）。
效率： 它们解决问题的速度更快，步骤更少（效率提升高达 4.63%）。
成本： 因为它们不需要重新阅读所有内容或重复犯错，所以使用的计算能力减少了至少 9.79%。

核心启示

MemOp 改变了游戏规则，它不再将记忆视为静态的事实列表，而是一个不断优化的动态工具。

与其说 AI 是在说“我记得我以前试过这个，但我不知道效果如何”，MemOp 让 AI 拥有一种系统，使其能够说：“我记得这个具体的教训，因为我测试过它，并且我知道它能帮我获胜。”

它将 AI 从一个健忘的金鱼，变成了一位经验丰富的老手，能够从每一次经历中学习，并在每一次处理任务时都变得更加聪明、更加高效。

技术摘要：通过闭环记忆优化增强软件工程

问题陈述

大语言模型（LLM）智能体在处理复杂代码库和解决现实世界软件工程（SE）问题方面展现出了显著的能力。然而，目前的软件工程智能体在本质上仍是**片段式（episodic）**的。它们无法在任务之间保留、精炼或复用经验，迫使它们在处理每个新问题时都必须从头开始重建上下文。这导致了无效策略的重复、代码库结构的重新发现以及类似错误的再次发生。

虽然现有方法尝试通过增加记忆来增强智能体，但它们面临着一个关键问题：缺乏原则性的、与任务无关的记忆效用定义。当前的方法依赖于特定任务的启发式规则、复杂的架构或人类专家知识来决定“记住什么”。由于缺乏一种严谨的方式来量化特定的记忆是否确实改善了下游性能，因此目前尚不清楚如何区分有益的记忆与噪声，如何优化记忆生成，以及如何在不同的智能体和设置中泛化记忆机制。

方法论：MemOp

为了解决这些局限性，作者引入了 MemOp，这是一个用于软件工程智能体记忆增强的闭环框架。MemOp 将记忆效用建立在经过验证的下游影响之上，将记忆视为一种可优化的组件，而非静态的提示词（prompt）产物。

核心组件

原则性的记忆效用：
MemOp 通过对下游任务的因果影响来严格定义记忆效用。当且仅当候选记忆 $M_j$ 与无记忆基准相比，能显著提高 SE 智能体在特定指标上的表现时，该记忆才被视为有效。这一定义具有双重作用：
- 评估基准： 一个用于评估记忆质量的、与任务无关的标准。
- 优化信号： 一个驱动记忆学习的、无需人工标注的信号。
接受标准（公式 1）要求记忆不得降低任何一个 $N_Q=10$ 的性能指标，且必须至少提升其中一个。
闭环记忆优化：
MemOp 采用两阶段训练过程，学习一个记忆模型 $M_\theta$ ，将智能体的经验提炼为可复用的知识：
- 基于轨迹的拒绝采样： 系统从 SE 轨迹中生成多个记忆候选方案。通过运行带有该记忆和不带该记忆的 SE 智能体来评估每个候选方案。未能通过效用标准的候选方案将被拒绝；通过标准的候选方案则构成训练数据集。
- 第一阶段（监督微调 - SFT）： 记忆模型在被接受的记忆样本上进行训练，以学习从 SE 轨迹中生成性能增强型记忆的基础能力。
- 第二阶段（强化学习 - RL）： 模型通过基于偏好的 RL 方法进一步优化。对于给定任务，模型生成多个候选方案；将“地面真值”（已接受的）记忆与被拒绝的候选方案进行比较。奖励函数直接基于生成记忆带来的性能增益 ( $\Delta$ )，从而鼓励模型产生能够因果性地改善智能体结果的记忆。
记忆表示：
该框架使用结构化的、基于 Markdown 的记忆格式（Memory.md），它集成了关键知识、仓库结构和可操作的见解。初步研究发现，这种格式优于非结构化字符串或其他格式。

主要贡献

MemOp 框架： 一个闭环系统，将记忆从手工设计的启发式工具转变为一种基于经验性 SE 性能、可学习且可优化的组件。
以效用为基础的定义： 引入了一种基于验证的下游影响的、任务无关的记忆效用形式化定义，从而实现了严谨的评估和无需人工标注的优化。
两阶段优化策略： 一种结合了监督微调（SFT）和带有偏好优化的强化学习（RL）的新颖训练流水线，其奖励信号直接源自智能体性能的提升。
全面的评估： 在单回合（立即复用）和跨回合（渐进演化）机制下的系统性评估，证明了该框架的适应性和鲁棒性。

实验结果

作者在 SWE-Bench-Verified 基准测试上，使用多种 LLM 后端（如 Devstral-Small, Qwen3-Coder）和记忆模型（如 Qwen2.5, DeepSeek-R1）对 MemOp 进行了评估。

性能提升： MemOp 在单回合和跨回合设置下均一致地提升了 SE 智能体的表现。
- 成功率 (SR)： 在单回合和跨回合场景中分别实现了高达 ↑5.25% 和 ↑3.00% 的绝对增益。
- 解决效率： 提升了高达 ↑4.63%，表明问题解决速度更快。
- 定位准确度： 在识别目标文件和函数方面有显著改进。
计算效率： 尽管存在记忆生成的开销，但相对于基准方案，MemOp 将计算成本降低了 ≥9.79%，这主要是通过减少解决任务所需的迭代次数实现的。
泛化能力： 该框架在不同的 SE 智能体、记忆模型后端以及多样化的仓库结构中均表现出稳健的性能。
消融实验：
- 训练阶段： SFT 和 RL 阶段各自独立地对性能做出了贡献，两者结合后的效果最为优异。
- 粒度： 研究发现，回合级（episode-level）的记忆演化比动作级（action-level）的演化更高效且更有效。
- 算法无关性： 当集成到各种 RL 算法（GRPO, DAPO, GSPO）时，MemOp 都能带来一致的收益。

意义与主张

本文声称 MemOp 解决了智能体软件工程中的一个根本性差距：缺乏一种原则性的机制来学习“记住什么”。通过将记忆效用锚定在经验性的下游影响中，MemOp：

消除了对昂贵的人工标注或针对特定任务的记忆设计启发式规则的需求。
将记忆质量从一个模糊不清的属性转变为一个可衡量、可优化的量。
赋能自适应且持续进化的智能体，使其能够从过去的轨迹中提炼教训，从而更有效地解决未来多样化的软件工程挑战。

作者将 MemOp 定位为不仅仅是一个性能提升器，更是迈向构建通用、自适应智能体的一步，其中记忆效用作为一项一等公民的设计原则。他们也承认了当前的局限性，例如目前主要关注 Python 仓库，以及对底层 SE 智能体内在问题解决能力的依赖，并建议未来的研究方向包括跨基准测试验证以及与智能体训练更紧密的集成。