💻 computer science

Software Self-Extension with SelfEvolve: an Agentic Architecture for Runtime Code Generation

本文提出了名为 SelfEvolve 的编排智能体架构，通过运行时自主生成并集成新模块来实现软件自我扩展，实验表明其在 11 项任务中显著优于 AutoGen 等现有基线，验证了系统自主进化以满足用户需求的可行性。

原作者： Md Asif Iqbal Fahim, Oluwadamilola Adebayo, Alessio Ferrari

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Asif Iqbal Fahim, Oluwadamilola Adebayo, Alessio Ferrari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SelfEvolve 的新技术，它让软件拥有了“自我进化”的能力。

为了让你更容易理解，我们可以把传统的软件系统想象成一辆出厂时配置固定的汽车，而 SelfEvolve 则像是一辆拥有“魔法维修站”和“即时改装能力”的未来汽车。

以下是用通俗语言和比喻对这篇论文的解读：

1. 传统软件 vs. 自我进化软件

传统软件（旧模式）：
想象你开着一辆汽车，突然想加一个“自动识别路边咖啡店的导航功能”。在传统模式下，这辆车是死的。你必须把车开回 4S 店（找程序员），等他们设计图纸、写代码、测试、重新组装，最后再给你装好。这个过程可能需要几天甚至几周，而且在你等待期间，车还是原来的样子。
SelfEvolve（新模式）：
SelfEvolve 就像一辆能自我改装的魔法汽车。当你坐在车里说：“嘿，我想看看附近有什么好吃的”，如果车里原本没有这个功能，它不会报错说“我不懂”，而是当场在引擎盖下“变”出一个新的导航模块，安装好，然后立刻告诉你结果。整个过程不需要停车，不需要找修车工（程序员），甚至不需要重启引擎。

2. 它是如何做到的？（核心机制）

SelfEvolve 并不是真的在“变魔术”，它背后有一套精密的多智能体流水线（Agentic Pipeline）。我们可以把它想象成一个全自动的“创意厨房”：

点菜员（Dispatcher）：
当你提出需求（比如“计算矩阵的特征值”），点菜员会先检查厨房现有的食材（已有的代码库）。如果现成的能解决，就直接上菜；如果不行，它就记下你的需求，准备开始“新菜研发”。
试菜员与厨师（TDD 流程）：
这是 SelfEvolve 最聪明的地方。它没有直接让厨师（AI 代码生成器）瞎做，而是先让试菜员根据需求写出一份“试吃清单”（测试用例）。
- 比喻： 就像在正式做菜前，先列好“这道菜必须咸淡适中、不能太辣、必须熟透”的标准。
- 然后厨师根据这个清单做菜。
双重质检员（Adjudicators）：
菜做好后，要经过两轮严格的质检：
1. 第一轮质检： 对照“试吃清单”尝一口。如果味道不对（代码报错），质检员会告诉厨师：“太咸了，下次少放盐”，厨师就重新做。
2. 第二轮质检： 即使第一轮过了，还要进行“压力测试”（比如极端情况下的表现）。如果通过了，这道菜才算正式入库。
永久入库（Integration）：
一旦通过所有测试，这道新菜（新功能）就会被永久加入菜单（知识库）。下次任何人点这道菜，系统都能直接做，而且不需要重启厨房。

3. 它有多厉害？（实验结果）

研究人员让 SelfEvolve 完成了 11 个不同的任务，比如分析员工薪资、计算医疗风险、推荐电影等。

成绩： 它的成功率高达 92.7%（55 次尝试成功了 51 次）。
对比： 相比之下，目前市面上其他著名的 AI 编程助手（如 AutoGen, MetaGPT 等）在这些任务上的表现要差得多，有的甚至完全无法完成。SelfEvolve 比最好的对手还要高出 61.8% 的成功率。
速度： 它平均只需要 2.2 次 尝试就能成功完成任务，非常高效。

4. 为什么“先写测试”很重要？（TDD 的作用）

论文做了一个有趣的对比实验：如果去掉“先写测试清单”这个步骤，直接让 AI 写代码，成功率会暴跌到 72.7%，而且需要反复修改 4.7 次 才能成功。

比喻： 这就像让厨师直接凭感觉做菜，没有标准，很容易做坏，还得反复重做。而有了“试吃清单”（测试驱动开发），厨师就能一次比一次更精准，大大减少了浪费。

5. 这意味着什么？（未来展望）

这项技术展示了软件发展的一个新方向：个性化与自主进化。

以前： 软件是通用的，所有人用的都一样，想加功能得等开发商更新。
未来： 软件是为你量身定制的。如果你是一个喜欢摄影的用户，你的相册软件会自动学会“自动修图”；如果你是一个健身爱好者，它会自动学会“计算卡路里”。
愿景： 最终，软件将不再需要人类程序员频繁介入，它们能像生物一样，根据用户的需求，自己学习、自己生长、自己变强。

总结

SelfEvolve 就像是给软件装上了一个自动进化的大脑。它不仅能听懂你的话，还能在运行过程中，自己写代码、自己测试、自己安装新功能，让你手中的软件随着你的需求不断“长大”和“变聪明”。这标志着我们正从“人写代码给机器用”迈向“机器自己进化以满足人”的新时代。

1. 研究背景与问题 (Problem)

传统局限：传统的自适应系统（Self-adaptive systems）通常只能重新配置现有的组件以应对需求变化，缺乏生成全新功能模块的能力。软件功能的添加通常依赖人工开发、测试和部署，周期长（数天至数周）。
现有方案的不足：虽然大语言模型（LLM）代理（如 AutoGen, MetaGPT, AgentCoder）能加速开发时的代码生成，但它们主要面向开发人员，生成的是离线代码，需要人工集成。
核心挑战：目前缺乏一种机制，能让软件系统在运行时（Runtime） 根据用户的自然语言需求，自主地生成、验证并集成全新的功能模块，而无需系统重启或开发人员干预。这种“自进化”（Self-evolution）能力尚未被充分探索。

2. 方法论：SelfEvolve 架构 (Methodology)

作者提出了 SelfEvolve，这是一种编排式的代理（Agentic）管道架构，旨在实现运行时自扩展（Runtime Self-Extension）。其核心设计理念是测试驱动开发（TDD） 和 多代理协作。

2.1 核心组件

SelfEvolve 由以下几个关键组件协同工作：

知识库 (Knowledge Base)：
- 提示词库 (Prompts)：存储系统指令和少样本示例。
- 函数库 (Functions)：存储可执行的 Python 代码。
- 工具描述符 (Tool Descriptors)：存储 JSON 规范，将函数与调用元数据配对，支持 OpenAI 函数调用协议。
聊天与工具分发器 (Chat & Tool Dispatcher)：
- 接收用户自然语言请求。
- 判断现有工具是否满足需求。若满足则直接调用；若不满足，则将请求转化为结构化的需求规范（ $R_i$ ）。
测试驱动代码与函数生成器 (Test-Driven Code & Function Generator)：
- 生成测试：基于需求 $R_i$ 和上一轮反馈 $E_{i-1}$ ，生成 TDD 测试用例（ $T_i$ ）。
- 生成代码：基于需求和测试用例生成函数实现（ $F_i$ ）。该组件会检查现有代码库，尝试复用或组合现有功能（如矩阵乘法）来构建新功能。
中间裁决器 (Intermediate Adjudicator)：
- 执行 TDD 测试。如果通过，进入下一步；如果失败，分析错误并生成反馈（ $E_i$ ），触发代码重新生成。
单元测试生成器 (Unit Test Generator)：
- 在代码通过中间裁决后，基于实际生成的代码生成更全面的单元测试（ $U_i$ ），覆盖边界情况和异常处理。
最终裁决器 (Final Adjudicator)：
- 执行单元测试。通过则接受代码，失败则生成反馈并循环回生成器。
沙箱执行器 (Sandboxed Executor)：
- 在隔离的子进程沙箱中安全地执行生成的代码，防止破坏主系统。
系统集成 (System Integration)：
- 验证通过后，利用 Python 的 importlib.reload() 实现热重载，将新函数无缝集成到运行时的知识库中，无需重启系统。

2.2 工作流程

用户提出新需求（例如：“计算矩阵的特征值”）。
系统检查知识库，发现无此功能，启动生成流程。
迭代优化：系统进入“生成代码 -> 运行 TDD 测试 -> 裁决 -> 生成单元测试 -> 最终裁决”的循环。
如果代码失败，裁决器提供具体错误反馈（如数值不稳定），指导下一轮生成。
一旦通过所有测试，新函数被永久添加到系统，并立即对用户可用。

3. 主要贡献 (Key Contributions)

提出了运行时自扩展的新范式：从传统的“开发时代码生成”转向“运行时自主功能扩展”，使系统能根据用户的高层需求动态生成新能力。
设计了基于 TDD 的多代理管道架构：SelfEvolve 通过引入双重验证机制（TDD 测试 + 单元测试）和迭代反馈循环，显著提高了生成代码的可靠性和收敛速度。
实现了无重启的热更新：通过沙箱执行和动态模块加载，证明了在不停机的情况下扩展系统功能的可行性。
建立了评估基准：构建了包含 11 个任务的自扩展数据集，涵盖集成、组合和数据处理三类任务，并进行了严格的基线对比。

4. 实验结果 (Results)

研究在 11 个不同的自扩展任务上进行了评估（每个任务运行 5 次，共 55 次运行），并与 AutoGen、MetaGPT、AgentCoder 等基线进行了对比。

整体性能 (RQ1)：
- SelfEvolve 的平均 Pass@1 为 92.7% (51/55 成功)。
- 对比基线：
  - AutoGen (最佳基线): 30.9% (17/55)。
  - MetaGPT: 27.3% (15/55)。
  - AgentCoder: 0.0% (0/55)。
- 提升幅度：SelfEvolve 比最佳基线 AutoGen 提升了 61.8%，且差异具有统计学显著性 (p < 0.05)。
- 收敛效率：平均仅需 2.2 次迭代 即可收敛。
TDD 管道的影响 (RQ2 - 消融实验)：
- 有 TDD：Pass@1 为 92.7%，平均迭代 2.2 次。
- 无 TDD（直接生成代码后验证）：Pass@1 降至 72.7%，平均迭代次数增加至 4.7 次。
- 结论：TDD 管道不仅显著提高了成功率（提升约 20%），还将收敛速度提高了 2.1 倍。
任务分类表现：
- 在集成任务（涉及复杂代码库，577-783 行代码）中表现尤为突出，从 65% 提升至 90%。
- 在数据处理和组合任务中也保持了极高的成功率（95% 和 93.3%）。

5. 意义与未来展望 (Significance & Future Work)

理论意义：证明了系统可以通过自主代码生成实现“自进化”，为构建个性化、自改进的软件系统提供了初步证据。这标志着从“人工开发 - 部署”模式向“用户驱动 - 自主进化”模式的转变。
实践意义：
- 消除部署瓶颈：用户可以直接获得定制功能，无需等待开发周期。
- 大规模个性化：系统可以为每个用户动态生成独特的功能组合。
局限性：
- 目前仅针对功能正确性，未深入评估非功能性需求（如安全性、性能、可维护性）。
- 数据集由人工构建，规模有限。
- 依赖特定的 LLM 函数调用协议。
未来方向：
- 集成完整的 MAPE-K 闭环（监控 - 分析 - 规划 - 执行 - 知识），实现主动式自进化。
- 引入“人在回路”（Human-on-the-loop）和护栏机制，确保关键场景下的安全性。
- 增强需求工程能力，更精准地理解用户意图和上下文。

总结：SelfEvolve 展示了一种令人信服的架构，利用 LLM 代理和严格的测试驱动流程，使软件系统能够在运行时自主地“生长”出新的功能，为未来高度自适应和个性化的软件系统奠定了基础。