🤖 AI

MEnvAgent: Scalable Polyglot Environment Construction for Verifiable Software Engineering

本文介绍了 MEnvAgent，这是一个可扩展的多语言框架，它通过多智能体架构和环境复用机制实现了可验证软件工程环境的自动化构建，从而克服了数据集稀缺问题，并促成了目前规模最大的开源多语言大语言模型（LLM）智能体数据集的创建。

原作者： Chuanzhe Guo, Jingjing Wu, Sijun He, Yang Chen, Zhaoqi Kuang, Shilong Fan, Bingjin Chen, Siqi Bao, Jing Liu, Hua Wu, Qingfu Zhu, Wanxiang Che, Haifeng Wang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chuanzhe Guo, Jingjing Wu, Sijun He, Yang Chen, Zhaoqi Kuang, Shilong Fan, Bingjin Chen, Siqi Bao, Jing Liu, Hua Wu, Qingfu Zhu, Wanxiang Che, Haifeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在尝试根据食谱重现名菜的大师级厨师（AI）。食谱上写着：“加入盐、胡椒和一种特定类型的稀有香草。”但这里有个难点：在你开始烹饪之前，你必须从零开始搭建一个厨房。你必须找到合适的炉灶，安装正确的燃气管道，购买特定品牌的盐，并确保你的花园里长出了那种稀有香草。

如果你选错了炉灶，食物就会烧焦。如果你买错了盐，这道菜的味道就会变得糟糕。在软件工程的世界里，这种“搭建厨房”的过程被称为环境构建（Environment Construction）。

长期以来，教 AI 如何修复软件漏洞就像是要求一位厨师在没有厨房的情况下烹饪。我们有了食谱（代码），但我们无法轻易搭建出厨房（软件环境）来测试 AI 的修复是否真的奏效。搭建这些厨房既缓慢又昂贵，而且只适用于少数几种“菜系”（编程语言）。

走进 MEnvAgent：终极厨房搭建者

这篇论文介绍了一个名为 MEnvAgent 的新系统，旨在为 10 种不同的编程语言（如 Python、Java、C++ 等）自动构建这些软件厨房。它就像拥有一支专业的建筑工人团队，无论多么复杂的食谱，都能搭建出相应的厨房。

以下是 MEnvAgent 的工作原理，我们使用简单的类比来解释：

1. 三步走的施工队

MEnvAgent 并没有让一个人尝试做所有事情，而是使用了一个由三个“智能体”（AI 专家）组成的循环团队：

架构师（规划）： 这个智能体会阅读食谱和蓝图。它会弄清楚需要什么样的炉灶、管道和食材。
建造者（执行）： 这个智能体会真正开始施工。它安装软件并运行测试。如果管道漏了或者零件不匹配，这个智能体会尝试即时修复。
检查员（验证）： 厨房建成后，这个智能体会尝试烹饪这道菜。如果菜品味道对了（代码通过了测试），任务完成。如果失败了，检查员会准确地告诉架构师哪里出了问题，以便他们重新尝试。

2. “复用”技巧（节省时间与金钱）

每次都从头开始搭建一个厨房是一种浪费时间。想象一下，如果你每烤一次蛋糕都要盖一座新房子。

MEnvAgent 有一个聪明的技巧，叫做环境复用机制（Environment Reuse Mechanism）。

类比： 假设你需要为一个新的披萨食谱搭建一个厨房。与其从一片空地开始，MEnvAgent 会查看它已有的“已建厨房库”。它会找到一个已经完成了 90% 且适用于类似披萨的厨房。
补丁： 然后，它会派出一支“补丁小组”（EnvPatchAgent）对现有的厨房进行快速、微小的调整，以适应新的食谱。这比从零开始建设要快得多。
结果： 论文声称，与从头开始构建相比，这节省了 43% 的时间。

3. 证明：MEnvBench 与 MEnvData

为了证明其系统的有效性，作者不仅仅是凭空猜测；他们建立了一个巨大的测试场，称为 MEnvBench。

可以将其想象成一场规模宏大的“烹饪奥运会”，包含 1,000 项挑战，横跨 10 种不同的语言。
他们将 MEnvAgent 与其他系统进行了对比测试，发现它是赢家。它修复了更多的“损坏厨房”（提高了成功率达 8.6%），而且速度更快。

4. 巨大的回报：完美的厨房库

由于 MEnvAgent 在构建环境方面表现出色，作者利用它创建了 MEnvData-SWE。

类比： 这就像是一个拥有 3,000 多个完美构建的厨房的庞大图书馆，每个厨房都配有可以运行的食谱和测试结果。
影响： 他们利用这个库来训练其他的 AI 厨师。结果如何？这些 AI 厨师在修复软件漏洞方面变得显著更强。论文显示，使用该数据训练的模型在处理现实世界软件任务时的表现，远优于未使用该数据的模型。

总结

简而言之，MEnvAgent 通过自动为多种编程语言构建必要的测试环境，解决了“我们如何测试 AI 是否能修复代码”的问题。它通过使用 AI 智能体团队进行规划、建造和检查，并巧妙地复用旧环境来节省时间。这是一种更快、更可靠的方式，用于训练 AI 成为更好的软件工程师。

该论文并未声称：

它并不声称该系统能瞬间修复世界上所有的漏洞。
它并不声称这会完全取代人类工程师；它是一个帮助构建更好 AI 测试场的工具。
它没有专门讨论将其用于医疗软件或关键安全系统，除了提到需要使用安全沙箱（隔离的厨房）来防止恶意代码运行。

技术摘要：MEnvAgent

问题陈述

随着面向软件工程（SWE）的大语言模型（LLM）智能体的发展，目前正受限于可验证数据集的匮乏。虽然存在像 SWE-bench 这样的基准测试，但构建用于验证解决方案所需的可执行环境是一个重大挑战。现有方法面临着两难境地：

静态指标虽然扩展效率高，但只能提供近似的验证信号。
人工构建能确保质量，但劳动强度大且主要局限于 Python。
自动化尝试难以应对多样化依赖、版本冲突以及非标准仓库中不一致测试协议带来的复杂性，导致成功率低，并因需要进行“从零开始”的重建而产生高昂的时间成本。

在多样化编程语言（多语言环境）方面，存在着规模化、可验证支持的严重缺口。

方法论：MEnvAgent

为了应对这些挑战，作者引入了 MEnvAgent，一个用于自动化环境构建的多语言框架。该系统建立在两个核心支柱之上：

1. 多智能体规划-执行-验证架构

MEnvAgent 采用了一种闭环架构，通过专门的智能体迭代地诊断并解决构建失败问题：

规划阶段：
- 仓库分析智能体（Repository Analysis Agent）： 探索文件结构和依赖关系，以总结项目类型和入口点。
- 环境搭建智能体（Environment Setup Agent）： 选择最优的基础镜像并起草安装脚本 ( $P$ )。
- 测试配置智能体（Test Configuration Agent）： 合成兼容的测试脚本 ( $T$ )，确保验证逻辑与环境对齐。
执行阶段：
- 环境执行智能体（Environment Execution Agent）： 实例化容器并执行构建过程。它实时监控终端输出，以动态调整命令（例如，修复缺失的包）来解决即时错误。如果失败持续存在，它会返回规划阶段以重新生成策略。
验证阶段：
- 验证智能体（Verification Agent）： 执行测试脚本。它进行错误归因，以确定失败是源于缺失依赖还是错误的测试命令，并将诊断反馈传回规划阶段进行迭代优化。

2. 环境复用机制

为了减轻从头构建环境的高昂计算成本，MEnvAgent 引入了一种创新的复用策略：

检索： 系统不再从原始基础镜像开始，而是搜索一个由已验证环境组成的环境池（Environment Pool）。它使用基于版本一致性（精确版本匹配）和向后兼容性（选择支持旧依赖的新环境）的分层检索策略。
适配： 一旦找到相似的历史环境 ( $S_{sim}$ )，EnvPatchAgent 会生成增量命令序列 ( $\Delta P$ ) 来使环境适配目标仓库的快照。这避免了全量重建，显著降低了开销。

核心贡献

本文提出了三个主要贡献：

MEnvAgent 框架： 一个基于“规划-执行-验证”循环的多智能体系统，涵盖 10 种编程语言，并具有旨在降低计算开销的新颖环境复用机制。
MEnvBench： 首个用于评估多语言可执行环境构建的全面基准测试。它包含跨越 10 种主流语言和 200 个开源仓库的 1,000 个任务，具有严格的基于执行的评估和质量保证。
MEnvData-SWE： 迄今为止最大的开源多语言真实可验证 Docker 环境数据集。通过 MEnvAgent 构建，包含了能够提升 LLM 在下游 SWE 任务性能的解决方案轨迹。

实验结果

该框架使用两个骨干 LLM（Kimi-K2 [开源] 和 Gemini-3-Flash [闭源]）在 MEnvBench 上进行了评估。

性能对比基准： MEnvAgent 在所有语言上均优于最先进的基准（SWE-Factory, SWE-Bench-Live, Repo2Run）。
- 失败转通过（F2P）率： 平均提升了 8.6%。
- 通过率（Pass Rate）： 平均提升了 11.0%。
- 时间成本： 平均降低了 43.0%。
消融实验：
- 移除环境复用机制（从零开始构建）会导致时间成本增加 46%，并通过率下降 18.5%。
- 移除 EnvPatchAgent（直接复用而不进行补丁处理）会导致复用成功率从 39% 下降到 25%，从而导致频繁回退到从零构建。
- 可扩展性： 随着每个仓库的历史实例数量增加（从 1 到 10），复用成功率上升至 39%，证明了该框架在更大数据规模下变得更加高效。
下游效用： 在来自 MEnvData-SWE 的解决方案轨迹上对各种模型（Qwen2.5-Coder, Qwen3-Coder, GLM-4.5-Air）进行微调，使其在 SWE-bench Verified 和 SWE-bench Multilingual 基准测试上取得了显著的性能提升。值得注意的是，微调后的 Qwen2.5-Coder-32B 在 SWE-bench Verified 上达到了与 GPT-4.1 相当的水平。

意义与主张

作者声称 MEnvAgent 成功弥合了规模化、可验证的多语言软件工程支持方面的缺口。通过将传统的劳动密集型环境构建任务自动化，该框架降低了研究人员进行大规模、多语言 SWE 研究的门槛。

论文强调，环境复用机制是一项关键创新，它将环境构建从一个线性的、高成本的过程转变为一个增量的、高效的过程。此外，MEnvData-SWE 的发布为社区提供了一个资源，用于训练更鲁棒、更通用的编码智能体，有效地验证了通过执行验证数据推动 SOTA 模型性能边界的效用。

作者承认了自动化代码执行可能存在的潜在风险，但指出该框架在严格隔离的 Docker 沙箱环境中运行以确保安全。所有代码、基准测试和数据集均已开源，以促进未来的研究。