DeNovoSWE: Scaling Long-Horizon Environments for Generating Entire Repositories from Scratch
本文介绍了 DeNovoSWE，这是一个包含 4,818 个全仓库生成实例的大规模自动策展数据集，旨在训练用于长程软件工程任务的 LLM 智能体，该数据集将 BeyondSWE-Doc2Repo 基准测试的性能从 5.8% 显著提升至 47.2%。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位大师级建筑师，他极其擅长修复墙上一块破碎的砖头。他可以观察特定的裂缝，找出发生原因，并完美地将其修补好。这正是目前的 AI 编程助手所擅长的：修复现有软件中的小型漏洞。
但如果有人要求这位同样的建筑师，仅凭一张餐巾纸上的模糊草图，就从零开始建造一整座摩天大楼呢？这是一项艰巨得多的任务。这需要规划地基、设计电梯、布设电路，并确保每个房间的逻辑连接都正确无误。直到现在，AI 在处理这种“整栋建筑”的任务时一直表现挣扎，因为它缺乏足够的练习。
问题所在：缺乏蓝图
AI 之所以难以构建整个软件“摩天大楼”（代码仓库），主要原因是缺乏训练数据。现有的训练数据大多像是“修理这个漏水的水龙头”或“修补这扇破裂的窗户”之类的清单。几乎没有数据能教会 AI 如何将一份高层级的描述（如用户手册）转化为一个从零开始、功能完备且复杂的完整建筑。
解决方案：DeNovoSWE
该论文介绍了一个名为 DeNovoSWE 的大规模全新训练数据集，专门旨在教导 AI 如何从头开始构建整个软件项目。你可以把它想象成一个巨大的图书馆，里面收藏了 4,818 个“建筑挑战”。在每个挑战中，AI 会被给予一套详细的指令（文档），并且必须构建出与这些指令完全匹配的整个软件系统。
他们是如何构建训练数据的（“分而治之”策略）
构建这样一个数据集非常困难，因为你不能只是要求 AI “为一款复杂的应用写一份手册”并指望它是完美的。作者使用了一支聪明的、自动化的 AI 智能体团队来承担繁重的任务：
- “分”阶段： 想象一下尝试为一个巨大的城市编写手册。这太大了，无法一次完成。因此，AI 首先将城市分解为若干个街区（功能模块）。它识别出每个街区的功能以及属于该街区的建筑（代码文件）。
- “治”阶段： 现在，专门的 AI 智能体负责逐个编写单个街区的手册。
- 草拟智能体（The Draft Agent）： 编写手册的第一版。
- 评论智能体（The Critic Agent）： 扮演严厉编辑的角色。它会检查手册：“你是不是忘了解释交通灯是如何工作的？电路图是否清晰？”
- 修复智能体（The Repair Agent）： 修复评论智能体发现的错误。
- 这个循环不断重复，直到手册趋于完美。
- “黄金”测试： 一旦手册编写完成，系统会创建一个“洁净室”（沙盒）。它取出原始代码，将其丢弃，只留下手册。然后，它要求另一个不同的 AI 智能体仅根据该手册来重建软件。如果新软件通过了所有测试，则认为该手册质量达标，并将其加入数据集。
保持 AI 的诚实（反作弊机制）
一个主要的担忧是 AI 可能会通过窥视它本应重建的原始代码来“作弊”。作者建立了一套严格的安全系统来防止这种情况：
- 他们剥离了所有的历史记录、缓存和隐藏文件。
- 他们阻止 AI 上网下载原始代码。
- 他们确保 AI 处于真正的“闭卷”状态，迫使它完全依赖于所给的文档进行构建。
“难度感知”过滤器
并非所有的建筑项目都是一样的。有些是小棚屋，有些则是摩天大楼。如果你只保留那些 AI 第一次尝试就完美建成摩天大楼的训练案例，你就会失去那些极具价值的教训——即那些 AI 差一点就成功、但仍犯了一些错误的困难项目。
作者创建了一个智能过滤器，用于观察项目的难度。
- 对于简单的项目（一个小棚屋），他们要求满分。
- 对于困难的项目（一座摩天大楼），他们接受稍低的评分（例如 80% 的成功率），因为完美建成一座摩天大楼是非常困难的。
这确保了 AI 既能从轻松的胜利中学习，也能从困难任务中的“差一点就成功”的时刻中汲取经验。
结果
当他们使用这个新数据集来训练 AI 模型时，结果是惊人的。
- 在训练之前，AI 只能正确构建约 5.8% 的所需软件。
- 在使用 DeNovoSWE 进行训练后，其成功率跃升至 47.2%。
这证明了，通过给予 AI 正确类型的“建筑练习”——将大问题拆解、使用严格的编辑并从部分成功中学习——我们可以教会 AI 从一个简单的“砖头修理工”蜕变为真正的“软件架构师”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。