RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository
该论文提出了首个多语言端到端微服务仓库生成基准 RepoGenesis，通过涵盖 106 个真实场景仓库的严格评测揭示了现有大模型在架构一致性与依赖管理上的显著不足，并验证了基于该基准微调的模型能达到与 GPT-5 mini 相当的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 RepoGenesis 的全新“考试系统”，专门用来测试人工智能（AI）能否像真正的软件工程师一样，从零开始写出一整套完整的、可运行的微服务软件。
为了让你更容易理解，我们可以把这件事想象成**“从一张菜单到开一家餐厅”**的过程。
1. 以前的考试 vs. 现在的考试
以前的考试（旧基准）：
以前的 AI 测试就像让厨师**“炒一道菜”或者“修改一道菜”**。- 比如：“请写一个函数，把两个数字相加”（这是炒一道菜）。
- 或者：“这道菜太咸了，请少放点盐”（这是修改现有代码）。
- 局限性： 这只能测试 AI 写小段代码的能力，但现实中的软件开发不是只炒一道菜，而是要开一家完整的餐厅。
现在的考试（RepoGenesis）：
这篇论文提出的新考试，是给 AI 一张**“餐厅需求单”**（README 文档），然后要求它：- 设计装修（架构设计）：餐厅怎么布局？
- 采购食材（依赖管理）：需要买什么锅碗瓢盆？
- 雇佣员工（代码编写）：写后厨代码、前台代码、收银系统。
- 通过试吃（测试验证）：确保所有菜品都能做出来，且味道正确。
- 正式开业（部署成功）：餐厅能真正开门营业，接待客人。
RepoGenesis 就是这套“开餐厅”的完整考卷。 它包含了 106 个不同的“餐厅”（软件项目），涵盖了 Python 和 Java 两种“语言”，还有 18 种不同的“菜系”（领域，如游戏后端、文件管理、用户认证等）。
2. 考试有多难？（AI 的表现）
论文让各种 AI 助手（包括开源的“实习生”和微软、GitHub 等公司的“商业 IDE"）来参加考试。结果发现：
表面光鲜，实则漏洞百出：
有些 AI 表现得很像样，比如它能画出漂亮的“菜单”（API 覆盖率很高，甚至达到 73%），也能把装修图（代码结构）画出来。- 但是！ 当你真的让它“开业”时，很多餐厅根本开不起来。
- 最终得分（Pass@1）： 表现最好的商业 IDE（Copilot），在 Python 语言上只有 23.67% 的成功率。也就是说，每 4 次尝试，只有 1 次能真正成功开出一家能用的餐厅。
AI 主要死在哪里？
就像新手厨师一样，AI 犯的错误很典型：- 文件打架（跨文件一致性）： 50% 的失败是因为它在前厅写的菜单，和后厨的菜谱对不上。比如菜单说“要辣椒”，后厨却忘了放。
- 架构混乱（架构连贯性）： 26% 的失败是因为整体设计不合理，比如把厨房建在了二楼，但楼梯只通到一楼。
- 依赖缺失（依赖管理）： 24% 的失败是因为忘了买关键的调料（缺少必要的库或配置文件），导致菜做不出来。
3. 为什么这个考试很重要？
- 填补空白： 以前我们不知道 AI 能不能“从零开始”写软件。现在我们知道，虽然 AI 能写很多代码片段，但要把它们拼成一个能跑、能部署、不出错的完整系统，目前还非常困难。
- 质量把关（Review-Rebuttal）： 为了确保考试公平，作者们搞了一个非常严格的“阅卷流程”。就像论文答辩一样，有三个 AI 评委和一个人类专家（Area Chair）互相挑刺、辩论，确保每一个测试题（比如“这道菜必须能辣死客人”）都是真实有效的，没有糊弄。
- 训练出了“学霸”： 作者用这套考卷训练了一个叫 GenesisAgent-8B 的 AI 模型。结果发现，这个经过特训的“小模型”，表现竟然能和顶级的商业大模型（GPT-5 mini）不相上下！这说明好的考卷（数据）比单纯的模型大小更重要。
4. 总结与比喻
如果把软件开发比作**“盖大楼”**：
- 以前的 AI 擅长**“砌砖”（写单个函数）或者“修补窗户”**（改现有代码）。
- RepoGenesis 则是要求 AI**“从打地基到通电通水，盖好一整栋楼，并且确保楼里的人能正常生活”**。
结论：
目前的 AI 还是个**“天才砌砖工”，但还不是一个合格的“建筑总工”**。它经常能画出漂亮的图纸，但一旦要真正动工，就会因为忘记买水泥（依赖管理）或者把承重墙拆了（架构错误）而搞砸。
这篇论文不仅指出了 AI 的短板，还提供了一个完美的“训练场”和“考场”，帮助未来的 AI 真正学会如何从零开始构建复杂的软件系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。