How Many Tries Does It Take? Iterative Self-Repair in LLM Code Generation Across Model Scales and Benchmarks
该论文通过涵盖多种规模与架构的七个大语言模型，在 HumanEval 和 MBPP 基准测试中证实了迭代自修复机制能显著提升代码生成成功率（最高提升 30 个百分点），并揭示了现代指令微调模型仅需提示即可实现有效自修复、断言错误最难修复以及思维链提示能带来额外增益等关键发现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在探讨一个非常有趣的问题：当人工智能（AI）写代码出错时，如果给它看错误报告并让它“自我修正”，它真的能变得更好吗？而且，这种“自我修正”的能力，是只有超级大脑（大模型）才有，还是小脑袋（小模型）也能做到？
为了让你轻松理解，我们可以把这篇论文的研究过程想象成**“一个编程学徒的进阶训练营”**。
1. 核心故事：从“一次过”到“反复打磨”
以前的做法（单 shot）：
想象你在考试，AI 就像个学生。以前我们只允许它写一次代码，写完就交卷。如果写错了，哪怕只差一点点，也算不及格。这就像只给学生一次机会，不管它多聪明，第一次没蒙对就是没蒙对。
现在的做法（迭代自我修复）：
这篇论文的研究者给这些 AI 学生换了一种考试方式：
- 第一次尝试： AI 写代码。
- 看错题本： 如果代码跑不通，系统会把红色的“错误报告”（比如“这里少个分号”或“逻辑不对”）直接发给 AI。
- 自我修正： AI 看着错误报告，说：“哦！原来我犯了这个错，我改一下！”然后重新写。
- 循环： 这个过程可以重复几次（最多 5 次）。
结论： 就像人类程序员一样，只要给 AI 看错误并让它改，几乎所有模型（无论大小）都能写出更好的代码！ 以前大家觉得小模型（比如 8B 参数的模型）太笨，改错只会越改越乱，但这篇论文发现，现在的 AI 变聪明了，连小模型也能通过“看错题、改错题”大幅提升成绩。
2. 参赛选手：谁更厉害？
研究者找了 7 位“选手”参加训练，分为三大家族：
- Llama 家族（Meta 出品）： 有“小个子”（8B）、“大个子”（70B），还有两种特殊的“混合专家”（MoE）选手（Scout 和 Maverick）。
- 比喻： 就像有普通学生，也有那种“虽然脑子不大，但专门请了 16 个或 128 个专家顾问团”的超级学霸。
- Qwen 家族（阿里出品）： 32B 参数的“中等身材”选手。
- Gemini 家族（Google 出品）： Flash（快如闪电）和 Pro（深思熟虑）。
比赛结果（HumanEval 和 MBPP 两个考场）：
- 全能冠军： Gemini 2.5 Flash 表现最惊艳。它不仅第一次就考得很好，而且改错能力极强，最终得分高达 96% 以上，几乎接近满分。
- 进步之星： Gemini 2.5 Pro 虽然第一次考得一般（因为它太爱“思考”了，导致第一次输出有点乱），但它的改错能力最强，进步幅度最大（提升了 17 个百分点）。
- 小模型的逆袭： 连最小的 Llama 3.1 8B 也成功通过改错提高了成绩，打破了“小模型改错没用”的旧观念。
3. 关键发现：哪些错好改，哪些难改？
研究者把错误分成了几类，发现了一个有趣的规律：
- 名字错误（Name Error）： 比如“这个变量我没定义”。
- 比喻： 就像学生写文章把“张三”写成了“张山”。
- 结果： 最好改！ AI 看到报错说“找不到张山”，马上就能改对。修复率高达 77%。
- 语法错误（Syntax Error）： 比如少个括号。
- 比喻： 就像句子没写完，缺了个句号。
- 结果： 比较好改。 修复率约 66%。
- 断言错误（Assertion Error）： 代码能跑，但结果不对。
- 比喻： 这是最难的！就像学生算出了答案，但题目问的是“苹果”，他算出了“梨”。代码没报错，但逻辑是错的。
- 结果： 最难改！ 修复率只有 45% 左右。因为 AI 很难自己意识到“我的逻辑哪里想歪了”，它需要更深层的理解。
4. 效率大比拼：是“改错题”划算，还是“多写几遍”划算？
这是一个很实际的问题：如果你只有一点点“算力预算”（比如只能花这么多钱或时间），你是应该：
- 策略 A（自我修复）： 让 AI 写一次，看报错，改一次，再改一次（像老师批改作业）。
- 策略 B（随机采样）： 让 AI 一次性写 5 遍不同的代码，看看哪一遍蒙对了（像买彩票）。
结论：
- 对于聪明的模型（如 Llama 70B, Gemini）：策略 A（自我修复）完胜！ 它用更少的“笔墨”（Token 消耗）就达到了更高的正确率。因为它能精准地找到错误并修正，不需要浪费资源去瞎蒙。
- 对于比较弱的模型（如 Llama 8B）：策略 B（多写几遍） 稍微好一点。因为它可能看不懂错误报告，不如多写几遍碰碰运气。
5. 给开发者的“锦囊妙计”
基于这些发现，论文给想使用 AI 写代码的人提了几个建议：
- 一定要给“改错”的机会： 哪怕只改一次，效果也最好。
- 改两次就够了： 大部分提升都在前两次改错中完成。再改第三次、第四次，收益就很少了，就像考试改卷，改两遍基本就能发现所有粗心错误，改十遍也发现不了新问题了。
- 看错误类型决定策略： 如果报错是“找不到变量”，让 AI 改就行；如果报错是“逻辑不对（断言错误）”，可能让 AI 多写几遍不同的方案更有效。
- 提示词（Prompt）很重要： 对于大模型，如果让它在改错前先“解释一下为什么错了，再改”（思维链），效果会比直接让它改更好。
总结
这篇论文告诉我们：现在的 AI 已经进化到可以像人类程序员一样“边做边改”了。 以前我们觉得小模型太笨，只能靠“多试几次”来碰运气；现在发现，只要给它们看错误报告，它们就能自我修正，而且越聪明的模型，这种“自我修正”的能力越强。
这就好比，以前我们觉得只有天才才能从错误中学习，现在发现，只要给个合适的“错题本”，哪怕是普通学生也能通过反复练习，考出惊人的高分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。