How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests
该研究基于 MSR 2026 挑战数据集,对 24,014 个 AI 代理生成的合并拉取请求与 5,081 个人类贡献进行了大规模实证分析,揭示了 AI 代理在提交次数、代码修改模式及描述与差异的一致性等方面与人类贡献的显著差异。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
这篇论文就像是一次对**“机器人程序员”和“人类程序员”在 GitHub(全球最大的代码仓库)上如何提交工作成果的大规模体检报告**。
想象一下,GitHub 是一个巨大的**“开源建筑工地上”**。以前,只有人类工人(人类程序员)会在这里干活:他们设计图纸、砌砖、写说明,然后提交一份“施工申请单”(Pull Request,简称 PR),请求工头(代码审查者)批准。
现在,AI 编程助手(AI Coding Agents)也来了。它们不仅能干活,还能自动提交施工申请单。这篇论文就是想知道:这些 AI 工人和人类工人,在干活的方式、提交的申请单质量上,到底有什么不一样?
研究人员像侦探一样,分析了2.4 万个 AI 提交的申请单和5000 个人类提交的申请单,得出了以下有趣的发现:
1. 干活风格:是“大刀阔斧”还是“精雕细琢”?
人类工人(Human PRs):
就像那些经验丰富的老工匠。他们干活时,往往喜欢**“大动干戈”**。- 特点:一次提交可能涉及很多个文件(比如同时修了墙、换了窗户、还刷了漆),而且他们喜欢把一个大工程拆分成很多个小步骤(很多个 Commit/提交记录)来慢慢做。
- 比喻:人类像是在**“写长篇小说”**,章节多,篇幅长,涉及面广。
AI 机器人(Agentic PRs):
它们更像是**“精准的瑞士军刀”或“微创手术专家”**。- 特点:它们倾向于**“小步快跑”**。一次只改很少的几个文件,甚至只改几行代码,而且通常只用很少的步骤(很少的 Commit)就搞定。
- 比喻:AI 像是在**“发推特”**,短小精悍,直奔主题。
- 例外:虽然大部分 AI 都很“小气”(改动小),但像 Claude Code 和 OpenAI Codex 这样的“大个子”AI,偶尔也会像人类一样搞点大工程,不过大多数 AI(如 Copilot)还是坚持“小而美”的风格。
结论:AI 和人类最大的区别不在于改了多少行代码(总量差不多),而在于**“怎么组织”**。AI 喜欢把大任务拆成无数个极小的、独立的碎片,而人类喜欢把相关的改动打包在一起。
2. 写说明书(PR 描述):AI 比人类更“诚实”吗?
每个施工申请单都需要写一段“修改说明”(Description),告诉审查者“我改了啥,为什么要改”。
- 人类工人:有时候写得很随意,或者写得太笼统。比如代码里改了个复杂的逻辑,但说明里只写了“修复了一个 bug"。这就导致**“说的”和“做的”**有点对不上号。
- AI 机器人: surprisingly(令人惊讶地),AI 写的说明非常贴合它实际改的代码。
- 比喻:如果人类是在“写诗”(意境到了,但细节模糊),AI 就是在**“写操作手册”**(精准对应,指哪打哪)。
- 数据:研究人员用 AI 算法去对比“说明文字”和“代码改动”,发现 AI 的**“言行一致度”**(语义相似度)比人类还要高一点点。这意味着 AI 非常清楚自己改了哪里,并且能准确地用语言描述出来。
3. 这对我们意味着什么?(给工头的建议)
这项研究给那些负责审核代码的“工头”(人类开发者)提了两个醒:
别只看代码量,要看“结构”:
以前审核代码,大家可能觉得“改动行数少”就是好。但现在发现,AI 改的代码虽然行数少,但**“碎片化”**严重(一个 PR 里可能有几十个微小的提交)。- 建议:如果看到一个 PR 有几十个提交记录,但改动都很小,那大概率是 AI 干的。这时候审查者需要换个眼光,不要只盯着代码行数,要关注这些碎片是否拼凑得合理。
AI 的“说明书”很靠谱,但也要防着“过度自信”:
既然 AI 写的说明通常很准,我们可以利用这一点,让 AI 自动生成“更新日志”或“发布说明”。- 警惕:虽然 AI 很准,但如果它突然开始写长篇大论或者改动范围特别大(像人类一样),那可能意味着它“迷路”了,这时候人类工头就要介入,仔细检查了。
总结
这篇论文告诉我们:AI 程序员已经不再是只会补代码的“小助手”,它们变成了能独立提交任务的“正式员工”。
- 它们干活更细碎、更专注(不像人类那样喜欢大包大揽)。
- 它们写**“工作日报”(PR 描述)非常精准**,甚至比人类更懂怎么描述自己的改动。
未来的软件开发,将是**“人类指挥官” + "AI 特种兵”**的组合。人类负责定大方向和做最终把关,而 AI 负责高效、精准地执行那些细碎的、重复的修改任务。只要人类工头学会如何识别和审核这种“新式工作流”,开源世界将会变得更加高效。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。