On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
这项针对 Claude Code 智能体在 157 个开源项目中生成的 567 个 GitHub 拉取请求（pull requests）的实证研究表明，尽管 83.8% 的智能体辅助贡献被接受——且通常无需修改——但它们仍频繁需要人类在错误修复、文档编写以及遵循项目标准方面进行监督。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将软件开发想象成一个庞大、繁忙的建筑工地，成千上万的团队正在那里建造数字摩天大楼（开源项目）。多年来，工人们（开发者）一直在进行所有的重体力活，亲自绘制蓝图、铺设砖块。
最近，一种新型的智能机器人助手——“代理编码”（Agentic Coding，具体指名为 Claude Code 的工具）来到了这个工地。与只会回答问题的简单计算器不同，这个机器人可以拿起扳手，查看蓝图，修理漏水的管道，编写新的说明书，甚至可以自行提交文件以获取审批——它完全可以独立完成这些工作。
这篇论文是一份关于这些机器人在现实世界中表现如何的成绩单。研究人员观察了 567 个建筑项目（Pull Requests/合并请求），其中由这个机器人完成了工作，并将它们与人类完成的项目进行了对比，并提出了四个大问题。
以下是研究结果，通过简单的类比进行了解释：
1. 机器人做的是什么样的工作？ (RQ1)
研究发现： 人类和机器人都会修复损坏的东西（修复 Bug）以及建造新房间（开发新功能）。然而，机器人有一个特别的专长：翻修与清洁。
- 类比： 如果要求一名人类工人“修理房子”，他可能会修补屋顶或建造一个新车库。但如果你要求机器人“修理房子”，它非常喜欢重新布置家具（重构）、在柜子上贴上更好的标签（文档编写）以及增加更多监控摄像头（测试）。
- 结果： 机器人非常擅长处理那些人类觉得枯燥乏味的、基于规则的清理工作。此外，它们倾向于编写更长、更详细的“工作单”（PR 描述），详细解释自己做了什么。
2. 老板们（维护者）接受机器人的工作吗？ (RQ2)
研究发现： 是的，大部分情况下都接受！但并不像接受人类的工作那样频繁。
- 数据统计： 大约 84% 的机器人工作被批准并合并。相比之下，大约有 91% 的人类工作被批准。
- 为什么会被拒绝？ 很少是因为机器人造了一面“坏墙”。通常，工作被拒绝是因为：
- 时机问题： 另一名团队成员已经用另一种方式解决了问题。
- 规模问题： 机器人试图一次性修好整栋房子，导致蓝图过于庞大，难以审核。
- 过时问题： 在机器人工作期间，项目的方向发生了变化。
- 总结： 机器人通常是值得信赖的，但它们有时会忽略团队目前真正想要什么的“大局”背景。
3. 机器人需要帮助才能完成工作吗？ (RQ3)
研究发现： 令人惊讶的是，机器人和人类在工作达到完美之前，都需要大约同等程度的“抛光”。
- 类比： 想象你订购了一个定制蛋糕。有时，烘焙师（机器人）第一次就能做到 100% 正确。有时，他们做到了 90%，你只需要微调一下糖霜。
- 数据统计： 大约 55% 的机器人蛋糕是无需修改即可直接使用的。这与人类烘焙师（58.5%）几乎相同。
- 工作量： 当蛋糕确实需要微调时，修复一个机器人蛋糕所需的工作量在统计学上与修复一个人类蛋糕的工作量是相同的。机器人并没有制造出需要更多工作的“更严重的错误”；它们只是犯了不同类型的细小错误。
4. 人类究竟在修复什么？ (RQ4)
研究发现： 当人类不得不介入并修复机器人的工作时，他们主要是在修复安全检查、指令和风格。
- 缺陷修复 (48%)： 有时机器人表现得过于乐观。它假设门永远不会坏，因此没有建立备份计划。人类必须添加那个备份计划。
- 文档编写 (29%)： 机器人可能造了一个很棒的新房间，但忘记更新房屋地图。人类必须更新“README”（说明书）。
- 重构 (27%)： 机器人可能造了一面有效的墙，但位置很奇怪，导致房屋的其他部分难以通行。人类必须移动它以符合房屋的风格。
- 风格 (23%)： 机器人可能使用了错误的油漆颜色或错误的字体。人类必须让它看起来与建筑的其他部分一致。
大局观
把代理编码看作是一个非常有才华、快速且热心的学徒。
- 优点： 它可以承担大量的重体力活，尤其是那些枯燥的清理和测试任务。它产出的工作通常足够好，可以直接使用。
- 缺点： 它有时会错过项目的“氛围”，编写的指令要么太长要么太短，并且偶尔需要人类监督员来复核其安全性与风格。
结论： 机器人目前还无法取代人类领班。相反，它是一个强大的工具，负责处理繁琐的基础工作，让渡出空间让渡给人类，以便人类可以介入、审核计划，并做出最终决定，以确保一切既安全、又时尚，且完美契合项目。论文表明，虽然机器人是一个很好的起点，但人类的监督仍然至关重要，才能将一份“优秀的草稿”转化为一部“完成的杰作”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。