Early Adoption of Agentic Coding Tools by GitHub Projects
本研究分析了来自 2,300 个 GitHub 仓库的 25,000 多个由智能体生成的拉取请求,揭示了尽管智能体编程工具的密集采用仍集中在少数项目子集中,但成功的集成在很大程度上依赖于单人监督模型,并因项目规模和生产力而表现出显著差异。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,软件开发的世界就像一个繁忙且规模宏大的建筑工地,数以百万计的人正在那里一砖一瓦地建造着数字化的摩天大楼。多年来,这个工地上的工人一直使用着“智能助手”——这些工具会建议下一块砖该放哪,或者帮助修复一面摇晃的墙壁。但最近,一种新型的工人来到了现场: “代理型”(agentic)工具。不要把它们仅仅看作是只会低声耳语建议的助手,而要将它们视为半自主的实习生。这些数字实习生可以查看蓝图,建造一个全新的房间,测试灯光是否正常工作,甚至还会敲开项目经理的门问道:“我们可以把这个放进去吗?”这种转变令人兴奋,因为它承诺了加速软件构建的速度,但也提出了一个巨大的问题:现实中的人类团队究竟是如何与这些新的数字实习生协作的?他们是信任这些实习生并把整栋大楼的钥匙交给他们,还是依然紧紧地牵着绳子?这就是开源项目如何试图摸索这种新型人机伙伴关系规则的故事。
论文《GitHub 项目对代理型编码工具的早期采用》就像一部侦探故事,调查了成千上 тысячи 个软件项目是如何处理这些新的数字实习生的。研究人员分析了一堆海量数据:来自 2,361 个不同项目的 25,264 个“拉取请求”(pull requests,这基本上是添加新代码的正式请求)。他们专注于一个特定的三个月窗口期(2025 年 5 月、6 月和 7 月),并追踪了三种流行的 AI 编码代理:Copilot、Codex 和 Claude Code。他们的目标是回答三个主要问题:有多少项目实际上正在使用这些工具?使用这些工具时,这些项目的生产力如何?以及最重要的一点,人类和代理是如何协同工作的?
以下是调查揭示的结果,其内容比你预想的要更加微妙。
首先,研究人员发现,虽然这些工具在成千上万个地方被使用,但“重体力活”实际上发生在建筑工地中一个非常小的角落。如果你随机挑选一个项目,在中位数(中间点)水平上,这些项目在三个月内仅生成了一到两个由代理生成的请求。这就像是发现虽然有一种新型电动工具已经问世,但大多数施工队每月只使用一两次。研究表明,“密集采用”仍集中在相对较小的子集中。然而,这里有一个转折:团队规模至关重要。小型项目(拥有 1 到 5 名贡献者)表现得更为积极。他们的团队成员使用这些工具的比例更高,并且平均而言,生成的代理活动量远高于大型企业级项目。事实上,小型项目平均每个仓库产生约 50 个代理请求,而中型和大型项目平均仅为 5 到 7 个。看起来,规模较小的队伍更愿意让数字实习生“放飞自我”,而大型团队则仍然非常谨慎。
其次,团队观察了生产力,提出了这样一个问题:“每人实际构建了多少代码?”他们将发现的结果与一项行业基准进行了对比,该基准表明一名人类开发者在三个月内可能会处理大约 36 个请求。结果显示,大多数项目都低于这条线。只有极小的一部分——仅 25 个项目(约占 2,361 个项目中的 1%)——成功超过了 36 个请求的门槛。这表明,尽管这些工具功能强大,但大多数团队尚未产生大规模的代理工作量。那些确实超过了门槛的项目大多是小型项目,这表明使用这些工具实现高生产力可能取决于我们尚未完全理解的特定项目条件。
最后,研究调查了人类与代理之间的“舞蹈”。到底谁才是真正的掌控者?答案压倒性地指向一个人。在近 79% 的案例中,是由一名人类开发者负责审查代理的工作,并将其合并到项目中。这是一种“单人监督”模式。想象一下,一位老师在批改完学生的作业后,直接将其放入成绩册,而没有询问同事第二个意见。虽然大型项目展示了更多的团队协作(通过多人进行审查),但在绝大多数情况下,人机协作是一种一对一的关系。论文指出,即使面对这些强大的代理,人类进行审查和批准的角色仍然处于核心地位,并未被团队式的安全网所取代。
简而言之,这篇论文描绘了一个早期实验的图景。数字实习生已经到来,并在一些敏捷的小型团队中努力工作,但对于大多数项目来说,他们还处于涉水试探阶段。研究表明,要让这些工具真正改变软件开发,不仅在于让代理变得更聪明,更在于人类团队如何组织自身,去信任、审查并管理这些代理所产出的工作。这种伙伴关系的未来,取决于在“让代理奔跑”与“保持人类手握方向盘”之间找到正确的平衡。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。