On the Footprints of Reviewer Bots Feedback on Agentic Pull Requests in OSS GitHub Repositories
这项针对 4,532 个代理式拉取请求的实证研究表明，尽管审查机器人提供了文明且具有指导性的反馈，但评论数量越多与解决时间越长及反馈质量越低相关，这表明优先提供针对性强、相关性高的评论比生成大量评论更为有效。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，软件开发就像是一个庞大而繁忙的建筑工地。过去，当一名工人（人类开发者）完成建筑的新部分时，他们会请一位资深建筑师在批准前进行检查。
现在，想象一种新型工人：AI 机器人，它们可以独立建造整个建筑部分。这些就是“代理拉取请求”（Agentic PRs）。它们构建内容并提交审批。
但这里有个转折：检查这些机器人建造部分的，也是机器人。这些是审查机器人（Reviewer Bots）。它们被编程为阅读代码、发现错误，并为人类建筑师留下备注。
这篇论文就像一个侦探故事，提出了这样的问题：这些机器人检查员的工作表现如何？它们的行为实际上是在帮助还是阻碍施工过程？
以下是研究人员发现的要点，已拆解为简单概念：
1. 机器人检查员很有礼貌，但有点“嘈杂”
研究人员查看了这些机器人检查员留下的 7000 多条备注。
- 语气：机器人极其礼貌。几乎 100% 的评论都是友好且具有建设性的。它们从不生气或粗鲁。
- 内容：它们主要谈论修复漏洞（墙上的裂缝）、测试（确保灯光正常工作）以及文档编写（撰写操作手册）。
- 质量：机器人非常擅长简洁。它们不会啰嗦。然而，它们的备注只有中等程度的实用性。有时，它们会指出一些对于所查看的特定代码片段实际上并不重要的问题。
类比：想象一个在建筑工地巡视的机器人检查员。它非常有礼貌，从不吼叫。它写下简短、整洁的备注。但是，它经常指着一块完好的砖头说：“检查这个”，尽管这块砖没问题。它在书写方面很高效，但在发现真正的问题方面并不总是高效。
2. “多即是少”的问题
这篇论文最大的发现是关于数量与质量的关系。
研究人员发现了一种奇怪的关系：机器人在项目上留下的评论越多，完成项目所需的时间就越长。
- 稀释效应：想象一杯浓咖啡。如果加一勺咖啡，它浓郁且美味。如果你继续加一勺又一勺淡而无味的咖啡，杯子会满，但味道会被稀释并变得寡淡。
- 发现：当审查机器人只留下少量评论时，这些评论通常相关且清晰。但当机器人进入“垃圾邮件模式”并留下 20 或 30 条评论时，这些评论的平均质量就会下降。机器人开始指出微小的、不重要的事情，制造“噪音”。
类比：想象你正在 haystack（干草堆）里找一根针。
- 场景 A：一个乐于助人的机器人指着一个地方说：“针在这里。”你很快就能找到它。
- 场景 B：一个过度活跃的机器人指着 50 个不同的地方说：“也许在这里？也许在那里？检查这根稻草？检查那根稻草？”结果你花了几个小时检查所有 50 个地方，而任何一个地方是正确位置的平均概率非常低。机器人的“帮助”实际上拖慢了你的速度。
3. “好”的反馈能让项目更快获批吗？
你可能会认为，如果机器人提供高质量、相关的反馈，项目获批会更快。研究表明：并非如此。
- 质量与速度：反馈的“质量”（其相关性或清晰度如何）并没有真正让项目获批变得更快或更慢。
- 数量与速度：评论的数量才是主要因素。拥有大量机器人评论的项目，解决时间明显更长。
结论
该论文得出结论，虽然这些审查机器人很有礼貌且简洁，但它们目前更像自动化预检员，而非深入的战略审查员。
对于构建这些机器人的人来说，主要启示是：不要试图留下尽可能多的评论。
我们需要的是一个留下 5 条出色备注的机器人，而不是留下 50 条平庸备注的机器人。通过生成过多的评论，机器人正在制造一种“稀释效应”，使其宝贵的建议淹没在无关紧要的噪音海洋中，从而拖慢整个软件开发过程。
简而言之：一个说得很少但说得对的机器人，胜过一个说很多但大多无关紧要的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。