Why Are Agentic Pull Requests Merged or Rejected? An Empirical Study
这项针对超过 11,000 个代理拉取请求的实证研究表明，仅依赖合并或拒绝结果来评估 AI 编程代理具有误导性，因为相当一部分拒绝源于工作流程限制而非代理错误，且许多合并需要大量人工干预，因此亟需基于审查行为的、具备交互感知能力的评估指标。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个繁忙的高科技厨房，机器人（AI 编程代理）不断尝试烹制新菜肴（代码变更），并将其端给主厨（人类审查者）以获得批准。目标是将这些菜肴加入餐厅菜单（合并到软件中）。
长期以来，人们仅通过最终结果来评判这些机器人厨师的水平：这道菜是否被端上桌（已合并）或被退回垃圾桶（已拒绝）？
这项新研究认为，仅看最终结果就像只根据盘子是否离开厨房来评判厨师，却不去追问“为什么”。研究人员发现，“是/否”的标签讲述的故事非常不完整。
以下是他们的发现，用简单的类比分解说明：
1. “垃圾桶”并不总是厨师的错
当机器人的菜肴被拒绝时，我们通常认为机器人烹饪了无法食用的东西（即编码错误）。然而，研究发现，**只有约 36%**的拒绝真正是因为机器人搞砸了食谱。
其余三分之二的拒绝与机器人的烹饪技能无关：
- “选错夜晚”问题（31%）： 菜肴完美无缺，但厨房已经关门，或者主厨当晚已点了另一道菜。用技术术语来说，代码本身没问题，但项目工作流程不需要它，或者它是重复的。
- “沉默对待”（33%）： 菜肴被退回，但主厨一言不发。盘子上没有任何说明原因的备注。无法判断是机器人失败了，还是主厨只是忽略了它。
要点： 如果仅将拒绝视为“失败”，你就会不公平地指责机器人，而实际上那只是时机不佳或沉默所致。
2. “已上桌”的菜肴并不总是机器人独自完成的
当一道菜被端上桌（已合并）时，我们通常认为机器人从头到尾完美地完成了烹饪。但研究发现，**约 15%**的这些“成功”实际上需要人类主厨介入并修复问题，菜肴才能送出。
- “试味”（反馈循环）： 机器人烹制了主菜，但主厨尝过后说“需要加盐”，机器人随即进行了修正。
- “摆盘”（人工干预）： 机器人烹制了食物，但主厨必须在端上桌前重新调整装饰或修正呈现方式。
事实上，对于某些机器人（如 Copilot 和 Devin），人类主厨参与过程的频率远高于其他机器人（如 Codex 和 Cursor），后者似乎几乎无需任何互动就能将菜肴端上桌。
要点： “已合并”的标签并不总是意味着机器人独自完成了全部工作。有时，人类在最后阶段承担了繁重的工作以确保其正常运行。
3. 不同的机器人，不同的厨房
研究发现，不同的机器人会根据它们所在的“厨房”（软件项目）表现出不同的行为。
- 有些机器人被派往规则严格、主厨繁忙且不断提供反馈的厨房。这些机器人面临更多的拒绝和更多的人类帮助。
- 其他机器人则被派往主厨更放手不管的厨房，导致更多的“沉默”批准或拒绝。
主要结论
该论文得出结论：我们不能仅凭票据上的“已上桌”或“已拒绝”印章来评判机器人厨师的技能。
- 拒绝往往只是工作流程问题或沉默，而非烹饪糟糕。
- 合并通常涉及人类主厨在端上桌前对菜肴进行修复。
要真正理解这些 AI 代理的水平，我们需要关注机器人与人类之间的对话——包括评论、修复以及决策背后的原因，而不仅仅是最终结果。否则，我们就是在根据一份无法讲述完整故事的菜单来评判厨师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。