From Industry Claims to Empirical Reality: An Empirical Study of Code Review Agents in Pull Requests
该研究通过实证分析发现，代码审查代理（CRA）独立审查的拉取请求合并率显著低于人工审查且更易被弃用，主要归因于其反馈中普遍存在的高噪声与低信噪比，因此结论主张代理应作为人类审查的辅助而非替代。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在给软件开发的“新潮流”做一次体检。
想象一下，现在的软件开发就像是在一个巨大的建筑工地上盖房子。以前，所有的砖块（代码）都是由人类工人（程序员）砌的，盖好后由人类工头（人类审查员）检查质量。
但最近，出现了一群不知疲倦的AI 机器人（代码生成代理），它们能飞快地砌砖，甚至一天能盖出几千栋房子（Pull Requests，简称 PR）。为了不让这些房子塌掉，工地也引入了AI 质检员（代码审查代理，CRA）。
行业里的“广告”是这样说的：
“我们的 AI 质检员太厉害了！它能独立检查 80% 的房子，根本不需要人类工头操心，既快又好！”
但这篇论文的作者们决定：别光听广告，我们要去现场数数砖头，看看实际情况到底咋样。
🕵️♂️ 他们做了什么？（实验过程）
作者们收集了 3,109 个 由 AI 机器人参与提交的“建房申请”（PR），并像侦探一样把它们分成了三类：
- 纯人类组：只有人类工头检查。
- 纯 AI 组：只有 AI 质检员检查，没有人类插手。
- 混合组：人类和 AI 一起检查。
然后，他们统计了这些房子最后有没有被批准通过（Merge），或者是不是被扔进垃圾桶（Abandoned/Abandoned）。
🔍 发现了什么惊人真相？（核心发现）
1. 纯 AI 检查的房子，更容易被“退货”
- 人类检查：如果只有人类工头检查，68% 的房子都能顺利盖好并投入使用。
- AI 检查：如果只有 AI 质检员检查，只有 45% 的房子能过关。
- 结论：纯靠 AI 检查，房子被废弃（没人管了）的概率比人类检查高出一大截。这就好比，如果只让一个只会背说明书的机器人检查房子，它可能会因为一些无关紧要的小问题把房子卡住，导致工人懒得去修，最后房子就烂尾了。
2. AI 的“废话”太多了（信噪比低）
这是论文最精彩的部分。作者们把 AI 写的检查报告（评论）拿过来，像淘金一样分析：
- 金子（信号）：真正有用的建议，比如“这里有个安全漏洞”、“这里代码会崩溃”。
- 沙子（噪音）：没用的废话，比如“这里缩进不对”、“这里变量名太长”（虽然没错，但对大局没帮助）。
结果让人大跌眼镜：
在那些被废弃的、纯由 AI 检查的房子里，60% 的 AI 报告里，90% 以上的内容都是“沙子”（噪音）。
这就好比，你问 AI 专家：“这房子安全吗？”
AI 回答了一万字，其中 9000 字都在说“这面墙的颜色有点不协调”，而真正重要的“地基有点裂”它只提了一句，或者根本没提。
工人们（开发者）
🤖 13 个 AI 质检员的表现
作者还点名了 13 个不同的 AI 质检员。结果发现，其中 12 个（92%）表现都很差，它们的报告里“沙子”比“金子”多得多。只有极少数（比如专门查安全的）表现稍微好点，但样本太少。
💡 这对我们意味着什么？（给普通人的建议）
这篇论文并不是说"AI 没用”，而是说"别把 AI 当上帝，也别让它完全取代人类"。
- 不要完全甩手：就像你不能让一个只会背字典的机器人去当外科医生一样。AI 可以帮忙做初筛，但最终拍板（Merge）。
- 让 AI 做“专科医生”：让 AI 专门去查它擅长的领域（比如查安全漏洞、查拼写错误），而不是让它去管“这栋楼的设计好不好看”这种需要人类直觉的问题。
- 人类是最后的守门员：只有当人类介入，结合 AI 的效率和人类的智慧，房子（代码）才能盖得又快又好。
📝 一句话总结
行业吹嘘"AI 能搞定一切”，但现实是：如果只让 AI 自己检查代码，大部分代码会被因为“废话太多、重点太少”而被扔进垃圾桶。AI 是得力的助手，但绝不能让它独自当老板。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。