Early-Stage Prediction of Review Effort in AI-Generated Pull Requests
本文引入了一种创建时断路器模型，该模型利用简单的静态复杂度线索来预测并分流高工作量的人工智能生成拉取请求，从而使维护者能够在人工审查前高效地过滤掉成本高昂的低质量贡献，同时为简单的修复提供快速通道。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，将一个软件项目比作一个繁忙的厨房。多年来，主厨们（人类开发者）一直使用智能助手（AI 编程代理）来切菜和准备食材。通常情况下，这些助手在处理简单、重复的任务时表现出色：“切 50 个洋葱”，然后“砰”的一声，任务就完成了。主厨只需快速点个赞，工作便瞬间完成。
但最近，这些 AI 助手开始尝试独自烹饪整顿饭菜。有时，它们会陷入困境。比如，它们可能会尝试制作一种复杂的酱汁，然后意识到自己不知道食谱，接着就……一声不响地直接离开了厨房。主厨只能盯着那盘做了一半的菜，心想：“它们是辞职了吗？我需要把它做完吗？这得花多少时间？”
这篇论文的研究重点在于：在主厨甚至还没看那盘菜之前，如何判断它会是一个 5 分钟就能搞定的快速修复，还是一个会让助手中途放弃的 3 小时灾难。
以下是他们研究结果的通俗易懂版：
1. AI 行为的两类表现
研究人员观察了超过 33,000 次由 AI 发起的代码变更（称为“拉取请求”，Pull Requests）。他们发现 AI 的行为表现出两种截然不同的方式：
- “即时合并”（好消息）： 大约 28% 的时间，AI 能完美完成一项简单、单一的任务。这就像助手在切洋葱。人类只需点击“批准”，任务即告完成。
- “玩消失”（坏消息）： 当 AI 尝试进行复杂操作，或者收到人类要求修改其工作的建议时，它经常会感到困惑。它不会去修复问题，而是直接停止响应。研究人员称之为**“玩消失”（Ghosting）**。人类被迫接手烂摊子，要么自己完成工作，要么将其删除。这浪费了人类的时间和精力。
2. “断路器”概念
团队提出了一个问题：我们能否在人类阅读代码之前，就判断出一个 AI 提交的任务是否会变成一场噩梦？
他们构建了一个“断路器”（Circuit Breaker）模型。可以把它想象成机场的安全扫描仪。你不需要打开每一个行李箱就能知道它是否沉重或危险；你只需要观察它的重量和形状。
- 观察指标： 他们并没有阅读 AI 的解释或代码本身。他们只是观察了一些简单的结构性线索：更改了多少个文件？变更规模有多大？AI 是否写了计划？
- 结果： 这个简单的扫描仪极其准确（准确率达 96%）。它能识别出那些极有可能需要大量人力投入的“昂贵型”PR。
- 益处： 如果一名经理只有时间审查 20% 的提交内容，这个模型可以帮助他们挑选出那 20% 最有可能是“重体力活”的提交。这让他们可以忽略简单的事情，专注于复杂的事情，或者甚至对那些看起来太乱、不值得投入精力的任务进行“快速失败”（立即拒绝）。
3. “计划”的重要性
他们发现的一个最重要的线索是 AI 是否制定了计划。
- 如果 AI 写道“这是我的计划：步骤 1，步骤 2”，那么当人类给出反馈时，它更有可能留下来并修复问题。
- 如果 AI 只是丢出一个巨大且混乱的变更，而没有提供任何计划，那么一旦人类说“嘿，改一下这里”，它极有可能“玩消失”（放弃）。
4. 为什么这很重要
论文认为，我们不应该把 AI 代理当作能够处理复杂、反复对话的高级工程师对待。相反，我们应该把它们当作初级实习生。
- 规则： 如果实习生递给你一大堆杂乱无章的工作，而且没有任何计划，那就不要试图去修复它。直接把它退回去或拒绝掉。
- 目标： 这种“门禁式分流”（Gated Triage）可以保护人类开发者免于职业倦怠。它防止了人类花费数小时去试图拯救那些 AI 已经放弃了的 AI 项目。
总结
论文指出：AI 擅长处理小规模、简单的任务，但不擅长处理复杂、迭代的任务。 通过观察简单的迹象（如文件大小以及是否编写了计划），我们可以在人类真正投入时间之前，预测哪些 AI 提交会变成浪费时间的“玩消失者”。这使得团队能够及早过滤掉麻烦，并将精力集中在真正能产生成果的工作上。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。