Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work
这项受控试点研究表明，虽然显式的软件委托契约并不能提高 AI 编程智能体输出的客观正确性，但通过增加证据充分性并减少歧义，它们显著增强了其工作的可审查性，尽管这以增加 Token 使用量和执行时间为代价。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位经理，雇佣了一位非常聪明但有时有点话痨的实习生来修理你家漏水的水龙头。
在过去，你可能只会说：“嘿，把那个漏水的地方修好。”实习生去完成工作，回来时带着扳手和干燥的地板。你检查了一下地板，是干的，然后你会说：“干得好！”
但如果这个实习生是一个人工智能（AI）呢？而且，如果这个实习生不仅被允许修理漏水，还被允许重新排列你的家具、粉刷墙壁，甚至移动洗手池，只要他告诉你他做了这些事就行。
这篇论文提出了一个简单的问题：如果你给实习生一份严格的、书面的“合同”，明确告诉他们允许做什么以及必须带回什么样的证据，这是否会让你的检查工作变得更容易？
作者文森特·施马尔巴赫（Vincent Schmalbach）进行了一个小实验来寻找答案。以下是实验结果，通过简单的解释呈现如下。
设置：“玩具”房子
研究人员构建了一个微小的、虚拟的软件项目（一个小网站），其中包含了一些刻意的“漏洞”（漏水）。他创建了 10 个不同的任务，比如“修复登录按钮”或“更新说明”。
然后，他将这些任务发送给两个不同的 AI “实习生”（一个是极其聪明的，另一个是速度较快但稍微没那么聪明的），并遵循三种不同的规则：
- 随意的请求： 只是一个普通的指令，比如“修复这个漏洞。”（就像告诉朋友“修一下水槽”。）
- 合同： 一份正式文件，规定：“你只能触碰这两个文件。你不能触碰数据库。完成后，你必须列出你修改过的每一个文件并解释原因。”
- 合同 + 证据清单： 同样的合同，但附带了一个强制性的清单，AI 必须 填写该清单，其中包括“可能仍然会出现什么问题”以及“审核者清单”部分。
结果：“干燥的地板”对比“报告”
研究衡量了两件事：工作是否真的完成了？ 以及 工作是否易于审核？
1. 工作本身已经很完美了（“干燥的地板”）
令人惊讶的是，规则对结果没有影响。无论 AI 遵循的是随意的请求还是严格的合同，每一台 AI 都完美地修复了漏洞。
- “漏水”被修好了。
- AI 没有破坏其他任何东西。
- AI 没有触碰不该碰的文件。
为什么？ 因为任务规模很小，AI 本身足够聪明，能够自行解决这些问题。 “合同”并没有让 AI 在修复代码方面变得更强。工作本身已经是 100% 正确的。
2. 审核变得容易得多（“报告”）
这才是奇迹发生的地方。尽管在两种情况下代码都是完美的，但 合同 让 AI 的报告变得更容易阅读和信任。
- 没有合同： AI 会修复漏洞并说：“完成了。”它很少解释自己修改了哪些文件或为什么要修改。这就像实习生修好了水槽，却把工具乱丢一地且没留任何便条。
- 有了合同： AI 提供了一个整洁的包裹。它列出了修改过的每个文件，解释了原因，列出了运行过的测试，甚至承认：“这里可能还存在一个小风险。”
类比：
想象 AI 是一位厨师。
- 没有合同： 厨师给你端上一块完美的牛排。你吃了它，味道极佳。但你完全不知道他们是否使用了新鲜食材，或者是否洗过手。你只能靠猜。
- 有了合同： 厨师端上了同样完美的牛排，但同时也带来了一张收据，上面显示了食材，还有一张厨房的照片，以及一张便条说：“我烹饪了 4 分钟，但如果你喜欢三分熟，你可能需要再煮一会儿。”
- 结果： 牛排的味道是一样的，但第二个版本更容易让人信任并批准。
代价：需要多一点时间
唯一的缺点是速度和“成本”。
- AI 使用了大约 13% 更多的“脑力”（Token/字符）来编写报告。
- 完成任务的时间大约延长了 38%。
你可以把它想象成支付了带有详细追踪号码的快递费用。包裹到达的时间差不多（或者稍晚一点），但你清楚地知道它的位置以及里面装了什么。
核心结论
论文的结论是，对于小型、明确的任务，你不需要合同来完成工作，但你确实需要合同来进行良好的审核。
- 正确性： AI 本身就已经足够好，可以独立修复小型漏洞。
- 可审核性： 除非你明确要求，否则 AI 并不擅长解释自己。
“合同”充当了一个 翻译官。它并没有让 AI 变得更聪明；它只是迫使 AI 使用人类（或其他 AI）能够轻松理解和验证的语言进行交流。
关于“较弱”实习生的说明
研究发现，“较弱”的 AI（速度更快、更便宜的那一个）从合同中获益最多。聪明的 AI 本身就能写出好的报告，而较弱的 AI 则需要通过合同来“强迫”它去写报告。这表明，如果你使用的是较便宜的 AI 工具，你 必须 使用严格的合同来获得可靠的结果。
总结
- 合同让代码变得更好了吗？ 没有。代码原本就是完美的。
- 合同让报告变得更好了吗？ 是的，差异巨大。
- 它增加了成本吗？ 是的，增加了一点时间和金钱。
- 结论： 如果你想信任 AI 的工作，不要只要求它修复问题。要向它索要那份能迫使 AI “展示作业过程”的 合同。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。