想象一下这样一个世界：你拥有一个超级聪明的机器人助手，可以为你编写计算机代码。这就像拥有一个天才学徒，他打字速度比任何人都快，而且精通无数编程技巧。但问题在于：这个机器人有点“讨好型人格”。如果你告诉它“修复这个坏掉的按钮”，它会开心地把按钮修好。但如果这个按钮之所以坏掉是因为一个你从未告诉它的秘密规则（比如“周二不能让按钮变红”），机器人可能会在修复按钮的同时，不小心破坏了那个秘密规则。如果你没发现，下次它可能还会犯同样的错误，因为它只记住了具体的修复动作，而没有记住背后的原因。这就是现实世界中“编码智能体”（coding agents）的问题：它们擅长修补漏洞，但在学习系统的深层、不成文法则方面表现很差，除非有人明确地教导它们。

这篇由 Muness Castle 和 Eric Rubeck 撰写的论文，正是针对这个问题展开讨论的。它引入了一种新的工作方式，称为“针对补充反例草图的智能体合成”（Agentic Synthesis against Counterexample-Supplemented Sketches）。你可以把它想象成一个严苛的 AI 编码员训练营。这种方法不仅仅是让 AI 猜测并尝试，而是强制人类扮演严格教练的角色。当 AI 犯错并违反了隐藏规则时，人类不仅仅是说“修复它”。人类会说：“这是错误之处，这是正确答案，以及这是你违反的规则。”随后，AI 必须重新编写自己的“指令手册”（称为“草图/Sketch”）以包含这条新规则，然后才被允许再次尝试。论文通过一个名为 “CatSynth” 的虚拟浏览器应用测试了这一想法，结果发现，这种方法在学习规则方面比仅仅向它展示一份过往错误清单更有效，尽管作者也谨慎地指出，这仅基于一项特定实验，而非适用于所有情况的灵丹妙药。

草图与规则书的故事

想象一下，你正试图制造一个能为家庭挑选完美猫咪的机器人。你给了机器人一个“草图”（Sketch）。在这个故事里，草图不是一张画；它是一份粗略的、半完成的指令手册。它写着类似“猫应该是毛茸茸的”和“猫应该是友好的”之类的话。但它缺少了最重要的部分：“猫不能是波斯猫，因为这个家庭对猫过敏。”

起初，机器人（编码智能体）看着草图说：“好的，波斯猫既毛茸，又友好！我要选一只波斯猫！”它写出了实现这一目标的代码。但随后，一位人类专家（领域专家）看着结果说：“喔，停！这简直是灾难。家里有人过敏。你选错了猫。”

在旧有的做法中，人类可能会说：“好吧，修好它，选另一只猫。”于是机器人会选另一只猫，也许是一只暹罗猫。但机器人并不会真正学习关于过敏的规则。它只会记住“不要为这个特定的家庭选波斯猫”。下次，如果这个家庭改变了关于过敏的想法，或者出现了一个有过敏症状的新家庭，机器人可能会再次犯同样的错误。

这篇论文提出了一种不同的、更严格的循环。当人类专家说“选错猫了！”时，他们不仅仅是修正输出。他们扮演着法庭上法官的角色。他们会说：

1. 错误之处： “你选了一只波斯猫。”
2. 修正方案： “正确的猫应该是西伯利亚猫。”
3. 规则： “你违反的规则是：‘硬性规则（如过敏）必须始终优于软性偏好（如毛茸茸）。’”

然后，一位人类“操作员”（老板）必须明确签字认可。他们会说：“是的，这现在是一条真正的规则了。”一旦签署，机器人必须重写它的草图以包含这条新规则。机器人不能只是修补代码；它必须更新手册。

两步检查法：重演与比较

为了确保机器人真的吸取了教训，论文使用了一个巧妙的两步测试，就像保安在门口检查访客一样。

1. 重演（“你把烂摊子修好了吗？”检查）： 这用于检查机器人的新答案是否确实解决了眼前的问题。机器人选出的猫是否既毛茸茸又友好？如果是，则“重演”通过。
2. 比较（“你遵守规则了吗？”检查）： 这是最棘手的部分。它检查机器人是否根据新规则选对了猫。它是选了西伯利亚猫而不是波斯猫？它记得过敏这件事吗？如果机器人选了一只毛茸茸的波斯猫，虽然解决了“毛茸茸”的问题，但违反了“过敏”规则，那么“比较”就会失败。

论文称之为“门槛”（Gate）。如果机器人通过了两项测试，它才能继续。如果它在“比较”环节失败，意味着机器人只修复了表面问题，却忽略了深层规则。机器人必须回去重新修改它的草图。

CatSynth 实验

作者使用了一个名为 CatSynth 的虚拟项目测试了这一方法。他们创造了一个场景：机器人需要根据一系列偏好（大、毛茸茸、亲人）和一条硬性规则（禁止选择会引发过敏的猫）来挑选猫。

他们运行了一场模拟，让机器人尝试解决 14 个不同的“冻结”案例（即在实验开始前就已确定的场景）。

• 结果： 在 14 个案例中，有 8 个案例中机器人的初始猜测是错误的，因为它遗漏了规则。这 8 个案例成为了“反例”。
• 过程： 对于这 8 个错误，人类批准了修正方案，机器人更新了其草图，然后机器人再次尝试。
• 测试： 在机器人完成学习后，作者在 21 个全新的、隐藏的案例（机器人从未见过的案例）上对其进行了测试。

以下是他们的发现：

• 当他们仅使用最终进化的草图（即包含了所有规则并经过更新的草图）从头构建机器人的代码时，机器人在 21 个新案例中答对了 19 个。
• 当他们尝试通过向机器人展示原始草图加上一份长长的过往案例清单（“全量重演”法）来重建机器人时，机器人仅答对了 15 个。

这表明，让机器人学习规则并将其写入草图中，比仅仅向它展示错误历史要有效得多。学会了规则的机器人能更好地进行泛化。

这意味着什么（以及它不意味着什么）

论文非常谨慎，没有过度夸大结果。他们并未声称这是解决所有 AI 编码问题的“完美方法”。他们承认这是一个使用特定模型（GPT-5.4-mini）和特定问题顺序的模拟实验。他们并不确定如果换一个机器人或一套规则，结果是否会完全相同。

然而，实验确实展示了一些重要的东西：教给 AI “为什么”（规则）比仅仅教给它“是什么”（例子）更有效。

如果你只是向 AI 展示一份“不要做 X”的清单，它可能会背下清单，但会错过其中的模式。但如果你强迫 AI 在每次违反规则时都去更新自己的指令手册（草图），并且通过丢弃旧代码并根据该手册重建的方式来进行测试，你就能得到一个更聪明、更可靠的 AI。

作者还指出，这种方法需要大量的人力投入。你需要一名人类专家来发现错误，一名人类操作员来批准新规则，以及一名人类来整理测试清单。它不是一个“设置好就不用管”的系统。它是一种伙伴关系，人类是老师，而 AI 是那个必须做笔记并重写教科书的学生。

总结

归根结底，这篇论文是一份关于如何阻止 AI 成为一个“看似合理实则错误”的修复者的指南。它认为，当 AI 犯错时，我们不应仅仅修补代码。我们应该将错误视为一次改变 AI 对世界基本理解的教训。通过使用持有规则的“草图”、检查工作的“门槛”以及批准教训的人类，我们可以构建出不仅能猜对答案，而且真正理解“为什么”的 AI。

作者总结道，虽然这种方法并没有解决他们在模拟中遇到的所有问题（机器人在 21 个隐藏案例中仍有两个失败了），但它证明了“进化的草图”比简单的例子历史能更好地承载知识。这是朝着让 AI 编码更像一种纪律严明的学徒制，而非仅仅是运气好猜对一步的迈进。