Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

在软件的世界里，不同的计算机系统经常需要相互通信以完成工作。一个系统可能发送的是“日在前”的日期格式，而另一个系统则期望“月在前”。一个系统可能以“分”为单位计算货币，而另一个则以“元”为单位。这些微小的差异通常并不是谜团；它们是某人、在某处记录下来的事实。挑战在于，当一种新型的劳动者——人工智能智能体（AI Agent）——被要求在两个系统之间搭建桥梁时。这些智能体是强大的工具，能够编写计算机代码来连接不同的程序。然而，它们遵循一个简单的规则：只能使用指令中提供给它们的信息。如果指令中没有说明日期是“日在前”还是“月在前”，智能体就无法知道答案。它必须做出选择。

这种情况下的危险不在于智能体崩溃或停止工作。危险在于它能完美地继续工作，但得出的答案却是错误的。这被称为“沉默失败”（silent failure）。代码运行没有错误，通过了基础测试，在人类审查者看来也是正确的，但它却向下一个系统发送了错误的数据。这对企业和组织来说是一个关键问题，因为这种错误不会立即显现。相反，错误的数据会向下游流动，在任何人意识到出了问题之前，就破坏了记录、财务报告和决策。研究人员提出的问题很简单：当这些智能型智能体面临一个它们无法猜测的缺失事实时，它们是会停下来寻求帮助，还是会自信地进行猜测并破坏系统？

一位研究人员着手精确测量这种情况发生的频率。他们创建了一系列现实的任务，在这些任务中，人工智能智能体必须编写一段代码来连接两个系统。在其中一些任务中，智能体被告知了缺失的事实，例如明确告知日期是“日在前”的。而在另一些任务中，该事实被隐藏了，智能体要么被允许通过提问来寻找它，要么被强制要求在不提问的情况下编写代码。他们对八种不同的人工智能模型进行了测试，涵盖了从小型开源程序到当今最先进系统的各种规模。研究人员不仅观察代码是否能运行，还检查了代码是否在每种可能的情景下（包括那些依赖于该缺失事实的棘手情况）都能产生正确的答案。

结果揭示了这些系统运作方式的一个残酷现实。当智能体获得缺失的事实后，它们的成功率很高，大约有百分之八十八的时间能构建出正确的连接。这证明了如果拥有必要的信息，这些智能体完全有能力胜任这项工作。然而，当事实缺失且智能体被禁止提问时，情况发生了剧变。智能体并没有停下来，也没有表示困惑。相反，它们选择了一个惯例并编写了代码。在百分之六十二的案例中，它们编写的代码出现了“沉默失败”。代码运行流畅，看起来完美无缺，但返回了错误的值。这种情况无论模型多么先进都会发生。即使是最强大的系统，在获得事实时能完美解决问题，但在不被允许提问时，仍有近一半的时间会发生沉默失败。

研究还调查了仅仅允许智能体提问是否能解决问题。研究人员发现，答案完全取决于谁在听。当最先进的模型被允许提问时，它们几乎在每一次运行中都会提问。它们不会盲目猜测，而是寻求真相。然而，如果没有人在那里回答它们，集成过程就会陷入停滞。工作停止了，没有任何代码被产出。这是一种不同的失败，但仍然是一种失败。研究人员发现，为了让系统正常运转，其流水线（即运行智能体的过程）必须被设计成能够将智能体的问题路由给能够提供答案的人类或合作伙伴系统。如果没人值守来回答问题，仅仅开通一个沟通渠道是不够的。

研究人员还测试了一种安全规则，即告诉智能体：如果不知道缺失的事实，则拒绝编写代码。这条规则成功消除了“沉默失败”，使错误率降至几乎为零。然而，这付出了沉重的代价。即便有些问题的答案可以从现有信息中推导出来，智能体也会拒绝编写代码。这导致系统在原本可以轻松解决的任务上停止了运作，使成功率从百分之八十一降到了百分之十八。研究结论是，解决方案不在于让智能体变得更聪明，也不在于强迫它们变得更加谨慎。解决方案在于流程本身的设计。系统必须被设计成能够检测到跨组织边界时是否存在事实缺失，并将该问题路由给能够回答的人员或系统。如果没有这种特定的逻辑连接，即使是最强大的人工智能，也会自信满满地搭建起一座通往错误方向的桥梁。