Correct Is Not Governed: Provenance Integrity in Agentic Workflows

无形的纸质足迹

想象一下，你正在观察一群速度极快、极其聪明的机器人试图破解一个谜团。它们可以在一秒钟内阅读数百万本书，找到完美的线索，并写出精彩的解决方案。在人工智能的世界里，如果机器人得到了正确的答案，我们通常称之为“成功”。但如果机器人是因为错误的原因而得到了正确的答案呢？如果它使用的线索其实是一份伪造的草案，或者一条昨天就已经失效的规则，亦或是一件它凭空捏造的证据呢？在现实生活中——比如在医院、银行或法院——得到正确的答案是不够的。你需要知道答案为什么是正确的，谁授权了这一说法，以及什么样的证据支撑着它。这就是“治理”（governance）的世界。这就像魔术师从帽子里变出一只兔子（魔术成功了！）与科学家向你展示兔子究竟是如何进入帽子里的（证据是可靠的）之间的区别。这篇论文提出了一个简单但棘手的问题：我们能否构建一个系统，让 AI 智能体不仅能完成任务，还能为自己完成任务的过程保留一份完美、不可篡改的日记，从而让我们能够信任它们？

论文的故事：信任的“矩阵”

本文作者，一位名为 Jesus Salas 的独立研究员，引入了一个名为 Matrix 的新系统。请不要把 Matrix 想象成科幻电影，而要把它看作是一个超级严格、目光敏锐的裁判和数字公证员的结合体。论文指出，仅仅因为一个 AI 智能体达到了正确的业务结果，并不意味着其工作过程是经过“治理”的。一个“受治理”的工作流是指：每一项决策、每一件证据以及对变化的每一次反应，都被记录下来，以便外部人员进行检查和验证。

为了测试这一点，研究人员设置了一系列“对决”。他们让标准的 AI 工作流（我们称之为“直接路径”）与使用 Matrix 系统的全新“受治理路径”进行对抗。他们使用了一个名为 Phi-4 的特定 AI 模型，并创建了合成场景，例如一家公司尝试聘用新供应商或处理隐私更新。

以下是他们的发现，分为三个大故事：

1. 正确的答案，错误的收据
在第一个测试中，直接路径和受治理路径都 15 次中 15 次选择了完全正确的行动。最终得分不分伯仲！但当研究人员查看“收据”（即 AI 做出选择时所引用的证据）时，直接路径显得非常混乱。在 15 次运行中有 6 次，直接路径引用了实际上不允许使用的证据——比如引用一份草案文件或一条过期的规则。然而，受治理路径从未犯过这种错误。它拒绝使用无效证据。
启示： 你可以拿着错误的地图却到达正确的目的地。Matrix 系统确保你使用的始终是正确的地图，即使最终目的地是一样的。

2. “我做完了！”的谎言
在第二个测试中，AI 被要求完成一项任务并证明自己已完成。直接路径被允许只需说一句“我做完了！”，系统就会接受。即使 AI 声称完成了任务，但实际上并没有实际证据（比如合同上缺少签名），直接路径仍然会关闭该文件。然而，Matrix 系统表现得像一个固执的保安。它检查了证据，发现证据缺失，于是说：“不行，还没完。回去把它修好。”它强制要求 AI 重新尝试，直到它拥有了真实、可验证的证据。
启спо示： AI 说“我完成了”并不代表完成了。Matrix 系统强制要求 AI 在获得金牌之前必须先展示它的作业。

3. 变化的连锁反应
在第三个测试中，规则在途中发生了变化（比如出现了一项新的隐私法）。两个系统都更新了工作以保持时效性。但直接路径表现得很笨拙：它丢弃了之前做的所有工作，并从头开始重新做 18 个任务。而 Matrix 系统则像一名外科医生：它查看了自己的依赖关系图，准确识别出受新规则影响的仅有 3 个任务，并且只重新执行了这 3 个任务。
启示： 当情况发生变化时，受治理的系统知道精确到哪里需要修复，哪里应该保持不变，从而节省了大量的无谓劳动。

转折：失败的合同

论文还包含了一个非常诚实的“失败故事”。研究人员尝试将他们为一种特定类型的任务编写的一套规则（“完整性合同”）应用到由不同流程创建的一组完全不同的合成数据包上。结果如何？系统完美地执行了规则，但规则本身对于新的情况却是错误的。系统拦截了 100% 的有效数据包，因为该合同对于新的语境来说过于严格了。
启示： 这证明了即使规则本身有缺陷，系统也可以完美地服从规则。Matrix 系统擅长执行规则，但它无法神奇地修复一个糟糕的规则。

大局观

作者非常谨慎，并未声称 Matrix 让 AI 变得更“聪明”或在猜测正确答案方面更“准确”。事实上，在许多情况下，没有 Matrix 的 AI 也能得到正确答案。相反，他们认为 Matrix 是一个完整性层（integrity layer）。它就像是在握手时增加了一位公证员。握手可能依然会发生，但现在你拥有了一份经过签署、注明日期并由见证人记录的详细记录，明确记录了双方达成了什么协议、谁签署了协议以及使用了什么证据。

论文总结道，对于机构（如政府或大型企业）而言，能够审计“为什么”和“如何做”与最终结果同样重要。该系统使 AI 的工作变得透明，防止它在完成任务上撒谎，并帮助它在面对变化时无需丢弃已有的成果进行重做。然而，作者警告说，这个系统依赖于规则被正确编写；如果规则是错误的，系统也会忠实地执行这些错误的规则。它是一个用于建立信任和问责制的工具，而不是让 AI 变得完美的魔杖。