From Human Approval to Current Authority: Adaptive Runtime Governance at the Execution Boundary of AI-Enabled Organizational Workflows

想象一个这样的世界：你最喜欢的机器人助手不仅仅是和你聊天，它还能真正为你去办事——比如转账、更改你的银行账户设置，或者批准一项庞大的建筑工程。我们称之为“人工智能在职场中的应用”。但问题的关键在于：仅仅因为人类上司昨天对机器人说了“可以”，并不意味着机器人今天仍然可以执行这项操作。

把这想象成一张音乐会门票。如果你买了一张周五演出的门票，这张票仅对那个特定的夜晚有效。如果你试图在周六使用同一张票，即使你手里还拿着那张纸，保安也应该拦住你。在人工智能的世界里，“人类批准”就像是那张门票。有时，签署批准的上司被解雇了，游戏规则改变了，或者门票过期了。如果机器人在执行动作之前没有检查门票是否仍然有效，它可能会违法或造成混乱，尽管它手里握着一份“签署好的便条”。这篇论文的主题就是为人工智能机器人构建一个超级严格的“保安”，在让演出开始之前，最后一次检查门票的有效性。

---

论文：机器人的行动保安

这项由 Maria Kollia 撰写的研究介绍了一个名为自适应运行时治理（Adaptive Runtime Governance, ARG）的新概念。你可以将 ARG 理解为一个智能且隐形的安全层，它位于人工智能决策过程的出口处。它的职责并不是判断人工智能的想法是否是一个“好”想法（例如，“这笔贷款是否公平？”），而是询问一个更简单但至关重要的问题：“人类上司现在是否仍有权对这件事说‘可以’？”

论文重点测试了这一庞大系统中的一个特定部分：确定性执行闸门（deterministic execution gate）。把这个闸门想象成视频游戏中的最后一个检查点。在角色跳下悬崖去抓宝藏之前，游戏会暂停并检查一系列规则：

1. 下达命令的玩家是否已经退出了游戏？
2. 玩家的角色是否发生了变化（例如，从“管理员”降级为“访客”）？
3. 自命令发出以来，游戏规则是否更新了？
4. 该命令是否已经太旧而无法再使用？

如果其中任何一项检查失败，闸门就会关闭并说：“不，拒绝执行！”机器人永远不会执行该动作，即使它拥有过往的批准记录。

他们实际构建并测试了什么

作者并非只是空想；他们使用 Python 和 FastAPI（用于构建 Web 应用的工具）构建了一个工作原型，并在一个安全的隔离环境（私有数据库）中进行了测试。他们并没有在真实的银行或医院进行测试，而是创建了一个包含 223 个特定测试用例的“模拟实验室”，以观察该闸门是否如预期般工作。

以下是他们在实验室中的实验情况：

• 正面情况： 他们创建了 30 个场景，其中一切都很完美。人类上司仍然活跃，规则没有改变，且门票是新鲜有效的。在所有 30 个案例中，闸门都给出了“绿灯”（HTTP 200 状态码），允许操作继续进行。
• “停止”情况： 他们创建了 192 个场景，其中出现了问题。可能是上司被解雇了，政策发生了变化，或者批准已超过 25 小时（规则是 24 小时）。在所有 192 个案例中，闸门都正确地说了“不”，并拦截了该操作。
• 审计追踪： 他们还检查了“审计追踪”——即每一个事件的数字日志。他们验证了 492 个审计事件是如何正确链接在一起的，证明了系统能够保持完美的记录，清晰记录了谁在何时做了什么。

结果非常明确：在这次受控测试中，该闸门完全按照设计运行。它成功拦截了不该发生的动作，并放行了应该发生的动作。

这篇论文并未说明的内容

理解这篇论文“没有”声称什么非常重要，因为作者在避免过度承诺方面非常谨慎。

• 它并没有让 AI 变得更聪明： 闸门不会检查 AI 的想法是否公平、安全或准确。如果一位人类上司批准了一个糟糕、有偏见或危险的计划，只要这位上司仍有权批准该计划，闸门就会放行。闸门只检查“权限”，而不检查“智慧”。
• 它还不是一个成熟的现实世界产品： 作者明确指出这是一个原型。他们在本地计算机实验室进行了测试，而不是在拥有真实黑客、真实密码或数百万用户的庞大网络中进行测试。他们承认，诸如“并发性”（如果两人在同一毫秒尝试批准同一件事会发生什么）和“生产环境安全性”（针对真实世界黑客攻击的防御）等内容尚未经过测试。
• 它并不能解决所有问题： 论文提到了其他酷炫的想法，如“紧急治理”（在危机期间该做什么）或“自适应关键性”（根据风险自动决定严格程度），但这些都只是提议。它们并未在本研究中被构建或测试。

核心结论

主要的发现是一个简单但强大的真理：过去的个人批准并不等同于当前的授权。 仅仅因为一个人昨天签署了某项内容，并不意味着他今天仍有权签署它。

论文证明，我们可以构建能够自动检查这些条件的软件，就在动作发生前的瞬间。如果条件不满足，软件可以拒绝执行，从而将原本可能只是“形式主义盖章”的人类监督，转化为一个真正发挥作用的安全网。

然而，作者明确表示：这仅仅是第一步。我们拥有了一个模拟环境下的“保安”，但我们仍需构建整个安全系统，在现实世界中进行测试，并确保在压力之下依然稳健。目前，我们至少知道，我们可以通过编写一个在权限消失时说“不”的闸门，来将一些需要约束人工智能的规则转化为代码。