Stop Means Stop: Measuring and Repairing the Enforcement Gap in Agent-Framework Control Primitives
本文揭示了六个主要 LLM 智能体框架中存在的一个关键执行差距，即诸如审批闸口和超时机制等控制原语无法防止在暂停或取消期间产生的副作用，并提出了 SOUNDGATE，一种经过机械验证、基于 Rust 的高性能闸口，旨在保证在不同框架下对所有副作用实现完全的中介。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界：你的电脑不再仅仅是听从指令，而是开始制定自己的计划。这就是 AI Agent（人工智能智能体） 的领域：这些聪明的程序可以阅读电子邮件、预订机票，甚至转账。但由于这些智能体功能强大，我们需要一种方法在它们感到困惑或开始做危险的事情时阻止它们。这就是 Human-in-the-Loop (HITL，人机回环) 的作用。把它想象成一个“暂停键”，它会强制要求 AI 向人类请示：“嘿，我正准备发送这封邮件。可以吗？”人类说“可以”或“不可以”，AI 会在得到回答之前等待，从而避免进行任何不可逆的操作。
为了让这个安全系统发挥作用，所有人都要遵循一个简单的规则：停止即意味着停止。 如果 AI 按下了暂停键，在人类回复之前，没有任何事情 会发生。这就像红灯亮起；所有的车都必须停下，没有任何车能在红灯期间溜过路口。如果灯是红色的，路口就应该是空的。这篇论文研究的是这些软件框架（为这些 AI 智能体提供服务的“交通控制器”）是否真的履行了这一承诺。研究人员想知道：当 AI 暂停以请求许可时，系统的其余部分是真的冻结了，还是在后台偷偷地进行着其他操作？
巨大的“兄弟泄露”问题
由 Sajjad Khan 领导的研究小组发现，在他们测试的几乎所有主流 AI 框架中，“停止即意味着停止”的承诺都破裂了。他们发现了一个被称为 “兄弟泄露”（Sibling Leak） 的隐蔽漏洞。
想象一下，一个 AI 智能体是一个忙碌的厨房。厨师（AI）正在同时准备两道菜：菜品 A 是一份香辣咖喱，在端上桌之前需要主人的许可；而菜品 B 是一份简单的沙拉。厨师停下来询问主人关于咖喱的事。在一个完美的厨房里，整个厨房应该冻结，直到主人说“可以”。但在这些研究人员测试的厨房里，厨房并没有冻结。当厨师在等待主人对咖喱做出回答时，那份沙拉（菜品 B）仍在被切碎、摆盘并端给顾客。
更糟糕的是，如果主人看了看咖喱，说“不，别端上来”，而厨师试图停止，那就太晚了。因为“停止”命令只冻结了厨师大脑中思考咖喱的那部分分支，而其他分支却在不受控制地运行。
该团队测试了 六种不同的框架（开发者用来构建这些智能体的软件工具包），并在其中 五种 中发现了这种泄露。这种情况发生在不同的计算机系统和编程语言中。这不仅仅是一个坏的代码片段，而是一个不断重复出现的模式。
其他故障
“兄弟泄露”并不是唯一的问题。研究人员还发现了另外三种安全制动失效的方式：
- 重放双计（The Replay Double-Count）： 如果系统暂停后重新启动，有时它会意外地执行两次相同的任务，就像因为它认为第一次不算数，从而两次扣除了信用卡的费用。
- 取消孤儿（The Cancellation Orphan）： 如果人类在 AI 执行长任务的过程中发出“停止！”指令，AI 会说“好的，我正在停止”，但任务仍会在后台完成，就像一名运动员听到哨声后，却依然继续跑向终点线一样。
- 超时僵尸（The Timeout Zombie）： 如果一项任务耗时过长，系统说“时间到！”，任务仍会在截止日期过后完成其工作，就像一个僵尸在太阳升起后依然继续行走一样。
这真的会发生吗？
你可能会想：“也许 AI 并不经常同时做两件事。”研究人员也对此进行了检查。他们发现，虽然在正常情况下 AI 智能体通常是一件接一件地做事，但在任务复杂或有人试图诱骗 AI 时，它们确实会尝试同时做多件事。
在测试中，他们发现 前沿 AI 模型（目前最智能的模型）在某些任务中大约有 14% 的概率会意外产生这些“兄弟”情况。然而，关键的发现在于当它们尝试同时做两件事时会发生什么。在一次使用真实 AI 模型和真实软件的实测中，只要 AI 生成了一个试图在等待人类时同时做两件事的计划，系统就会 100% 失效。 在总共 1,200 次运行中，有 215 次导致了“泄露”，即在系统暂停期间仍然发生了动作。失败的原因不在于 AI 总是尝试同时做两件事，而在于一旦它这样做时，安全闸门就完全失效了。
解决方法：门口的保安
那么，如何修复一个厨师在等待许可时仍会偷偷把食物端出去的厨房呢？你不能只是告诉厨师“表现得更好一点”，因为厨房本身的结构就是允许并行发生的。相反，研究人员构建了一种新型的安全防护装置，称为 SOUNDGATE。
把 SOUNDGATE 想象成站在厨房门口的一名 保安。
- 旧方式： 厨师（AI）会直接端着食物走出门口。如果主人说“停止”，厨师可能已经走得太远而听不到声音了。
- SOUNDGATE 方式： 每一道菜（每一个动作）在离开厨房前都必须在保安面前停下。保安手里有一份允许清单。
- 如果主人说“等一下”，保安会拦住食物。
- 如果主人说“不要”，保安会将食物扔掉。
- 如果主人说“可以”，保安才让它出去。
- 如果厨师试图第二次溜出去（重放），保安会检查清单并说：“你已经做过这个了，”然后将其拦截。
- 如果厨师在“停止”指令下试图离开，保安会堵住门口。
研究人员使用一种非常严格、经过数学验证的语言 Rust 构建了这个保安。他们用计算机逻辑证明了该保安 不可能 出错。他们在所有六个框架上测试了它，结果表现完美。当使用 SOUNDGATE 时，零次 泄露发生。保安每一次都守住了底线。
为什么这很重要
这篇论文并不是在声称 AI 很危险或者建议我们停止使用它。相反，它表明我们目前使用的安全工具存在一个隐藏的漏洞。这就像是一个看起来很棒、但在碰撞时实际上并不会锁定的安全带。
研究人员发现，虽然这个漏洞确实存在，但它通常是“潜在的”——这意味着它在那里，但我们并不总是能看到它，因为 AI 通常是一件接一件缓慢地做事。然而，随着 AI 变得更快、开始处理更复杂的步骤任务，或者有人试图诱骗它时，这个漏洞就会变成一个巨大的缺口。
好消息是，修复方法很简单，不需要重建整个厨房。你只需要在门口增加一名保安（SOUNDGATE）。这是一个微小的改动，却能让整个系统重新变得安全，确保当人类说“停止”时，机器真的会停下来。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。