DualTrust: Asymmetric Bayesian Reputation and Cryptographic Gating for Autonomous AI Agents

计算世界正在悄然发生转变。几十年来，我们通过屏幕与机器交互，通过点击玻璃和移动鼠标来发出明确的指令。现在，一个“环境智能”的新时代正在兴起，智能眼镜、手表和传感器在后台运行，倾听我们的语音请求并据此执行操作，而无需我们按下任何按钮。在这个未来，一个个人软件代理可能会听到你说“保障我的日常通勤”，然后自动预订车辆、检查路况并支付费用。这些代理功能强大，但也存在风险。由于它们由大型语言模型驱动，而这些模型可能会犯错或被恶意行为者欺骗，因此将银行账户或家庭安全系统的控制权交给它们是一个令人恐惧的前景。如果一个代理变得失控，它可能会掏空你的财务或解锁你的房门。科学家面临的核心挑战是：如何在让这些代理自由工作的同时，在它们试图进行有害操作时立即阻止它们，且不减慢体验速度或耗费巨额计算资源。

研究人员曾尝试通过使用第二个较慢的 AI 来充当法官来解决这个问题，即检查代理想要采取的每一个动作。然而，这种方法对于现实世界来说太慢了。获取一个判决可能需要数百毫秒，这在汽车行驶在车流中或医疗设备响应患者时，简直是永恒般的漫长。此外，不断向第二个 AI 请求许可既昂贵又会消耗可穿戴设备的电池。另一种方法使用的是静态规则，就像一个只在门口检查一次身份证的保安，但这在代理行为随时间缓慢变化或试图通过一系列微小的非法行为进行渗透时会失效。为了弥补这一差距，研究员 Khairan Noor Fadhlillah 开发了一个名为 DualTrust 的新系统。它被设计为一个高速守门员，位于代理与它想要使用的工具之间，其决策时间是以微秒而非毫秒计的。

DualTrust 的核心理念是将人类所有者与软件代理分离。在这个系统中，人类拥有一个设定了信用额度的财务账户，而代理则拥有一个基于其行为的声誉分数。如果代理犯错或试图进行危险操作，系统不会惩罚人类；相反，它会惩罚代理的声誉。这使得人类即使在其特定的软件助手被劫持或搞混时，也能继续使用其设备。该系统使用一种数学方法来追踪代理的历史记录，该方法会对良好行为与不良行为进行加权。至关重要的是，它对重复错误的处理比对单一错误更为严厉。如果一个代理试图通过一系列微小的非法行为（这种策略被称为“香肠片切割”）来进行渗透，那么每一次错误的惩罚都会增长得越来越快，迅速将代理推入完全被锁定的隔离状态。

为了防止恶意行为者通过创建新的、新鲜的代理来绕过这些规则，DualTrust 将每个新代理都与原始人类经过验证的身份和信用挂钩。一个新代理开始时处于低信任水平，必须通过执行许多安全任务来证明自己，之后才被允许访问像财务转账或物理控制这类危险工具。这创造了一道屏障，使得攻击者通过重置声誉来规避规则变得成本高昂且困难重重。该系统还保护系统免受试图诬陷好代理的虚假代理群体的侵害。如果一个低信任度的代理试图指控一个高信任度的代理犯罪，系统会忽略该指控，从而确保经过验证的代理不会被一群造谣者拖累。

研究人员对该系统进行了广泛测试，以观察它是否能处理现实世界使用中的速度和混乱情况。他们运行了涉及数千个攻击周期的模拟，包括试图渗透微小错误的代理以及试图用虚假指控淹没系统的代理。结果显示，DualTrust 做出授权决策的时间约为 47 微秒，这比目前依赖神经网络的 AI 安全系统快了六千多倍。即使系统在将决策写入永久存储驱动器以确保保留记录时，延迟仍不到一毫秒。这种速度至关重要，因为这意味着安全检查发生得极快，以至于用户完全察觉不到停顿，同时该系统又足够健壮，能够捕捉到那些会溜过较慢的基于规则的过滤器的复杂攻击。

最重要的发现之一是该系统如何处理安全领域的“三难困境”：即速度、成本与安全性之间的冲突。通过使用确定性的、基于规则的引擎而不是第二个 AI 来判断每一步动作，DualTrust 消除了高昂的 Token 费用和运行大型模型带来的巨大能量消耗。它证明了你不需要超级计算机来保证代理的安全；你需要的是一个聪明、快速且具有数学严密性的守门员。该系统成功阻止了模拟攻击者榨取资源或绕过规则的行为，通常在几次不良行为循环内就将其隔离。它还展示了如何从误报（例如由于网络故障导致工具失效）中恢复，通过区分临时错误与蓄意攻击。

研究还强调了保持决策记录具有防篡改性的重要性。DualTrust 将每一次决策、每一次惩罚和每一次批准都记录在一个安全的、不可更改的账本中。这创建了一个永久的历史记录，可以随后进行审计，以查看究竟发生了什么，从而确保如果出现问题，会有清晰的数学证据证明谁在何时做了什么。这一特性对于在自主代理做出现实决策的世界中建立信任至关重要。研究人员指出，虽然该系统在模拟和受控测试中非常有效，但它仍然依赖于报告错误的传感器和工具的准确性。如果系统无法看到错误，它就无法对其进行惩罚，未来的工作将需要关注这些代理在与现实世界中活跃且不可预测的 AI 模型交互时的表现。

最终，这项工作为我们如何信任设备代表我们行事而无需持续监督提供了一个实用的蓝图。它从使用缓慢、昂贵的 AI 法官转向使用快速、高效且在数学上可靠的守护者。通过将人类身份与代理行为分离，并使用一个能够实时学习并适应威胁的系统，DualTrust 为下一代可穿戴技术提供了基础。它表明，我们可以拥有强大、自主的助手，它们不仅聪明，而且安全、快速且负责任，让我们能够在没有失去控制的恐惧下步入一个环境智能的世界。