ADR: An Agentic Detection System for Enterprise Agentic AI Security
本文介绍了 ADR，这是一个经过生产验证的企业级框架，用于保障模型上下文协议（MCP）代理的安全，该框架融合了高保真遥测、系统性红队测试以及可扩展的两层检测系统，以克服可观测性、鲁棒性和成本方面的挑战，并在真实世界部署与基准测试中实现了卓越的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个庞大且高科技的办公室，数千名员工正使用一种新型的“超级助手”（AI 智能体）来开展工作。这些助手能够读取文件、编写代码，并与其他软件工具交互以完成任务。它们使用一种称为MCP（模型上下文协议）的标准语言与这些工具进行通信。
问题在于，这些助手如此智能且自主，以至于容易被欺骗。黑客可以向助手悄悄输入一条秘密指令，诱使其窃取密码或删除重要文件，而助手却以为自己只是在正常工作。
传统的安保人员（例如那些监控文件变更的人员）能够看到文件被修改了，却无法得知助手为何要修改它。他们错过了行动背后的“思维过程”。
本文介绍了ADR（智能体检测与响应），这是一种专为监控这些 AI 助手而设计的全新安全系统。其工作原理如下，以通俗易懂的方式解释：
1. 问题所在：“盲区”
将旧式安全工具想象成一台监控工厂车间的摄像头。它们能看到一名工人拿起一个箱子并走出大门，但无法听到工人的对话，也看不到工人手中那张写着“这个箱子其实是炸弹”的便条。
- 差距所在：旧工具只能看到行动（文件写入），却忽略了意图（提示词与推理过程）。
- 风险所在：黑客可以诱骗 AI 认为窃取数据是一项正常任务。
2. 解决方案：ADR 系统
作者构建了一个三部分系统来解决这一问题，其作用如同一支训练有素的安全团队。
部分 A：“鹰眼”传感器（ADR 传感器）
该传感器并非仅仅监控工厂车间，而是直接位于 AI 的“大脑”内部。
- 它的作用：记录一切内容：用户提出了什么请求、AI 如何思考、使用了哪些工具，以及随后发生了什么。
- 类比：它就像法庭速记员，记录会议中的每一个字，而不仅仅是最终决定。这为安全团队提供了 AI 行为的完整“故事”，而不仅仅是结果。
部分 B：“两级”侦探团队（ADR 检测器）
用超级智能（但昂贵）的 AI 侦探检查每一个单一行动，成本和时间都太高。因此，ADR 采用了两步流程：
- 第一级（快速分诊）：一个快速、轻量级的扫描器每秒检查数千个行动。它就像俱乐部门口的保安，快速检查身份证件。如果某事看起来明显安全，就放行；如果看起来“可疑”（例如索要密码），则标记出来。
- 第二级（深入调查）：被标记的项目会交给资深侦探处理。该侦探可以访问公司的规则手册、代码手册以及已知犯罪手法的清单。它会阅读完整的故事（来自传感器），并判断：“这是真正的攻击，还是仅仅是误解？”
- 为何有效：这种方法通过不对枯燥、安全的任务使用昂贵的侦探来节省成本，同时确保可疑任务得到深入、细致的分析。
部分 C：“红队”模拟器（ADR 探索器）
在系统上线之前，必须对其进行测试。
- 它的作用：一个特殊的 AI“红队”试图攻破该系统。它会发明各种新颖、狡猾的方法来欺骗 AI 助手。
- 类比：想象一次消防演习，其中一支团队试图将火源偷偷带入大楼，以测试警报是否有效。当红队发现新手法时，系统会从中学习，并在真实黑客利用这些手法之前变得更聪明。
3. 结果：现实世界的验证
该团队在Uber进行了超过十个月的测试，涉及 7,200 多台计算机。
- 成功：该系统发现了数百起员工意外（或恶意）向外部泄露密码和机密的案例。
- 准确性：其精确度极高。在测试中，它在特定基准上实现了零误报（即在没有“狼”的时候从未误报“狼来了”），同时仍能捕获 67% 的实际攻击。
- 对比：其表现比当前可用的其他顶级安全工具高出 2 到 4 倍。
4. “左移”预防
由于该系统在发现秘密泄露方面表现出色，团队并未止步于捕获这些泄露，而是选择在泄露发生之前将其阻止。
- 他们添加了一个“预提示”检查（钩子），扫描用户即将输入的内容。如果检测到密码，它会立即予以拦截。
- 这一措施实现了97.2% 的准确率，在泄露开始之前就将其阻止。
总结
本文提出了ADR，作为面向 AI 助手新纪元的首个大规模、经实证的安全系统。它通过记录完整对话、利用智能的两步侦探流程以节省成本，并通过不断尝试攻击自身系统来进行自我训练，从而解决了“我们无法看到 AI 在想什么”的问题。该系统在真实的企业环境中被证明是成功的，能够捕获旧式工具所遗漏的真实安全风险。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。