Runtime Security Monitoring and Continuous Assurance for AI Agents: An Integrative Review and Systems-Management Framework
本文提出了一种结构化的综合综述以及运行时安全监控与持续保障（RSMCA）框架，该框架通过定义八个监控面、多层评估方法和分级响应机制，解决了长寿命人工智能智能体在网络与系统管理环境中的动态安全风险，以确保智能体操作的可观测性、可执行性和可审计性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一种新型的软件工作者，它们不仅仅是回答问题，而是真正地采取行动。这些数字智能体（agents）可以规划行程、预订机票、访问公司私有文件或编写代码，通过使用工具并与其他程序进行对话来实现这些功能。它们构建在大型语言模型之上，即驱动现代聊天机器人的同种技术，但它们被设计为能够独立运行很长时间。问题在于，这些智能体并非静态的；它们在工作时会发生变化。它们可能会读到一封包含隐藏指令的电子邮件，可能会使用开发者更新过的工具，或者可能会记住一段导致其走向危险路径的信息。一个在启动时是安全的智能体，可能仅仅因为它所工作的世界发生了变化，在几分钟后就变得不安全了。这给管理这些系统的人带来了巨大的挑战：当一个事物的行为不断演变且环境充满变数时，你该如何确保它的安全？
一组研究人员通过提出一种监视这些数字工作者的新方法来应对这一挑战。他们建议不要试图在智能体开始工作前预测它可能犯的所有错误，而是提议一种在智能体工作时对其进行逐步监控的系统。他们的研究题为《AI 智能体的运行时安全监控与持续保证》（Runtime Security Monitoring and Continuous Assurance for AI Agents），认为安全性不能是一次性的检查。它必须是一个持续的过程，观察智能体的身份、计划、使用的工具以及它所触及的数据。研究人员发现，为了保持这些智能体的安全，我们需要关注八个可能出现问题的特定领域。这些领域包括智能体自身的设置、它接收到的指令、它试图完成的任务、它调用的工具、它读取或发送的数据、它的记忆、它与之交谈的其他智能体，以及它所依赖的外部服务。
研究人员构建了一个名为 RSMCA 的框架，用以组织如何监控这八个领域。他们意识到，仅仅记录智能体做了什么是不够的；我们还需要能够在它即将做出有害行为时阻止它。他们区分了四种不同的职责。首先是“可观测性”（observability），即观察正在发生的事情的能力。其次是“监控”（monitoring），意味着观察正在发生的事情并判断其是否安全。第三是“执行”（enforcement），即如果行为不安全，实际停止或改变该行为的能力。最后是“持续保证”（continuous assurance），即随着时间推移和条件变化，持续证明智能体依然安全的持续过程。一个系统可能非常擅长观察发生了什么，但在阻止坏事方面表现糟糕；或者它可能非常严格，却无法解释为什么要停止某项任务。新框架强调，这四种职责必须协同工作。
为了实现这一点，研究人员建议将智能体采取的每一个行动都视为一个安全事件，并由多种不同类型的“卫兵”进行检查。其中一些卫兵是严格的，遵循精确的规则，例如一份绝对禁止使用的工具清单。另一些则更加灵活，会观察任务的含义，检查一项行动究竟是在帮助智能体实现目标，还是正在偏离航向。还有一些卫兵会观察智能体的历史行为，以查看一系列微小的、无害的步骤是否正在累积成一个大问题。如果卫兵发现了风险，系统并不会立即关闭一切。相反，它拥有一套响应阶梯。它可以允许行动发生但进行密切记录，也可以暂停并请求人类批准，或者完全拦截该行动。如果智能体已被攻破，系统可以隔离它、清除其记忆或撤销其对敏感数据的访问权限。
论文强调，这种方法不同于我们通常测试软件的方式。通常，我们在使用程序之前对其进行测试以确保其正常工作。但对于这些智能体，在它们开始前进行测试是不够的，因为它们可能会被工作中发现的新信息所误导。研究人员认为，我们必须将智能体的安全性视为一种会“过期”的东西。仅仅因为一个智能体在昨天通过了安全测试，并不意味着它今天就是安全的，如果它的工具发生了变化，或者它被赋予了新的权限。他们的框架创建了一个不断更新的“保证状态”。如果系统失去了对智能体行为的追踪，或者它依赖的某个工具发生了变化，系统会自动降低该智能体的权限，直到能确定一切安全为止。
这项工作是一个概念性的指南，是构建此类安全系统的蓝图，而非一个已在真实工厂或办公室中经过测试的成品。作者承认，他们的想法尚未在包含真实数据的实境环境中得到证实。他们建议，下一步是建立测试系统，以观察这些不同类型的卫兵如何协同工作，以及它们会对智能体造成多少延迟。他们还指出，我们需要更好的衡量这些系统运作效率的方法，不仅是通过计算它们拦截了多少次攻击，还要看它们在多大程度上帮助智能体完成工作而不造成干扰。其目标是实现从“寄希望于这些强大的工具是安全的”转向“建立一个其安全性被不断测量、管理和证明的系统”，从而让它们在不造成伤害的情况下自由工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。