From obligation to enforcement: mapping EU AI Act and CRA cybersecurity requirements to technical controls for LLM-based autonomous agents
本文通过将欧盟《人工智能法案》与《网络韧性法案》中以结果为导向的网络安全义务，映射到专门针对基于大语言模型的自主智能体的具体技术控制措施和验证证据，从而弥合了这些规定与实际落地之间的差距。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一种新型的计算机程序，它不仅仅是回答问题，而是采取行动。这些被称为“自主智能体”（autonomous agents）。它们构建在大型语言模型之上——即驱动聊天机器人的同种技术——但有一个至关重要的补充：它们可以连接到其他软件、阅读电子邮件、执行代码，并能在极少人工干预的情况下通过决策来实现目标。可以将它们想象成能够规划自身工作的数字员工。这种能力非常强大，但也引入了一种独特的危险。因为这些智能体会将指令和数据视为同类事物，一个巧妙的信息陷阱就能说服智能体忽略其安全规则，从而执行它绝不该做的操作，例如删除文件或窃取密码。随着这些系统从研究实验室走向真实的商业领域，政府正介入其中以确保其安全性。欧盟的两项主要法律——《人工智能法案》（Artificial Intelligence Act）和《网络韧性法案》（Cyber Resilience Act）——现在都要求这些系统必须是安全的。然而，这些法律描述的是它们想要达到的结果（如“韧性”或“安全性”），却并未解释究竟如何构建它们。这使得工程师和监管机构缺乏一张关于“安全软件究竟长什么样”的共同蓝图。
一位名叫 Abayomi Ogayemi 的研究人员填补了这一空白，他制定了一份详细指南，将这些法律要求转化为具体的工程步骤。这篇题为《从义务到执行》（From obligation to enforcement）的论文充当了抽象法律规则与开发者编写的具象代码之间的桥梁。作者将这两项欧盟法规的复杂法律文本拆解成了细小、易于管理的职责片段。对于每一个片段，他们识别出了可能危害自主智能体的特定威胁，并将其与能够阻止该威胁的成熟技术控制手段相匹配。其结果是一份清晰的清单，告诉公司具体应该构建什么、如何测试，以及保留哪些证据来证明自己遵守了法律。
该研究聚焦于智能体可能遭受攻击的十种特定方式。某些攻击涉及诱骗智能体忽略其指令，而另一些则涉及对智能体用于学习的数据或其赖以工作的工具进行“投毒”。研究人员发现，法律涵盖了这些危险，但前提是公司知道如何解读它们。例如，法律要求系统具有“鲁棒性”（robust），论文将其转化为对“指令层级”（instruction hierarchy）的要求。这意味着软件必须拥有一套严格的规则，防止智能体在用户指令试图覆盖其核心安全设置时执行该指令。同样，法律对“日志记录”（logging）的要求变成了要求保留一份关于智能体所做每一项决策的防篡改记录，包括它看到了哪些数据以及采取了哪些行动，以便在出现问题时，调查人员可以准确查明发生了什么。
最重要的发现之一是这两项不同的法律是如何协同工作的。《网络韧性法案》将软件视为一种必须默认安全的产品，而《人工智能法案》则关注系统可能给人类带来的风险。论文表明，如果一家公司构建智能体时遵循了《网络韧性法案》的严格安全标准——例如拥有所有软件组件的清单、限制智能体的访问权限以及具备立即关闭系统的机制——那么它们也自动满足了《人工智能法案》中的网络安全要求。这为公司创造了一条统一的路径。研究人员还指出，法律对报告问题设定了严格的期限。如果发现漏洞正被黑客积极利用，公司必须在 24 小时内向当局报告。为了实现这一点，论文建议构建能够即时检测可疑活动并延迟无误地提醒相关人员的系统。
该论文并不声称已经解决了所有问题。它指出，法律仍有待更详细的技术标准在未来几年内编写完成。在此之前，这项研究提供的指南是公司证明自身安全性的最佳可用方法。它还强调了一个残酷的现实：如果一家公司将其智能体的“大脑”作为开源软件发布，任何人都可以复制和修改，那么该公司就无法完全控制该软件后续的使用方式，从而导致某些法律义务无法强制执行。尽管存在这些挑战，这项工作仍提供了坚实的基础。它将模糊的法律承诺转化为切实的工程计划，确保随着这些强大的数字智能体进入我们的世界，它们在构建时已具备必要的安全机制，以保护我们免受其潜在故障的影响。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。