Concepts for Securing Agentic AI Coding and the Terok Environment
本文通过对这些威胁进行全面评估，提出了一种在保留该技术优势的同时进行缓解的策略，并详细阐述了这一概念的具体实现，以实现安全且负责任的采用，从而应对智能体 AI 在软件开发中引入的重要 IT 安全风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一种新型的软件助手，它不仅仅是等待指令，而是根据指令采取行动。在计算机编程领域，这种转变代表着从一个仅提供代码建议的工具，向一个能够编写代码、测试代码并能在没有人类持续监督的情况下自行修复错误的合作伙伴的跨越。这被称为代理式人工智能（agentic artificial intelligence）。虽然这项技术有望使软件开发变得更快、更高效，但它也引入了一个独特且严重的问题：为了发挥作用，该代理必须拥有修改文件、运行命令以及在你的电脑上访问互联网的权限。同样的权力，如果代理犯了错误或被误导，可能会导致它窃取你的私人数据、安装有害软件或破坏你的系统。开发者面临的问题是如何利用这一强大的新工具，而不让它失控。
来自德国高级系统理解中心（Center for Advanced Systems Understanding）和赫姆霍兹德累斯顿-罗森多夫研究中心（Helmholtz-Zentrum Dresden-Rossendorf）的研究团队通过设计一个专门为这些自主编程代理构建的安全环境，解决了这一挑战。他们认为，让代理独立工作的益处——例如其自动编译代码、运行测试和纠正错误的能力——是非常宝贵的，不容忽视，但也带来了无法通过仅仅要求代理“表现良好”来解决的严重风险。研究人员并没有试图控制代理的思想，而是围绕它建立了一道物理和数字屏障。他们创建了一个名为 Terok 的系统，它作为一个安全的沙盒，让代理可以在其中自由操作，但仅限于严格的边界之内，从而保护其余的计算机和更广泛的互联网。
他们解决方案的核心是一个“分离”的概念。研究人员将编程代理视为“不可信”的，这意味着他们假设代理可能会无意中或故意造成伤害。为了管理这一点，他们将代理隔离在一个容器（container）中，这是一个位于计算机上的轻量级、自包含的空间，代理可以在其中运行任何命令，而不会影响用户的个人文件或主操作系统。如果代理试图安装病毒或删除文件，这些行为只会影响这个隔离的空间，而不会触及其余的计算机。这种隔离是第一道防线，确保即使代理表现得像病毒一样，也无法逃出它的“笼子”。
然而，仅仅依靠隔离是不够的，因为代理仍然需要与外界通信，以下载代码库或与驱动它的人工智能服务进行对话。为了处理这个问题，研究人员增加了第二层保护措施：一个控制每一次传出连接的严格防火墙。默认情况下，代理被禁止联系任何外部服务器。如果代理需要访问某个特定网站来完成工作，系统会请求人类用户进行许可。这可以防止代理意外地将私人数据发送到错误的地方，或从受损的来源下载恶意软件。
第三个、或许也是最巧妙的防护措施，涉及代理如何与项目的代码仓库（即存储和共享软件代码的核心场所）进行交互。系统并没有让代理直接写入主项目，而是为该仓库创建了一个临时的本地镜像。代理在这个副本上工作，进行更改并像对待真实项目一样提交更改。一旦代理完成了任务，人类用户就会审查这个本地镜像中的更改。只有在用户批准了这些工作之后，它们才会被转发到主项目。这确保了任何隐藏的错误或由代理插入的恶意代码，在到达公共领域或团队的共享代码库之前都能被拦截。
最后，系统保护了代理运行所需的密钥和密码。这些凭据（例如与人工智能服务通信的密码或访问代码仓库的密钥）都安全地存储在代理的隔离空间之外。当代理需要使用它们时，系统会在最后一刻注入信息，而绝不会让代理看到或复制实际的密钥。这可以防止受损的代理窃取这些密钥，并利用它们攻击其他系统或冒充用户。
研究人员将 Terok 呈现为一个实现了这些保护概念的开源软件环境。他们提出，这种方法允许开发者利用全力的代理式人工智能——让它执行复杂的任务、修复自身的错误并查询互联网——同时保持风险的可控。该系统并没有消除代理犯错或被误导的可能性，但它确保了此类事件的后果仅限于隔离的环境内，不会扩散到用户的个人数据或更广泛的网络中。
这项工作并不声称是一个永久或完美的解决方案，因为人工智能领域的发展非常迅速。研究人员承认，新的风险可能会出现，系统也需要不断进化。他们还指出，某些风险（例如人类可能会因为过度依赖这些工具而忘记如何编程）是无法仅靠技术来解决的。然而，他们的做法提供了一种务实且安全的方式，可以在当下探索代理式编程的潜力。通过创建一个安全空间，让这些强大的工具能够在受控的情况下进行测试和负责任的使用，研究人员希望鼓励开发界采用这项技术，而不必担心目前阻碍其发展的严重安全风险。其结果是实现了一种平衡：既保留了对新能力的兴奋感，又兼顾了安全性，使人类能够保持控制权，同时让机器承担繁重的任务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。