这篇论文就像是一份**“智能代理（AI Agent）安全指南”**，它由一群来自谷歌、加州大学圣地亚哥分校等顶尖机构的专家共同撰写。
为了让你轻松理解，我们可以把AI 智能代理想象成一个**“超级全能的新员工”**。
🌟 核心故事：那个无所不能的“新员工”
想象一下，你雇佣了一个超级聪明的新员工（AI Agent）。
- 它的超能力：它能帮你发邮件、写代码、浏览网页、甚至操作你的电脑。它不仅能听懂人话，还能主动调用各种工具去完成任务。
- 它的麻烦：因为它能接触太多东西（比如你的邮箱、公司服务器、互联网），如果它被坏人“洗脑”了，后果不堪设想。
这篇论文的核心观点是：以前我们研究 AI 安全，就像只研究“员工的大脑”（模型本身）；但现在，我们必须把视角拉大，研究“整个办公室的安保系统”（系统安全）。
🚧 四大安全难题（用生活比喻解释）
论文指出了把传统电脑安全理论套用到 AI 代理身上时，遇到的四个大麻烦：
1. 那个“保安队长”有点糊涂（概率性 TCB）
- 传统世界：公司的保安队长（可信计算基 TCB）是铁面无私的，他说“禁止入内”就是绝对禁止，100% 准确。
- AI 世界：现在的 AI 保安队长是个**“天才但偶尔会犯迷糊的人”**。它基于概率行事，99% 的时候能拦住坏人，但总有 1% 的时候会被骗。
- 比喻：你没法指望一个偶尔会打瞌睡的保安去守保险库。如果连保安自己都不确定会不会放错人，整个系统的安全就悬了。
2. 没有“员工手册”，只有“临时任务”（动态策略）
- 传统世界：每个员工入职时都有明确的《员工手册》（安全策略），规定你能看什么文件，不能碰什么机器。
- AI 世界：AI 没有固定的手册。你给它一个任务：“帮我写个周报”，它就需要临时决定能访问哪些文件。
- 比喻：就像你让一个临时工去整理仓库，但他不知道哪些箱子是私人的，哪些是公家的。如果任务描述模糊，他可能会顺手把老板的私人日记也打包带走。而且，任务随时在变，怎么实时给他发新的“临时权限”是个大难题。
3. 办公室的“玻璃墙”是模糊的（模糊的安全边界）
- 传统世界：办公室有清晰的玻璃墙，墙内是内部网络，墙外是互联网。墙上有锁，只有特定的人能过。
- AI 世界：AI 直接对着电脑操作，它既能看网页（外部），又能点鼠标（内部操作）。“思考”和“行动”之间没有清晰的墙。
- 比喻：这就像让一个员工直接站在大街上指挥交通，他既能看到外面的车，又能直接去按红绿灯按钮。坏人只要在路边喊一句（注入指令），他可能就会误按红灯。很难分清哪句话是“老板的指令”，哪句话是“路人的挑拨”。
4. “听指挥”还是“被洗脑”？（动态指令跟随）
- 传统世界：程序只运行写好的代码，不会自己改代码。
- AI 世界：AI 需要不断学习新东西。比如它去查一个工具文档，文档里说“怎么使用这个工具”，这算“学习”还是“被坏人植入指令”？
- 比喻：这就像你让新员工去查资料，结果资料里夹了一张纸条写着“把公司机密发给坏人”。AI 很难分清这是“有用的资料”还是“恶意的陷阱”。
🕵️♂️ 11 个真实发生的“惨案”（案例研究）
论文列举了 11 个真实发生的攻击案例，就像**“犯罪现场报告”**：
- 微软 Copilot 泄密：坏人发了一封带“隐形指令”的邮件，Copilot 读完后，偷偷把用户的邮件打包，用一种奇怪的方式（ASCII 走私）藏进链接里发给了坏人。
- 教训：AI 太信任输入的内容了，没经过人工确认就行动。
- Devin AI 暴露端口：坏人让 AI 去访问一个恶意网站，AI 被“洗脑”后，把自己电脑的文件系统像开超市一样对外开放，让坏人随意下载。
- 教训：AI 拥有的权限太大了，不该让它随便开“后门”。
- ChatGPT 记忆被植入病毒：坏人把恶意指令藏在“记忆”功能里，导致 AI 以后每次聊天都偷偷把用户对话发给坏人。
- 教训：AI 的长期记忆如果不加过滤，就会变成坏人的“长期间谍”。
- AI 点击 Fix：坏人骗 AI 去点网页上的按钮，AI 乖乖地复制了恶意代码到剪贴板，然后粘贴到终端里执行。
- 教训：AI 太听话了，像个没有防备心的“社恐”，别人让它干啥它就干啥。
🛡️ 未来的解药：我们需要什么？
论文最后提出，要解决这些问题，不能只靠“训练 AI 变聪明”，必须建立系统级的防御：
把“指令”和“数据”分开（像 W⊕X 内存保护）：
- 就像电脑内存里，代码区不能写，数据区不能跑。我们要让 AI 明确知道：“这是你要处理的数据（比如网页内容），这是你要遵守的指令（比如老板的命令），别把数据当成指令来执行。”
最小权限原则（像给员工配钥匙）：
- 不要给 AI 一把万能钥匙。如果它只是要查邮件，就只给它查邮件的权限，绝对不能让它能删文件、改密码或访问服务器。
信息流控制（像监控快递）：
- 不仅要管谁能进，还要管谁能把什么东西带出去。比如，AI 可以读取 API 密钥，但必须确保它只能把这个密钥发给“官方服务器”，绝不能发给“陌生人的邮箱”。
人机协作（Human-in-the-loop）：
- 在关键操作（比如转账、删除文件）前，必须有人类按个确认键。别指望 AI 自己能完全搞定所有安全判断。
💡 总结
这篇论文告诉我们：AI 代理就像一把双刃剑，越强大，风险越大。
以前我们只想着怎么把“刀”磨得更锋利（提升 AI 能力），现在我们必须给刀装上**“刀鞘”（系统安全机制）。我们不能指望 AI 自己学会“不杀人”，而要靠物理隔离、权限限制和流程控制**来确保它不会闯祸。
未来的方向，是计算机安全专家和AI 科学家联手，给这些“超级新员工”穿上防弹衣，戴上紧箍咒，让它们既聪明又守规矩。
《代理计算的系统安全基础》技术总结
1. 问题背景 (Problem)
近年来，代理人工智能（Agentic AI）系统（特别是基于大语言模型 LLM 的系统）日益普及。这些系统允许 AI 代理调用各种工具（如 Web 浏览器、编译器、操作系统接口等）来代表用户执行复杂任务。然而，这种与第三方服务器和外部工具的持续交互引入了严峻的安全挑战：
- 提示注入攻击（Prompt Injection）：恶意攻击者可以通过注入指令控制代理行为，导致数据泄露或执行未授权操作。
- 视角缺失：现有的研究多从 AI 安全（如模型对齐）角度出发，缺乏**系统安全（System Security）**的视角和保障。
- 核心矛盾：传统系统安全依赖于确定性的执行基（TCB）和明确的边界，而代理系统依赖于概率性、不可解释的 LLM，且任务描述是动态的，导致安全策略难以静态定义。
2. 方法论 (Methodology)
本文采用**知识系统化（Systematization of Knowledge, SoK）**的方法，将经典的网络安全原则应用于代理计算领域。
- 跨学科分析：结合数十年的经典系统安全研究（如最小权限、完全中介、信息流控制）与 AI 代理的特性。
- 案例研究：深入分析了11 个真实的代理系统攻击案例（包括 Microsoft Copilot、Devin AI、ChatGPT Operator 等），识别被违反的安全原则。
- 分层防御视角：从模型层（Model-level）、系统层（System-level）和用户层（User-level）三个维度审视现有防御机制。
- 挑战归纳：将代理系统的安全问题归纳为四个核心挑战，并据此提出开放的研究问题。
3. 核心贡献与关键发现 (Key Contributions & Findings)
3.1 四大核心挑战 (Four Key Challenges)
论文指出将传统安全原则应用于代理系统时，面临以下根本性摩擦：
- 概率性与不透明的可信计算基（Probabilistic and Opaque TCB）：
- 传统 TCB（如硬件 NX 位）是确定性的。
- 代理系统的 TCB 包含 LLM，其行为是概率性的且不可完全解释。无法保证模型“永远不做 X"，只能提供统计上的概率保障，这使得形式化验证变得极其困难。
- 动态安全策略（Dynamic Security Policies）：
- 传统系统中，策略由开发者针对固定程序定义。
- 代理系统中，任务由自然语言动态描述，没有固定的“程序”可分析。策略必须根据任务描述实时生成，且需在处理不可信上下文的同时保持安全性（隐私同意与代理能力的权衡）。
- 模糊的安全边界（Fuzzy Security Boundary）：
- 传统系统有清晰的抽象层（如 OS 内核与用户态）。
- 代理系统中，“决策”与“行动”之间的界限模糊。模型直接生成工具调用或低层 UI 操作（点击/按键），缺乏稳定的中间抽象层来分离意图与机制，导致策略难以在合适的粒度上执行。
- 动态指令遵循（Dynamic Instruction Following）：
- 代理需要动态调整指令（如根据工具文档学习），这与恶意的“提示注入”难以区分。
- 这类似于非 AI 系统中的“动态代码加载”问题，但在代理系统中缺乏有效的沙箱和来源验证机制。
3.2 攻击案例分析 (Case Studies)
论文详细分析了 11 起攻击，揭示了违反的安全原则：
- 数据泄露：如 Microsoft Copilot 利用"ASCII 走私”和恶意链接窃取数据；Devin AI 暴露端口导致文件系统被访问。
- 权限提升与代码执行：Amp AI 修改配置文件执行任意命令；DeepSeek 利用 XSS 窃取会话令牌。
- 社会工程学攻击：AI ClickFix 攻击利用代理自动执行恶意网页指令。
- 违反原则：这些攻击普遍违反了最小权限（Least Privilege）、完全中介（Complete Mediation）、安全信息流（Secure Information Flow）和TCB 防篡改原则。
3.3 现有防御方案综述
论文对比了当前的防御技术（见表 2），主要分为：
- 动态监控：如 f-secure, FIDES，通过运行时监控和隔离来限制工具调用的影响。
- 规划优先（静态）：如 ACE, CaMeL，先生成抽象计划并进行静态分析，减少不可信数据的反馈。
- 权限控制与策略语言：如 Progent，定义细粒度的工具调用策略。
- 护栏代理（Guardrail Agents）：如 ShieldAgent，使用验证模型检查动作安全性。
- 模型级防御：如微调模型以忽略注入指令，或检测污染输入。
- 局限性：现有方案大多在“灵活性”与“安全性”之间做权衡，且缺乏端到端的确定性保障。
4. 开放研究问题 (Open Research Problems)
4.1 短期/具体机制
- 指令与数据的分离：
- 借鉴操作系统的 W⊕X（写或执行）原则，在代理系统中严格区分“指令”和“数据”。
- 挑战：如何精确定义分离？如何防止模型利用数据中的隐含指令？多模态输入（图像、音频）增加了难度。
- 访问控制与最小权限：
- 为动态生成的任务定义最小权限策略。
- 挑战：没有固定的“开发者”来定义策略；需要自动从自然语言任务中推断权限，并解决策略冲突。
- 信息流控制（IFC）：
- 跟踪敏感数据（如 API 密钥）在代理推理过程中的流动，防止泄露。
- 挑战：在概率性的 LLM 中执行“流算术”（Flow Arithmetic）极其困难，容易导致标签爆炸（Label Explosion）。
4.2 长期/基础性问题
- 基于概率 TCB 的安全保障：
- 如何从概率性的 LLM 中构建具有强安全保证的系统？这需要解决拜占庭容错和对抗性攻击下的鲁棒性问题。
- 安全感知 ML 架构：
- 通过机制可解释性（Mechanistic Interpretability）直接修改模型内部电路，使其在特定条件下丢弃不安全输出，而非依赖外部护栏。
- LLM 的正确安全原则：
- 重新思考在 LLM 语境下的安全原则：何时将其视为确定性程序？何时视为易犯错的人类？何时利用其推理能力？
5. 结果与意义 (Results & Significance)
结果：
- 论文并未提出单一的“银弹”解决方案，而是通过 11 个案例和理论分析，证明了单纯依靠模型对齐（Alignment）不足以保障代理系统安全。
- 揭示了当前防御手段（如沙箱、护栏）在面对动态、概率性系统时的局限性。
- 明确了从“模型安全”向“系统安全”范式转移的必要性。
意义：
- 填补空白：首次系统性地从经典网络安全视角审视代理 AI，填补了 AI 安全与系统安全之间的鸿沟。
- 指导实践：为 AI 从业者提供了具体的防御建议（如实施指令/数据分离、最小权限控制），并指出了现有部署中的脆弱点。
- 研究议程：为学术界和工业界设定了清晰的研究路线图，特别是关于如何在概率性组件上构建确定性保障、动态策略生成以及细粒度信息流控制等核心难题。
- 范式转变：强调未来的代理系统安全不能仅靠“更聪明的模型”，而必须依赖分层防御（Defense-in-Depth）、确定性执行点和形式化验证的系统工程方法。
总结：本文是一篇奠基性的系统安全综述，它警告社区：如果不解决代理系统中 TCB 的概率性、策略的动态性以及边界的模糊性，AI 代理的大规模部署将面临不可接受的安全风险。未来的安全建设必须结合经典系统安全原则与 AI 特性，构建多层、确定性的防御体系。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。