想象一下，你雇佣了一位超级聪明、不知疲倦的数字助手。与仅仅回答问题的简单聊天机器人不同，这种新型人工智能被称为“代理式人工智能（Agentic AI）”。与其把它想象成帮你找书的图书管理员，不如把它想象成一位个人项目经理，它实际上能够执行任务：它可以浏览网页、编写代码、预订航班、访问你的文件，并自主做出决策以解决复杂问题。

这篇论文是这些新型“数字项目经理”的全面安全手册。作者认为，虽然这些代理功能强大，但将你的数字生活钥匙交给它们会引入新的、危险的风险。他们通过分析两个主要领域来阐述如何保持这些代理的可信度：安全与鲁棒性（确保它们不会意外破坏事物）以及隐私与安全（确保它们不被黑客攻击或泄露你的秘密）。

以下是他们研究发现的简要总结，使用了日常类比。

1. 新风险：“多米诺效应”

旧的人工智能就像自动售货机：你投入硬币，得到零食，仅此而已。如果机器卡住了，虽然令人烦恼，但并不危险。

代理式人工智能则像一连串的多米诺骨牌。代理不仅仅是给你一个答案；它会执行一系列步骤（称为“轨迹”）。

• 步骤 1： 它阅读一封电子邮件。
• 步骤 2： 它规划回复内容。
• 步骤 3： 它发送邮件。
• 步骤 4： 它更新你的日历。

问题在于？如果代理在步骤 1 中犯了一个微小的错误（误读了邮件），它可能在步骤 2 中规划了错误的内容，在步骤 3 中发送了糟糕的邮件，并在步骤 4 中删除了你的日历。论文将这种现象称为**“级联故障”**。早期的一个小错误可能会在后期演变成巨大的灾难。

2. 两大安全支柱

作者表示，我们需要关注两个具体方面才能信任这些代理：

A. 安全与鲁棒性（“安全带与安全气囊”方法）

这是关于确保即使出现问题，代理也不会伤害任何人或破坏事物。

• 风险： 想象代理正在驾驶一辆汽车（这是其行动的隐喻）。如果它在路上看到一个从未见过的奇怪形状（“分布外”输入），它可能会惊慌失措并撞向墙壁。或者，它可能会被一个写着“停止”但实际上意味着“通行”的标志所欺骗（“提示注入”攻击）。
• 对策： 论文建议建立护栏。
  • 行动前： 检查计划是否合理（就像副驾驶检查地图）。
  • 行动中： 将其置于沙盒（游戏围栏）中，这样如果它试图删除你的文件，它只会删除沙盒内的文件。
  • 行动后： 在操作永久化之前，由人类检查工作。

B. 隐私与系统安全（“守密人”方法）

这是关于确保代理不会窃取你的秘密或让黑客进入。

• 风险： 想象你给了代理一把你家门的钥匙，以便它给植物浇水。但是，黑客欺骗代理，让它以为自己就是你，于是代理交出了钥匙。或者，代理不小心把你的日记留在桌子上，供任何人阅读。
• 对策： 论文建议实施零信任策略。
  • 最小权限原则： 只给代理完成一项任务所需的特定钥匙，而不是整栋房子的万能钥匙。
  • 秘密管理： 不要让代理在内存中存储密码；应使用安全保险库。
  • 清理： 如果代理读取了秘密，它应立即“遗忘”它，以免日后意外泄露。

3. 代理的日常惯例（工作流程）

论文将这些风险映射到代理的日常循环中，他们称之为感知 → 规划 → 行动 → 反思 → 学习。把这想象成代理的晨间惯例：

1. 感知（醒来）： 代理阅读电子邮件和网页。
   • 风险： 有人发送一封欺骗代理的假邮件。
   • 对策： 检查发件人身份并扫描隐藏陷阱。
2. 规划（制定待办清单）： 代理决定做什么。
   • 风险： 它可能会规划一条经过危险街区的路线（不安全的行动）。
   • 对策： 在代理开始行动之前，由“规则检查器”审查计划。
3. 行动（执行工作）： 代理点击按钮、发送邮件或运行代码。
   • 风险： 它可能会意外删除错误的文件。
   • 对策： 先进行“试运行”（模拟），或者对重大更改要求人工批准。
4. 反思（回顾）： 代理检查自己是否做得好。
   • 风险： 即使失败了，它也可能对自己撒谎说“我做得很好！”。
   • 对策： 使用独立的“裁判”来验证结果。
5. 学习（变得更聪明）： 代理更新记忆以备下次使用。
   • 风险： 它可能会从错误中学到坏习惯并再次重犯。
   • 对策： 不要让它立即从每一个错误中学习；先由人类审查这些教训。

4. 我们如何测试它们是否安全？

作者表示，我们不能仅仅问代理“你安全吗？”，因为它可能会撒谎。相反，我们需要一个统一评估中心。

把这想象成代理的驾驶考试：

• 赛道： 我们不仅仅在晴天（正常数据）进行测试。我们还在暴风雪、结冰路面以及面对伪造路标（对抗性攻击）的情况下进行测试。
• 记分卡： 我们不仅仅看它是否到达了目的地（成功率）。我们还会看它闯红灯的次数（约束违规）或差点撞到行人的次数（灾难性事件率）。
• “黑盒”： 我们记录代理采取的每一个步骤（“轨迹”），这样如果出现问题，我们可以回放视频，确切地看到它在哪里搞砸了。

5. 失败的真实案例

论文指出，这不仅仅是理论。他们提到了真实世界的例子（如一个名为OpenClaw的系统），其中开源代理在缺乏适当安全检查的情况下被部署。

• 发生了什么： 黑客发现这些代理没有密码保护。他们欺骗代理窃取密码并将其发送给黑客。
• 教训： 你不能仅仅给代理“超能力”（访问你的文件和互联网），而不围绕它建立一座“堡垒”。如果不这样做，代理就会成为黑客的后门。

6. 巨大的权衡

论文以严峻的现实作为结论：安全与效用之间的权衡。

• 如果你让代理超级安全（就像把它关在笼子里），它可能会因为太慢或太谨慎而无法完成工作。
• 如果你让它超级有用（让它做任何事），它可能会意外破坏某些东西。
• 目标： 论文认为，我们需要找到一个平衡点，使代理在高风险情境（如医疗保健或金融）中足够安全以值得信赖，同时又不至于毫无用处。

总结

这篇论文是构建数字员工的指南，这些员工聪明到足以完成复杂的工作，但又足够安全，不会烧毁办公室。它告诉我们，我们需要停止将人工智能视为魔法盒子，而是开始将其视为高风险工业机器，需要严格的安全协议、持续的监控，以及在出现问题时按下紧急制动器的“人在回路”。