The Perils of Agency: How Developers Perceive, Prioritize, and Address Risks in Agentic AI Products
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一名技术精湛、速度极快的实习生来帮助你经营生意。这个实习生不仅仅是一个被动的劳动力；他们是一个智能体 AI（Agentic AI）。他们可以自主做出决策，使用你的工具（比如你的电子邮件、你的数据库或你的日历），并且能够在不需要你手把手指导的情况下，设法解决复杂的难题。
这听起来很棒，对吧？但你正在询问的这篇名为《代理性的危险》（The Perils of Agency）的论文，本质上是来自一群试图雇佣并管理这些“超级实习生”的 35 位建设者（开发者）的报告。他们发现，虽然这些智能体功能强大，但他们也像脱缰的野狗：那些让它们变得好用的特质（跑得快、追逐松鼠、开门）同时也正是让它们变得危险的特质。
以下是该论文内容的简单拆解，使用了日常类比。
1. 建设者看到了哪些风险？（“盲点”）
建设者非常擅长发现那些发生在办公室里、近在眼前的风险。
- “办公室”风险： 他们担心实习生删错了文件、陷入死循环，或者不小心把机密邮件发给了错误的人。这就像狗撞翻了垃圾桶或咬坏了一只鞋子。
- “世界级”风险（盲点）： 然而，他们并不怎么担心宏大的、长期的后果。他们并没有花太多时间去担心实习生最终是否会取代所有人的工作，或者是否会在大规模范围内侵犯人们的隐私。
- 类比： 这就像一位家长担心孩子今天可能会打破一个花瓶，但并不担心这个孩子在十年后可能会成为一名鲁莽的司机。眼前的混乱比遥远的未来更容易被察觉。
2. 他们如何决定修复什么？（“商业过滤器”）
当建设者面对一份包含 100 个潜在问题的清单时，他们如何决定先修复哪些问题？他们使用了一个**“商业成功过滤器”**。
- 高优先级： 他们会修复那些可能导致产品变慢、崩溃或让客户愤怒的问题。如果实习生动作太慢，业务就会亏钱；如果实习生对客户撒谎，业务就会失去信任。
- 低优先级： 他们通常会忽略那些修复成本高昂，或者目前看起来不会损害业务的风险。
- 类比： 想象你正在驾驶一辆赛车。你会立即修理一个爆胎，因为它会停止比赛。你可能会忽略汽车正在污染空气或驾驶员感到压力巨大的事实，因为这些因素并不会阻碍赛车在今天赢得比赛。建设者优先考虑的是“赢得比赛”（商业目标），而不是“保护环境”（社会风险）。
3. 他们如何尝试控制风险？（“走钢丝”）
这是论文中最有趣的部分。建设者面临着一个巨大的困境。为了阻止“超级实习生”做出坏事，他们必须夺走那些最初让实习生成为“超级实习生”的特质。
- 这种张力在于：
- 为了防止实习生删除文件，你必须锁上门（限制自主性）。
- 为了防止实习生使用错误的工具，你必须收走钥匙（限制工具使用）。
- 为了防止实习生做出奇怪的决定，你必须给他们一套严格的剧本（限制适应性）。
- 结果： 每当你增加一道安全护栏，智能体就会变得稍微没那么具有“代理性”（变得没那么聪明、没那么有用、没那么灵活）。
- 类比： 这就像试图教一只鸟安全飞行。如果你在鸟周围放一个沉重的笼子以防止它撞到窗户，它就完全无法飞行了。如果你让它自由飞行，它可能会坠毁。建设者被困在试图建造一个既足够坚固以保证鸟的安全，又足够开放以让鸟能够飞翔的笼子之中。
4. 为什么这很难？（“工具箱问题”）
建设者觉得他们感觉自己是在用曲棍球棒和胶带去修理一架损坏的飞机。
- 缺乏好的工具： 目前还没有成熟、可靠的工具来测试这些智能体是否安全。在为时已晚之前，很难知道你的安全措施是否真的奏效。
- “陪审团”问题： 有时，安全措施本身也是由 AI 构成的。所以，如果你使用一个 AI 来检查另一个 AI 是否在撒谎，而那个检查者 AI 本身也有一点点糊涂，那么你并没有真正解决问题。
- 类比： 这就像试图用木头来建造一栋防火的房子。你不断地添加更多的木头（安全控制）来阻止火灾，但木头本身却是易燃的。
核心总结
论文得出结论，在构建这些 AI 智能体时存在着一种根本性的冲突。
- 目标： 我们希望 AI 是聪明的、独立的，并且能够完成复杂的任务（具有代理性）。
- 问题： 它越独立、越聪明，它就可能越危险。
- 现实： 要让它安全，我们必须让它变得不再那么独立，也不再那么聪明。
建设者目前正处于中间地带。他们试图管理那些源于 AI 超能力的风险，但他们既没有合适的工具，也没有合适的公司规则，能在不把他们的“超级实习生”变成一个普通的、乏味的机器人之前做到这一点。他们本质上是在试图驯服一匹没有马鞍、没有缰绳、也没有地图的野马。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。