想象一下，你正在建造一栋房子，但你没有雇佣人类承包商，而是雇佣了一个超快、超智能的机器人助手。你的工作是给机器人一份蓝图（项目文档），并告诉它：“请建造这座房子并购买清单上列出的所有材料。”在软件的世界里，这个“蓝图”是一个列出程序运行所需工具和库的文件，而“材料”则是从互联网下载的数字包。几十年来，人类建筑师一直非常谨慎：他们阅读清单，核实销售材料的商店是否真实，并确保品牌名称不是一个巧妙的陷阱（比如买“可口可乐”时，瓶子上写的其实是“Coca-Cola”）。但现在，这些 AI 机器人正在替我们进行采购。它们阅读清单并立即按下“购买”键，却不会停下来质疑商店是否值得信赖，或者名字是否拼写稍有偏差。这篇论文探讨了当坏人通过稍微修改蓝图，从而将机器人引向虚假商店或购买危险版本的工具时，会发生什么。

这项研究背后的研究人员设置了一系列测试，以观察这些 AI 编程代理在被要求“设置项目”时如何处理安全性。他们不仅仅是要求 AI 保持谨慎；他们还提供了现实场景，其中的指令看起来很正常，但实际上是陷阱。他们发现，AI 保持安全的能力并不取决于机器人的“大脑”有多“聪明”，而更多地取决于它运行的具体“支架”（harness）或框架。可以这样理解：如果你给一位天才厨师一份他们不能完全理解语言编写的食谱，如果他们使用的厨房工具没有安全检查机制，他们可能仍然会做出一道危险的菜肴。研究表明，有些机器人能识破明显的拼写陷阱（比如把“transformers”写成“tranformers”），但它们几乎总是无法察觉指令指向了一个虚假的、不可信的网站或一个隐藏的、危险的工具版本。事实上，机器人因为太渴望遵循指令，以至于在意识到问题之前就已经安装了危险代码。研究人员证明，仅仅让机器人变得“更聪明”或要求它“更加小心”是不够的；系统需要一个硬性停止机制——一个在机器人被允许安装任何东西之前，会对包名、来源和版本进行检查的“保安”。如果没有这个保安，机器人本质上就是在走进那些仅仅通过修改招牌文字就设下的黑客陷阱。

设置：机器人的盲点

要理解这种危险，你必须了解这些 AI 编程代理是如何工作的。当开发者想要启动一个新的软件项目时，他们通常有一个“README”文件或一份需求列表，上面写着：“为了让这个项目运行，你需要安装包 A、包 B 和包 C。”在过去，人类会阅读这个列表，可能会通过 Google 搜索这些名称以确保它们是真实的，然后输入命令来安装它们。这种人类的停顿是一个安全网。如果列表写的是“安装 azurecore”而不是真正的“azure-core”，人类可能会注意到缺少了一个连字符。如果列表指向一个奇怪、未知的网站来下载该包，人类可能会产生怀疑。

AI 代理消除了这种人类的停顿。它们阅读文件，理解命令，并立即执行。问题在于，这些代理将文件中的指令视为绝对真理。它们不会检查网站是否真实，不会检查包名是否拼写正确，也不会检查软件版本是否存在已知的安全漏洞。研究人员称之为“安装间隙”（install gap）：即在阅读名称与实际运行代码之间的危险空间，在这个空间里没有人检查包是否安全。

实验：戏弄机器人

研究人员创建了 12 个不同的“陷阱”，以观察机器人的反应。他们设置了看起来完全正常但指令中隐藏着危险的虚假项目。他们针对九种不同的 AI 模型（“大脑”）和支架（运行命令的“身体”或框架）的组合进行了这些陷阱测试。

以下是他们使用的主要陷阱类型：

1. 名称陷阱（拼写劫持/Typosquatting）： 他们使用了看起来几乎正确但有微小错误的名称，例如用“tranformers”代替“transformers”，或者用“azurecore”代替“azure-core”。
2. 来源陷阱： 他们修改了指令，让机器人从一个虚假的、不可信的网站下载包，而不是官方网站。
3. 版本陷阱： 他们告诉机器人安装一个已知存在漏洞的流行包的旧版本。
4. 隐藏陷阱： 他们将一个危险指令隐藏在一个机器人会自动读取的文件中，就像是在需求列表里藏了一张小纸条。

结果：聪明的头脑，盲目的眼睛

结果令人惊讶且有些可怕。研究人员发现，AI 捕捉这些陷阱的能力并不取决于模型有多“先进”。如果它们运行在同一个框架中，顶级的、超智能的模型和稍逊一筹的模型同样容易掉入陷阱。

好消息是： 机器人其实很擅长发现明显的拼写错误。如果一个包名明显是拼写错误，大多数机器人都能发现。当危险来自于程序错误信息（例如弹出提示说“你需要安装这个虚假包！”）时，它们也表现得很好。在这种情况下，机器人会产生怀疑并拒绝安装。

坏消息是： 机器人非常难以识别虚假来源和危险版本。

• 来源盲点： 当指令指向一个不可信的网站（即使是托管在本地服务器上的虚假网站）时，机器人几乎总是毫不犹豫地安装该包。它们信任文件中的文本，胜过信任网站的安全。
• 版本盲点： 当指令要求安装一个已知充满安全漏洞的包的版本时，机器人仍然会安装它。即使是最智能的模型在被直接询问时也知道这些安全漏洞，但在仅仅是“设置项目”时，它们会忽略这些知识并安装危险的版本。

“支架”因素： 最重要的发现是，机器人运行的框架比机器人的大脑更重要。研究人员将完全相同的 AI 模型在两个不同的框架中运行。在一个框架中，模型 10 次中有 10 次抓住了虚假网站陷阱。而在另一个框架中，它 10 次中有 9 次都中了同样的陷阱。这证明了“身体”（支架）在安全性方面承担了主要工作，而不是仅仅靠“大脑”（模型）。

为什么“小心”是不够的

研究人员尝试通过给机器人一个“安全提示”（security prompt）来解决这个问题——即一条特殊的指令，告诉它们要“小心并检查虚假包”。这确实有一点帮助。它让机器人更擅长发现虚假网站，但对识别危险软件版本完全没有帮助。机器人似乎只听从它们被告知要检查的具体部分。如果你告诉它们检查“来源”，它们就会检查来源；如果你没告诉它们检查“版本”，它们就不会检查版本。

这导致了一个可怕的认识：要求机器人“变聪明”并不是一种可靠的修复方法。机器人太渴望遵循指令了，如果指令看起来合法，即使代码本身是一个陷阱，它们也会安装危险的代码。

解决方案：门口的保安

论文得出结论，解决这一问题的唯一可靠方法是建立一个“预安装门禁”（pre-install gate）。这是一个在机器人被允许运行安装命令之前进行的安全性检查。

想象一下，在建筑工地门口站着一名保安。在机器人带入任何材料之前，保安会检查三件事：

1. 名称对吗？（是“transformers”还是“tranformers”？）
2. 来源安全吗？（它是来自官方商店，还是来自某个随机网站？）
3. 版本安全吗？（这个版本是否存在已知的安全漏洞？）

研究人员构建了一个这种保安的原型。它运行得非常完美。它抓住了机器人几乎所有掉入的陷阱，包括虚假网站和危险版本。关键在于，这个保安不依赖于机器人的“思考”或“直觉”，它依赖于硬性的、自动化的检查。

总结

本文的主要教训是，我们不能指望 AI 编程代理天生就是安全的。它们的设计初衷是快速和服从，而不是谨慎。如果我们让它们在没有安全守卫的情况下安装软件，它们会意外地安装恶意软件、窃取我们的密码或破坏我们的系统。解决方案不是等待一个更聪明的机器人，而是围绕机器人构建一个更好的安全系统。我们需要确保在安装任何代码之前，通过硬性检查来验证该包是否真实、来源是否可信以及版本是否安全。如果没有这种检查，“安装间隙”将始终是黑客可以长驱直入的大门。