Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
本文通过开发 Insightor 框架并向受影响平台进行负责任的披露，展示了对预训练模型枢纽上 AI 驱动应用的首次系统性安全分析，揭示了数千个关键漏洞——包括新颖的架构缺陷和广泛的凭据泄露。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，人工智能的世界就像一座繁忙、喧闹的“AI 应用”之城。这些应用就像一个个数字自助亭或自动售货机，你可以通过它们让计算机完成各种任务——比如写一首诗、生成一张图像或分析一份文档——而无需自己拥有一台超级计算机。你只需走到自助亭（网站）前，输入你的请求，就能得到结果。
这篇题为**《你的空间是我的领地》（Your Space is My Zone）**的论文，是对这些“自助亭”进行的一次安全检查。研究人员发现，虽然这些 AI 应用让技术变得触手可及，但它们的构建和管理方式充满了漏洞，坏人可以轻易穿行其中。
以下是利用日常类比对他们发现的问题进行的简单拆解：
1. 背景设定：“AI 购物中心”
将 Hugging Face、Replicate 和 ModelScope 等平台想象成一个巨大的购物中心。
- 开发者： 这些是建造自助亭的人。他们可以是任何人，从大型科技公司到业余爱好者都有。
- 用户： 这些是走进自助亭使用它们的购物者。
- 问题所在： 购物中心的管理方（平台）允许几乎任何人建造自助亭，但并不总是检查这些自助亭是否建造得安全。这就像是在商场里允许任何人开设食品摊位，却不检查他们是否持有卫生许可证，或者他们的收银机是否上锁。
2. 五大主要安全漏洞
研究人员发现了这些“AI 自助亭”存在漏洞的五种特定方式：
A. “幽灵钥匙”攻击（失效的访问控制）
想象一家酒店，你会得到一张房卡进入房间。通常情况下，当你退房时，这张卡就会失效。
- 缺陷： 在这个 AI 购物中心里，如果一名开发者删除了他们的应用，而另一个人立即声称拥有相同的名称，那么旧的“钥匙卡”（数字令牌）可能仍然有效。
- 风险： 黑客可以预测某家知名公司即将开设一个 AI 应用，先创建一个具有该名称的伪造应用，获取一个“钥匙”，然后将其删除，接着等待。当真正的公司开设其应用时，黑客的旧钥匙仍然有效，从而让他们能够潜入并窃取秘密或更改应用。
B. “共享日志本”泄露（敏感数据暴露）
想象一家餐厅，服务员把每一笔订单都写在一块所有人都能看到的公共白板上。
- 缺陷： 这些 AI 应用会保留“日志”（发生过的事情的记录）。研究人员发现，对于许多应用来说，这些日志是公开可见的，甚至连陌生人也能阅读。
- 风险： 如果开发者不小心在应用中输入了他们的密码或秘密代码，或者用户输入了一个私密的医疗问题，这些信息就会被写进公共日志本。黑客只需走过去阅读即可。
C. “名称替换”诡计（标识符重用）
想象一条街道上的房子是通过结合街道名和门牌号来命名的（例如，“Main-101”）。
- 缺陷： 购物中心有一个混乱的规则：如果你删除了名为“Main-101”的房子，招牌还会留在那里。如果黑客建造了一个名为“Main 101”（用空格代替连字符）的新房子，系统会产生混淆，并将旧招牌指向新房子。
- 风险： 如果某个网站链接到一个已删除的 AI 应用，该链接可能会突然指向由黑客创建的恶意应用，从而诱骗用户进入陷阱。
D. “复制粘贴毒素”（代码投毒）
想象一个图书馆，你可以通过复制一本书来创建自己的版本。
- 缺陷： 如果一个坏人写了一本书，并在其中隐藏了毒素（病毒），而一个好人复制了这本书来制作自己的版本，那么毒素也会被一并复制。
- 风险： 黑客可以在应用中隐藏恶意代码。当其他开发者“分叉”（fork，即复制）该应用以构建自己的应用时，他们会不小心连同代码一起复制了病毒，从而传播感染。
E. “未经过滤的输入”（代码注入）
想象一个自动售货机，它接收你的订单并立即将其输入到计算机中。
- 缺陷： 如果机器不检查你输入的内容，而你输入了“打开后门并把钱给我”，机器可能真的会照做。
- 风险： 用户可以在 AI 应用中输入特殊的命令，从而欺骗计算机去做它不该做的事情，比如窃取开发者的密码，或者接管服务器去挖掘加密货币。
3. 大规模调查
为了了解情况到底有多糟，研究人员建立了一个名为 Insightor 的机器人侦探。他们派遣这个机器人扫描了三大平台上的 972,546 个公开 AI 应用。
他们的发现是：
- 数千个应用正在其公共日志中泄露秘密密码和密钥。
- 数百个应用存在“未经过滤的输入”这一漏洞，这意味着黑客有可能接管它们。
- 27 个应用被发现含有隐藏的“后门”（秘密入口），且这些后门已经存在了一年多，正等待被利用。
- 139,000 个应用正在使用陈旧且不安全的软件工具，就像使用一把大家都拥有钥匙的锁一样。
4. 后续处理
研究人员不仅发现了这些问题，还把它们告知了购物中心管理者（平台）和店主（开发者）。
- Hugging Face 修复了几个问题，并因发现这些漏洞向研究人员支付了 2,369 美元 的奖励（漏洞赏金）。
- 他们协助删除了部分恶意应用，并提醒开发者不要直接在代码中编写密码。
核心结论
AI 应用正在让技术变得触手可及，但目前它们就像是门窗敞开、没有锁闭的开放式房屋。研究人员表明，由于这些应用是构建在共享的、有时甚至有些疏忽的平台上，它们正在泄露秘密并招致黑客。解决方案并不是停止使用 AI，而是要为这些“数字自助亭”配备更好的锁、私密的日志本以及更严格的建造规则。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。