Malicious Or Not: Adding Repository Context to Agent Skill Classification

该论文通过对三大平台及 GitHub 上的 23.8 万个技能进行大规模实证分析,并引入仓库上下文验证描述一致性,将此前被误判为恶意的比例从 46.8% 大幅修正至 0.52%,同时揭示了利用废弃仓库劫持技能等新型攻击向量。

Florian Holzbauer, David Schmidt, Gabriel Gegenhuber, Sebastian Schrittwieser, Johanna Ullrich

发布于 2026-03-18
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是一次对AI 智能体“技能商店”的大体检

想象一下,现在的 AI(比如 Claude Code 或 OpenClaw)就像是一个超级管家。它很聪明,能帮你写代码、查资料,但它有个小缺点:它只能做它“天生”会做的事。为了让它更全能,开发者们给它开发了很多“外挂技能”(Skills),比如“帮我查股票”、“帮我发邮件”或者“帮我运行一段代码”。

这些技能就像手机应用商店里的 App,大家可以在网上下载并安装给 AI 用。

1. 之前的恐慌:全是病毒?

以前,一些安全专家(就像应用商店的审核员)发现,这些技能里有很多“坏东西”。

  • 有的审核员说:46.8% 的技能是恶意的(像病毒)。
  • 有的说:23% 是坏的。
  • 有的说:6% 是坏的。

这听起来太可怕了!仿佛你每下载 10 个技能,就有 4 个会偷你的密码或删掉你的文件。大家开始不敢用这些技能了,觉得这个生态系统充满了危险。

2. 作者的大发现:虚惊一场!

这篇论文的作者(一群安全研究员)觉得:“等等,这比例是不是太高了?是不是审核员太紧张了?”

于是,他们搞了一个超级大普查

  • 他们收集了 238,180 个技能(这是目前最大的数据库)。
  • 他们不仅看技能本身,还像侦探一样,去看了技能背后的整个“家”(也就是它所在的 GitHub 代码仓库)。

结果让他们大跌眼镜:
如果把那些“坏技能”放回它们原本的“家”里看,真正坏的技能只有 0.52%
也就是说,之前被标记为“恶意”的技能里,99.5% 其实是好人,只是被误伤了。

3. 为什么之前会误判?(核心比喻)

这就好比你在街上看到一个穿着奇怪衣服的人(技能描述),审核员觉得:“这人穿得怪,肯定是小偷!”于是把他抓起来了。

但作者的方法是:不仅看人,还要看他住在哪里,邻居是谁。

  • 旧方法(只看技能): 看到技能里有一段代码能“连接网络”,就判定为“偷数据”。
  • 新方法(看上下文): 作者发现,这个技能虽然能连网,但它住在一个非常正规、有很多明星开发者(Stars)、写了详细说明书(README)的大项目里。这个技能其实是用来“帮用户查天气”的,连网是必须的。

结论: 很多技能之所以看起来“可疑”,是因为它们被孤立地拿出来看。一旦把它们放回原本的代码仓库这个“大社区”里,你会发现它们和周围的代码、文档完美契合,根本不像坏人。

4. 真正的危险:被“抢注”的旧房子

虽然大部分是误判,但作者也发现了真正的漏洞,这比误判更可怕。

想象一下,有一个技能商店,它不自己存技能,而是指路说:“去 GitHub 上的那个仓库找技能”。

  • 如果那个仓库的主人把账号改名了,或者放弃了这个仓库。
  • 坏人立刻注册了那个旧名字,建了一个一模一样的“假仓库”。
  • 这时候,技能商店还在指路:“去那个旧名字找技能”,结果用户就被引到了坏人的假仓库里。

作者发现,有 121 个技能 就面临着这种风险。它们原本住在合法的仓库里,但因为仓库被“劫持”了,现在变成了坏人的工具。这就像你的快递地址被坏人改成了他的家,快递就送到他手里了。

5. 总结:我们要怎么做?

这篇论文告诉我们三件事:

  1. 别自己吓自己: 现在的 AI 技能生态并没有那么危险。之前的“恶意”比例太高了,主要是因为审核太严格,把很多正常的功能当成了病毒。
  2. 看“全家福”: 判断一个技能好不好,不能只看它自己说了什么(技能描述),要看它住在哪里(代码仓库)。如果它住在一个正规、活跃、有详细文档的大项目里,那它大概率是安全的。
  3. 小心“地址劫持”: 真正的风险在于,如果技能商店只是指路去外部仓库,而仓库被坏人抢注了,那用户就会中招。所以,未来的技能商店应该自己托管技能,或者有更严格的地址验证机制。

一句话总结:
以前的审核员像是一个疑神疑鬼的保安,看到谁穿得怪就抓谁,导致 99% 的好人被冤枉。现在的作者建议保安去看看这个人的邻居和家,结果发现大部分人都很清白。不过,我们要小心那些被坏人偷换门牌号的旧房子,那里才是真正藏贼的地方。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →