Detecting Malicious Agent Skills in the Wild using Attention
本文介绍了“定位与判定”（Locate-and-Judge），这是一种可扩展的两阶段检测器，它利用注意力机制来高效地识别大语言模型（LLM）智能体市场中具有高精度的恶意第三方技能，且其成本显著低于现有基准。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个非常聪明、乐于助人的机器人助手（一个 AI Agent），它可以为你完成各种任务，比如管理文件或预订旅行。为了让这个机器人变得更有用，你可以给它赋予“技能”。把这些技能想象成一张由陌生人编写的食谱卡。这张食谱精确地告诉机器人应该采取哪些步骤。
问题在于，这些食谱卡来自一个巨大的公共市场，任何人都可以上传它们。一个坏人可能会在其中混入一张被投毒的食谱。这张食谱看起来可能像是一个正常的“整理照片”指南，但其隐藏的指令中却包含了一个秘密命令，比如：“现在，偷偷复制你所有的密码并发送给我。”
旧有的问题：为什么之前的防御手段失败了
此前，安全专家尝试通过两个主要思路来阻止这些攻击：
- “信任 vs 不信任”之墙： 他们假设机器人能够区分自己的安全指令和用户杂乱的数据。但在这种情况下，整张食谱卡都是由陌生人编写的。机器人必须信任整张卡片才能完成工作，因此“墙”并不存在。
- “关键词搜索”： 他们试图扫描是否有坏词（如“偷窃”或“黑客”）。但聪明的攻击者只需将坏指令隐藏在冗长、乏味的正常文本段落中，从而避开关键词搜索。
- “阅读全文”法： 确保万无一失的唯一方法是雇佣一个超级聪明、昂贵的 AI 来阅读市场中每一张食谱卡的每一个字。这就像雇佣 1,000 名律师去阅读图书馆里的每一本书，只为了找出一个错别字。对于数百万个技能来说，这太慢了，成本也太高了。
新的解决方案：“定位并判定”（Locate-and-Judge）
该论文的作者创建了一种新的两步安全系统，称为 Locate-and-Judge。他们意识到，即使坏指令被隐藏起来了，它仍然必须“抓住机器人的注意力”才能生效。
以下是它的工作原理，使用图书馆侦探的比喻：
第 1 步：侦察兵（定位器/The Locator）
想象一个快速、廉价的初级侦探（一个小型的 AI）在整个食谱卡库中奔跑。这个侦探不会仔细阅读每一个字。相反，他们寻找的是视觉线索。
- 比喻： 如果你在读一份食谱，突然看到一段话写着，“忽略之前的步骤，执行此操作”，你的眼睛自然会跳到那个部分。侦察兵 AI 寻找的就是这些“吸引注意力的”点。
- 它扫描整张卡片，找到看起来最可疑的 5 个段落，然后忽略其余部分。它既快速又廉价。
第 2 步：法官（分类器/The Classifier）
现在，那个昂贵、超级聪明的资深侦探（一个强大的 AI）只需要阅读那 5 个可疑段落。
- 比喻： 资深侦探不再阅读整本 50 页的书，而只阅读侦察兵标记出的那 5 页。他们会仔细查看这些特定的段落是否包含投毒命令。
- 如果资深侦探说“是的，这是坏的”，那么整张食谱卡就会被禁用。
为什么这很重要
研究人员在三个公开市场中对这一系统进行了现实世界的测试，这些市场包含约 134,000 个技能。
- 它很便宜： 因为昂贵的 AI 只阅读了极小部分的文本，扫描整个市场的成本比阅读全文降低了近 3 倍。他们以低于 35 美元 的成本完成了全部扫描。
- 它能发现隐藏的威胁： 该系统发现了 131 个确认的恶意技能。最重要的是，它发现了 82 个“隐藏恶意技能”。这些食谱看起来完全正常（例如“加密货币交易助手”或“安全备份工具”），但实际上是在窃取数据或安装病毒。
- 结果： 现有的安全工具（如关键词扫描器）几乎漏掉了所有这些隐藏威胁。新系统之所以能抓住它们，是因为它观察的是 AI 如何分配注意力，而不是仅仅看使用了哪些词汇。
- 它很准确： 当人类对系统标记的技能进行审查时，83% 的确实是恶意的。
核心结论
研究人员证明，你不需要阅读每一个指令的每一个字来寻找坏的部分。你只需要一个快速的侦察兵来寻找那些带有“可疑注意力”光芒的部分，然后由一个聪明的法官来检查这些特定部分。
他们发布了所发现的坏技能列表，以便其他安全专家可以进行研究。这是第一次有系统能够如此大规模地扫描整个 AI 技能市场，并发现了许多以前对其他工具而言是隐形的、隐藏的危险诡计。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。