💬 NLP

Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models

该论文提出了一种名为“函数劫持攻击”（FHA）的新型威胁，通过操纵智能体模型的工具有选择过程强制调用攻击者指定的函数，实验证明该攻击具有跨语义、跨模型的高成功率，揭示了当前代理系统亟需加强安全防御。

原作者： Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yannis Belkhiter, Giulio Zizzo, Sergio Maffeis, Seshu Tirupathi, John D. Kelleher

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文揭示了一个关于人工智能（AI）的新危险：黑客可以“劫持”AI 的工具箱，让它执行你完全没想让它做的事。

为了让你更容易理解，我们可以把这篇论文的内容想象成一场发生在**“超级智能管家”身上的“恶作剧”**。

1. 背景：AI 管家的新能力

现在的 AI（比如大语言模型）越来越聪明，它们不仅能聊天，还能像人类一样使用工具。这叫做**“函数调用”（Function Calling）**。

比喻：想象你有一个超级管家（AI）。你告诉它：“帮我查一下明天的天气。”管家就会去调用“天气查询”这个工具。如果你说：“帮我订一张去北京的机票。”它就会调用“订票”工具。
现状：为了让管家更灵活，开发者给它准备了一个**“工具菜单”**（比如：查天气、订机票、发邮件、删文件等）。管家会根据你的话，从菜单里选一个最合适的工具。

2. 新威胁：功能劫持（Function Hijacking）

这篇论文发现，黑客不需要骗过管家的“大脑”（让它说脏话或做坏事），而是可以篡改“工具菜单”上的描述，让管家在选工具时“鬼迷心窍”。

攻击原理：
黑客潜入管家的工具菜单，偷偷在某个工具（比如“删除文件”）的描述文字里，塞进了一些看不见的、乱码一样的“魔法咒语”（对抗性 token）。
比喻：
想象你在餐厅点菜。菜单上写着：
- 正常菜：【红烧肉】—— 描述：美味的猪肉。
- 被篡改的菜：【删除数据库】—— 描述：美味的猪肉 xBr:- x x $ x（这里塞入了一堆乱码）。
当你告诉管家：“我想吃红烧肉”时，管家原本应该选“红烧肉”。但因为那个“删除数据库”的描述里藏着特殊的“魔法咒语”，管家的算法被迷惑了，它觉得：“哦！这个带乱码的描述看起来最符合‘红烧肉’的指令！”于是，它没有选红烧肉，而是强行去执行了“删除数据库”这个危险操作。

3. 这个攻击有多厉害？（论文的核心发现）

A. 不管你说什么，它都管用（通用性）

以前的攻击需要针对特定的话术（比如特定的提问方式）。但这个新攻击（FHA）就像是一个万能钥匙。

比喻：不管你是让管家“查天气”、“订机票”还是“写代码”，只要那个被篡改的工具还在菜单里，管家就会中招。它不关心你具体想干什么，只关心那个被“下毒”的工具描述。

B. 一个咒语，搞定所有（通用攻击）

研究者发现，他们只需要训练一次，就能生成一个“超级咒语”。

比喻：黑客只需要在“删除文件”这个工具的说明里加一次乱码，这个乱码就能让管家在面对“查天气”、“发邮件”、“甚至写诗”等各种指令时，都错误地选择去“删除文件”。

C. 即使菜单变了，它依然有效（鲁棒性）

即使开发者后来在菜单里加了新菜、删了旧菜，或者把菜的位置换了，这个攻击依然有效。

比喻：就像你给管家换了个新菜单，或者把“删除文件”从第一页挪到了最后一页，那个“魔法咒语”依然能让管家在茫茫菜单中一眼（或者说一算）就锁定它。

4. 实验结果：非常可怕

研究人员在 5 种不同的 AI 模型上进行了测试（包括一些很聪明的推理模型）：

成功率：在 70% 到 100% 的情况下，攻击都成功了。
后果：AI 不仅会选错工具，而且选错的工具还能完美执行（比如真的把文件删了，而不是只报错）。这意味着攻击者可以真正破坏系统，而不仅仅是让 AI 说胡话。

5. 为什么这很重要？

以前的担忧：大家主要担心 AI 会被骗去说脏话、生成暴力内容（就像骗管家去骂人）。
现在的担忧：这个攻击让 AI 变成了**“盲从的破坏者”**。它没有说脏话，它只是“忠实地”执行了被篡改的工具指令。
现实影响：如果这种攻击发生在银行、医疗或自动驾驶系统中，后果不堪设想。比如，黑客篡改了“转账”工具的描述，导致用户说“查余额”时，AI 却偷偷执行了“转账”操作。

总结

这篇论文告诉我们：AI 的工具箱（Function Calling）非常脆弱。

就像在餐厅菜单的某道菜描述里藏了一行乱码，就能让所有顾客都点错菜一样，黑客可以通过在工具描述里植入微小的“魔法”，让 AI 彻底失控，执行攻击者想要的任何操作。

未来的建议：
我们不能只靠“教育”AI 不要说脏话了。我们需要给 AI 装上更坚固的**“安检门”**（Guardrails），在 AI 决定使用工具之前，必须严格检查工具的描述是否被篡改，确保它选的工具真的是用户想要的，而不是被黑客“下毒”后的。

这篇论文《Breaking MCP with Function Hijacking Attacks: Novel Threats for Function Calling and Agentic Models》（通过函数劫持攻击破坏 MCP：函数调用与代理模型的新威胁）由 IBM Research Europe、都柏林三一学院和伦敦帝国理工学院的研究人员共同撰写。文章揭示了大型语言模型（LLM）在代理（Agentic）系统中通过函数调用（Function Calling, FC）接口面临的新型安全威胁。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：随着代理型 AI（Agentic AI）的发展，LLM 被设计为通过调用外部函数来扩展能力。模型上下文协议（MCP）已成为标准化 LLM 代理与工具通信的流行框架。
现有威胁：之前的研究主要集中在提示注入（Prompt Injection）和越狱（Jailbreaking），即诱导模型生成有害内容。
核心问题：现有的攻击往往忽略了控制函数调用过程本身的挑战。虽然已有工作指出函数调用可能被滥用，但缺乏一种能够稳健且系统地干扰函数选择过程的方法。攻击者能否在不改变用户提示（User Prompt）的情况下，通过操纵工具描述来强制模型调用攻击者指定的错误函数？

2. 方法论 (Methodology)

论文提出了一种名为**函数劫持攻击（Function Hijacking Attack, FHA）**的新方法。

攻击目标：迫使模型选择攻击者指定的目标函数（ $f_{target}$ ），而不是根据用户意图应该调用的真实函数（ $f_{ground\_truth}$ ）。
威胁模型：
- 攻击者无法控制用户提示（User Prompt）。
- 攻击者可以控制可用函数列表中的目标函数的描述文本（Description）。
- 攻击是离线进行的（Off-line），即预先在函数描述中植入对抗性扰动。
技术实现：
- 基于**GCG（Gradient-based Causal Generation）**算法（一种针对 LLM 的越狱攻击算法）进行适配。
- 优化策略：将对抗性扰动（Adversarial Suffix, $\hat{x}_I$ ）插入到目标函数的描述中。
- 损失函数：最小化模型生成目标函数名称（ $f_{name}^{target}$ ）的交叉熵损失。
- 自回归假设：利用 LLM 的自回归特性，只要模型生成了正确的函数名称，它通常会继续生成正确的参数，从而完成整个函数调用。
- 通用性扩展：提出了“通用 FHA"，通过在一个批次的多个查询（Queries）或多种负载（Payloads，如不同数量的函数、不同位置）上累积损失，训练出一个单一的对抗字符串，使其能跨不同场景生效。

3. 关键贡献 (Key Contributions)

提出 FHA 攻击：首次展示了通过操纵函数描述即可劫持代理模型的函数选择过程，且该攻击对上下文语义不敏感（Context-agnostic）。
通用性与鲁棒性：
- 证明了 FHA 可以训练出通用对抗函数，即一个被污染的函数描述可以劫持多个不同的用户查询。
- 攻击对负载扰动（如添加/删除其他工具、改变工具顺序）具有鲁棒性。
广泛的实验验证：在 5 种不同的模型（包括指令模型 Llama-3.2-3B, Mistral-7B 和推理模型 Qwen-3 系列）上进行了测试，涵盖了标准的 BFCL 数据集以及真实的 MCP 服务器（GitHub, Slack）。
基准对比：将 FHA 与现有的“函数注入攻击”（Function Injection）和"MCP 偏好操纵攻击”（MPMA）进行了对比，证明了 FHA 在多样化和复杂场景下的优越性。

4. 实验结果 (Results)

攻击成功率 (ASR)：
- 在 BFCL 数据集上，FHA 在 5 个模型上的攻击成功率（ASR）介于 70% 到 100% 之间。
- 对于推理模型（如 Qwen-3），FHA 甚至能成功抑制模型的“思考”过程（Thinking Mode），直接输出函数调用。
对比基线：
- MPMA（偏好操纵攻击）：在复杂、语义多样的场景下表现极差（ASR < 10%），因为它依赖于文本偏好，难以在功能差异巨大的工具间生效。
- 函数注入：虽然有一定效果，但依赖于生成新的函数，且受限于提示的语义匹配，不如 FHA 通用。
- FHA：在函数名称匹配（Function Name ASR）和参数填充（Slot Filling ASR）上均表现优异，表明劫持后的调用在结构上是合法的，可直接在真实环境中执行。
鲁棒性分析：
- 对抗后缀长度：在函数调用任务中，需要更长的对抗后缀（约 60 tokens）才能达到高成功率，因为上下文通常比纯文本任务更长。
- 负载扰动：即使向负载中添加额外的“噪声”函数（最多 25 个），经过通用训练的 FHA 仍能保持 >85% 的成功率。
- 位置影响：目标函数在列表中的位置靠前时，攻击效率更高。

5. 意义与影响 (Significance)

安全警示：揭示了代理系统（Agentic Systems）中一个被忽视的严重漏洞。攻击者无需获取用户输入权限，只需篡改工具描述（这在 MCP 架构中是公开可见的），即可控制 AI 的行为。
实际危害：这种攻击可能导致数据篡改、删除（如示例中的删除 Git 仓库）、无限循环或执行未授权操作，且由于生成的函数调用参数正确，很难被传统的基于规则的过滤器拦截。
防御建议：论文强调，现有的基于提示的防御措施不足以应对此类攻击。需要开发针对函数调用过程的强护栏（Guardrails）和安全模块，例如在模型输出前对函数选择逻辑进行验证，或限制对函数描述的修改权限。
未来方向：指出了在更大规模模型、更多工具数量场景下的研究空白，以及需要进一步研究对抗扰动如何影响模型的注意力机制。

总结：这篇论文通过引入 FHA，证明了当前的 LLM 代理系统在函数调用机制上存在根本性的脆弱性。攻击者可以通过简单的文本扰动实现高精度的工具劫持，这对构建安全的 AI 代理系统提出了严峻挑战。