技术摘要：三思而后行

问题陈述

外部工具的集成显著扩展了大型语言模型（LLM）智能体的能力，但也引入了超越传统提示词注入（prompt injection）的新攻击面。本文识别并形式化了跨工具描述中毒（cross-tool description poisoning），这是一种复杂的攻击向量，攻击者通过操纵非关键或监管较弱的工具元数据（描述），来引导智能体的规划轨迹。

不同于以往旨在诱导智能体选择特定中毒工具的“工具偏好（tool-preference）”攻击，跨工具描述中毒允许攻击者诱导涉及其他工具的恶意行为——即使中毒工具本身从未被选中。例如，中毒一个良性的“账户备份（Account Backup）”工具的描述，可以导致规划器在执行合法的“银行转账（Bank Transfer）”任务时，在轨迹中插入一个恶意的“电子邮件发送器（Email Sender）”步骤（例如，将账户详情发送给攻击者）。其核心挑战在于，中毒的描述会在多个步骤中持续存在于规划上下文中，从而实现对后续工具选择的持续影响。

现有的防御措施，如静态工具过滤、重复提示或系统级约束（如 Drift、Progent），被发现无法有效应对这一特定威胁。这些方法要么未能考虑任务上下文，要么依赖于（通过 API 无法获取的）内部模型状态，或者无法区分良性工具的使用与受中毒元数据影响的使用。

方法论：Tool-Guard

为了解决这些局限性，作者提出了 Tool-Guard，一种基于**隔离规划（isolated planning）**概念的新型系统级防御机制。其核心理念是将隔离的安全原则应用于智能体规划，在不永久禁用工具的情况下，切断中毒描述与受影响目标之间的联系。

核心机制

Tool-Guard 通过一个涉及三个主要阶段的动态迭代循环运行：

1. 动态工具集划分 (Dynamic Tool Set Partitioning)：
   系统维护一个可用工具集 $K$ 的动态划分，将其分为两个不相交的列表：

   • 受影响列表 ($K_{inf}$)：包含疑似受中毒描述影响的工具（初始为空）。
   • 其他列表 ($K_{others}$)：包含剩余的工具。
     工具并不被假定为恶意；相反，如果某个工具的调用表现出与用户意图不符或缺乏上下文依据，它会被移至 $K_{inf}$。

2. 隔离规划 (Isolated Planning)：
   Tool-Guard 不会使用全量工具集向规划器发起查询，而是通过严格的隔离进行两次查询：

   • 一次仅包含 $K_{inf}$ 中的描述。
   • 一次仅包含 $K_{others}$ 中的描述。
     这防止了其中一个子集中的中毒描述引导另一个子集中工具的选择或参数化。系统随后从两个生成的计划中选择一个候选动作；如果两个子集都产生了有效动作，则应用平局决胜规则；如果两者均未产生，则终止轨迹。

3. 执行前验证与列表更新 (Pre-Execution Validation and List Update)：
   在执行选定的工具调用之前，Tool-Guard 使用基于 LLM 的验证器进行两项语义检查：

   • 一致性检查 (Alignment Check)：验证该动作是否与用户意图及已验证的进度保持一致。
   • 可疑性检查 (Suspicion Check)：验证参数是否基于用户请求或先前的工具输出，并标记缺乏明确来源的敏感实体（如收件地址）。

   如果验证失败，该工具将被移至受影响列表，并触发规划器在更新后的划分下进行重新规划（replan）。这一迭代过程逐步隔离有害的影响路径，同时保留合法工具的效用。

向 MCP 的扩展

该方法通过在服务器层面应用相同的隔离逻辑，将 MCP（Model Context Protocol）扩展到服务器端，通过将服务器划分为受影响组和非受影响组来防止跨服务器中毒。

核心贡献

1. 刻画了跨工具描述中毒： 本文证明了攻击者可以通过中毒非关键工具的描述，在安全关键型工具调用中注入恶意步骤，即使中毒工具从未被调用。研究表明，现有防御在面对这种持续影响时，攻击成功率（ASR）仍然很高。
2. Tool-Guard 防御方案： 作者提出了一种通过动态划分工具集并采用隔离规划的防御机制。通过在执行前验证动作并隔离疑似工具，该方案能够切断恶意的跨工具引导路径，同时保持工具的完整可用性。
3. 全面的评估： 在 AgentDojo 和 ASB (Agent Security Bench) 基准测试上的广泛实验表明，Tool-Guard 在保持高任务效用的同时，将 ASR 降低到了微不足道的水平。论文还量化了其效率以及针对自适应攻击的鲁棒性。

实验结果

作者在多个 LLM（GPT-4o, GPT-4o-mini, Gemini-2.5, Claude-3.5）上，针对两个基准测试，对 Tool-Guard 与五种现有防御机制（System Prompt, Tool Filtering, Repeat Prompt, Drift, Progent）进行了评估。

• 攻击成功率 (ASR)： Tool-Guard 将 ASR 降低到了极低水平（例如，在 AgentDojo 上从 ~43% 降至 ~2% 或 0%，在 ASB 上对大多数模型从 ~72-96% 降至 0%）。相比之下，现有防御往往无法显著降低 ASR（例如，Drift 和 Progent 在 AgentDojo 上的 ASR 分别为 24.7% 和 19.6%）。
• 效用保留 (Utility Preservation)： Tool-Guard 在良性和攻击条件下均保持了高任务效用。不同于那些不加区别地拦截工具的“过度杀伤（over-kill）”型防御，Tool-Guard 保留了完成任务的能力，其效用得分在攻击环境下与基准线相当甚至更高。
• 效率：
  • Token 开销：与无防御基准线相比，Tool-Guard 仅增加了约 1.5 倍的 Token 使用量，显著低于 Drift 或 Progent 等系统级防御。
  • 延迟：该方法引入了约 3.7 倍的运行时开销（高于 Progent 的 1.2 倍，但低于 Drift 的 7.3 倍），这归因于其重新规划机制。
• 鲁棒性：
  • 稳定性：该防御在多次运行中保持稳定，标准差较低。
  • 自适应攻击：Tool-Guard 对语义自适应攻击（试图通过伪造理由来规避检查）和基于优化的攻击（PAIR, TAP）保持了鲁棒性。虽然优化类攻击略微提升了 ASR，但仍处于极低水平（例如，在 PAIR 下为 2.06%），这凸显了攻击者面临的内在权衡：既要足够明确以影响规划，又要足够隐晦以规避验证。
  • 压力测试：即使关键的高频工具被中毒，Tool-Guard 仍将 ASR 控制在个位数水平。

意义与主张

本文声称，工具描述是 LLM 智能体中一个关键且此前未被充分探索的攻击面。这项工作的意义在于：

1. 识别了一种新的威胁向量： 形式化了跨工具描述中毒，这种攻击通过利用规划上下文中持久存在的工具元数据，绕过了传统的防御手段。
2. 论证了现有防御的局限性： 展示了当前的先进防御在面对持续的跨工具影响时是不够的。
3. 提出了一种系统级解决方案： 引入了 Tool-Guard，它通过隔离影响而非仅仅依赖执行时的保障或静态扫描，有效地缓解了此类攻击。
4. 平衡了安全性与效用： 证明了有效的防御并不需要牺牲智能体的效用；Tool-Guard 在实现强健安全性的同时，实现了极低的 Token 开销，且没有出现“过度杀伤”的行为。

作者总结道，针对工具增强型 LLM 智能体的有效防御必须通过诸如隔离规划之类的机制来明确应对跨工具影响，而不能仅仅依赖于提示词注入防御或静态工具过滤。