💬 NLP

Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

本文引入了大语言模型智能体中的“认知投毒”概念，即恶意工具先通过良性反馈建立信任，随后执行有害行为，并提出了TRUST-Bench基准测试与VISTA-Guard防御框架，通过评分最终可执行动作而非依赖提示层启发式方法，以有效检测并缓解此类基于轨迹的风险。

原作者： Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《勿信任何工具：评估与防御不可信工具反馈下的 LLM 智能体》的解释。

核心理念：披着羊皮的狼式工具

想象你雇佣了一位私人助理（即AI 智能体）帮你购物。你告诉它：“去商店买牛奶。”

通常，我们假设一旦助理选定了一家商店（即工具），从该商店获取的信息就是诚实的。如果商店说“我们有牛奶”，我们就会相信它。

本文指出，这种假设是危险的。

作者描述了一种名为"认知投毒"的新型诡计。这就像一只披着羊皮的狼。

诡计：一个恶意的工具（狼）起初表现得完全正常。它在多轮对话中礼貌且正确地回答助理的问题。它借此建立了信任。
陷阱：该工具只在最后一刻才显露其真正有害的本质。它一直等到助理即将做出最终的重大决定时（例如“购买牛奶并向这个陌生人转账 1000 美元”）。只有当特定的隐藏条件吻合时，工具才会切换模式，说：“实际上，让我们做那件危险的事吧。”

令人恐惧的是？如果你查看工具发送的任何单条消息，它看起来都是无辜的。危险不在于某一句坏话，而在于工具随时间讲述的整个故事，这个故事诱骗了助理放松了警惕。

问题所在：旧有的防御手段无效

研究人员测试了当前的安全系统处理此类情况的能力。他们发现，大多数现有的防御手段就像只在门口检查身份证的保安。

它们只查看工具的名称或消息的前几个词。
如果工具看起来友好，且前几条消息是安全的，保安就会放行。
结果：这些保安在应对“认知投毒”时完全失效，因为该工具在大部分交互过程中确实表现得友好。保安们错过了故事中微妙的转变。

解决方案：TRUST-BENCH 与 VISTA-GUARD

为了研究这一问题，团队构建了两样东西：

1. TRUST-BENCH（训练场）

他们创建了一个名为TRUST-BENCH的大型测试库。

设置：他们选取了数千项常规任务（如搜索网页或编辑文件），并为它们创建了“邪恶双胞胎”。
匹配：对于每一个安全任务，他们都制作了一个恶意版本，其中工具在前三个回合表现得友善，然后在第四个回合试图诱骗 AI 执行有害操作。
目标：观察 AI 能否区分一个真正安全的工具和一个伪装安全直到最后一刻的工具。

2. VISTA-GUARD（智能侦探）

他们构建了一个名为VISTA-GUARD的新防御系统。与仅仅检查身份证不同，该系统就像一位审查案卷的侦探。

工作原理：它不仅查看最终请求，还审视对话的完整历史。
类比：想象一位侦探问道：“嫌疑人前三天都说自己无辜，但在第四天突然要求打开金库的钥匙。这整个故事说得通吗？还是说这种行为的突然转变看起来很可疑？”
秘密武器：VISTA-GUARD 将对话转化为一份结构化报告（类似于“信任信号”的记分卡），然后询问 AI：“鉴于这整个故事，最后的操作是安全的吗？”

结果：谁赢了？

研究人员将 VISTA-GUARD 与许多其他方法（包括其他 AI 和简单的基于规则的系统）进行了测试。

失败者：
- 简单规则：仅查找“坏词”的系统失败了。
- 零样本判断器：即使是像 GPT-5.4 这样非常聪明、经过预训练的 AI 模型，在被要求在没有特定训练的情况下进行判断时也失败了。它们要么过于“偏执”（拒绝一切），要么过于轻信。
- 标量分类器：仅将对话转化为单个数字（如“风险评分”）的系统失败了，因为它们丢失了故事的细节。
获胜者：
- VISTA-GUARD 是唯一持续成功的系统。
- 它通过分析信任是如何随时间建立的，学会了识别“狼”。
- 得分：它在自身的训练环境中取得了高安全评分（84.2），在完全新的、未见过的工具上测试时表现依然出色（56.9）。

关键结论

该论文得出结论：信任是一个过程，而非快照。

当 AI 使用工具时，它不应只问“这个工具的名字安全吗？”或“这条消息安全吗？”。它需要问：“我们互动的整个历史是否合乎逻辑，最后的操作是否符合我们之前听到的故事？”

如果一个工具前三天表现得像朋友，却在第四天突然试图抢劫银行，AI 需要意识到，危险在于故事本身，而不仅仅是最后一句话。

一句话总结

本文表明，恶意工具可以通过先表现得友善再突然袭击来欺骗 AI 智能体，而阻止它们的唯一方法是使用一种分析交互完整历史而非仅关注最终请求的防御系统。

技术摘要：勿信工具：评估与防御在不可信工具反馈下的 LLM 智能体

1. 问题定义：认知中毒

本文识别出一种在使用工具的 Large Language Model (LLM) 智能体中独特的失效模式，称为认知中毒。与传统的间接提示注入或单响应中毒不同（后者将恶意行为局限于特定的文本段落或工具描述符），认知中毒通过探索性信任形成过程运作。

在此威胁模型中，恶意工具在初始探索步骤中表现得合乎情理，通过看似良性的反馈积累信任。只有当最终可执行动作与环境潜在状态满足隐藏触发条件时，该工具才会变得有害。攻击之所以成功，并非因为某条消息明显具有恶意，而是因为交互轨迹塑造了智能体的先验，使其将危险的最终动作视为普通操作。决定性风险是状态 - 动作组合的属性：即信任形成历史与最终工具调用特定参数的结合。

现有的基准测试和防御机制通常隐含地假设：一旦工具被选中，其反馈就是可信的。本文认为，在黑盒工具生态系统中，智能体无法直接验证内部可信度，而必须通过交互进行推断，从而创造了一个独特的攻击面。在此攻击面中，“决定性防御目标”并非局部提示文本，而是最终动作的轨迹条件风险。

2. 方法论

2.1 TRUST-BENCH：任务条件基准

为了研究这一领域，作者构建了TRUST-BENCH（不可信状态化工具下的轨迹风险）。

构建：源自五个上游套件（OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon），共生成 1,970 个精心策划的回合。
结构：每个回合由一对匹配项组成：一个良性对照组和一个恶意变体。两者共享相同的外部工具接口和任务意图。
隐藏触发器：恶意变体由结构化的触发器规范定义，包含：
- required_all_tokens：必须共同出现的字段（例如 op=export, cross_check=off）。
- required_any_tokens：至少出现一个的上下文锚点。
- forbidden_tokens：启用安全的字段，若存在则抑制触发器。
交互协议：“蓝队”智能体在提出最终动作之前，会在标准化的三轮预算内探测工具（收集基线、检查一致性、深度探测）。触发器规则和标签在推理期间对防御者隐藏。

2.2 评估指标：GUARDEDJOINT

本文引入了GUARDEDJOINT，这是一种非对称的安全 - 效用指标，旨在反映实际部署风险，其中假阴性（接受恶意动作）和假阳性（拒绝良性动作）的代价都很高。

公式： $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$ $G_{ρ} (A M R, R N R) = max (0, 100 - (ρ + 0.5) A M R - 1.5 R N R)$
- $AMR$：接受恶意率。
- $RNR$：拒绝正常率。
- $\rho$ ：接受恶意调用的相对成本（主要实验中设为 1.5）。
意义：该指标惩罚“全拒”或“全执行”策略，迫使防御机制同时最小化恶意接受和良性拒绝。

2.3 防御框架：VISTA-GUARD

作者提出了VISTA-GUARD（用于安全工具动作的变体状态推理），这是一个与骨干网络无关的最终动作风险评分框架。

核心思想：将多步工具交互抽象为结构化的环境变量，以编码信任形成动态。
输入表示：模型接收一个序列化的三元组：
1. 轨迹状态 ( $z_{traj}$ )：将探索证据（例如：触发的阶段计数、探测检测、不匹配分数、ID 漂移、警告）汇总为异常密度和状态风险摘要。
2. 最终动作参数 ( $z_{param}$ )：编码拟议最终调用的可执行语义（工具名称、负载键、高影响/绕过/安全标记的计数）。
3. 目标 ( $y$ )：二元标签（ $high\_risk$ / $low\_risk$ ），仅用于训练。
机制：骨干 LLM（例如 Mistral, Qwen, Llama）经过微调，根据轨迹证据对最终动作的风险进行评分。它学习拒绝那些最终参数包与推断出的工具行为状态不相容的动作。

3. 关键结果

3.1 域内性能

在GUARDEDJOINT指标（ $\rho=1.5$ ）下，VISTA-GUARD 显著优于现有基线：

VISTA-GUARD (Mistral-7B)：实现了84.2的域内得分。
其他骨干网络：测试的所有六个 LLM 骨干网络（Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM）均取得了正分（范围从 39.0 到 67.6），证明了跨架构的鲁棒性。
基线崩溃：仅优化权衡一侧或依赖以提示为中心的启发式方法的方法崩溃至0.0：
- 以提示为中心的评判器（GPT-5.4 零样本）和启发式安全机制（ToolShield, GuardAgent）未能区分微妙的信任动态，通常默认接受所有恶意动作或拒绝所有良性动作。
- 标量化分类器（梯度提升、SVM）和非 LLM 文本模型（BERT）未能捕捉时间上下文，导致得分接近零。

3.2 分布外 (OOD) 迁移

VISTA-GUARD 在平衡的 OOD 数据（来自 ToolEmu 和 SafeToolBench 的未见工具族）上保持了有效性，实现了56.9的 GUARDEDJOINT 得分。
这表明结构化的轨迹表示比以提示为中心或标量化的方法具有更好的迁移性，后者得分显著下降或完全崩溃。

3.3 消融研究

表示与骨干网络：一项隔离研究表明，增益主要来自于结构化的轨迹表示，而不仅仅是骨干网络的选择。向非 LLM 模型提供相同的结构化输入提高了其性能，但与 LLM 骨干网络相比仍存在差距。
仅参数失败：仅在最终动作参数上训练（无轨迹上下文）的模型发生崩溃，证实了轨迹历史对于区分良性对照组与恶意最终动作至关重要。

4. 意义与主张

本文主张，这项工作的决定性贡献是表示性的：当工具交互被转换为结构化的环境变量，而不是被视为原始文本或孤立参数时，防御问题变得可解。

焦点转移：作者认为，对于状态条件的认知中毒，相关的防御目标是最终动作风险评分，该评分基于信任如何在整个轨迹中形成。
局限性：作者对其主张持谨慎态度，指出 TRUST-BENCH 是一个构建的基准，具有标准化的三步探索和二元执行/拒绝动作空间。他们承认，实际部署可能涉及更长的交互、自适应攻击者以及更复杂的潜在状态。
结论：研究结果激发了一个更广泛的评估问题：当工具反馈本身可能不可信时，安全防御必须推理轨迹条件的信任形成，而不能仅依赖局部提示检查或工具描述符。

本文总结道，虽然标量摘要丢弃了过多的轨迹信息，而原始文本模型恢复了一些信号，但当交互历史被组织为轨迹状态和最终动作证据时，序列骨干网络受益最大，从而为安全工具泛化提供了一个原则性框架。