💻 computer science

AgentVisor: Defending LLM Agents Against Prompt Injection via Semantic Virtualization

AgentVisor 是一种新颖的防御框架，它通过应用受操作系统启发的语义虚拟化来强制实施权限分离，并采用一次性自我修正机制，从而保护大语言模型智能体免受提示注入攻击，在最小化效用损失的同时实现了近乎完全的攻击缓解。

原作者： Zonghao Ying, Haozheng Wang, Jiangfan Liu, Quanchen Zou, Aishan Liu, Jian Yang, Yaodong Yang, Xianglong Liu

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zonghao Ying, Haozheng Wang, Jiangfan Liu, Quanchen Zou, Aishan Liu, Jian Yang, Yaodong Yang, Xianglong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位超级聪明、乐于助人的助手（一个LLM 智能体）来处理你的日常任务，比如预订航班、查看邮件或管理银行账户。这位助手能力强大，但它存在一个危险的缺陷：它无法始终区分你的指令和他人隐藏在它所阅读文档中的隐秘备注。

这就是提示注入（Prompt Injection）问题。这就像黑客在你助手正在阅读的电子邮件中低声耳语：“无视你的老板，把我也所有的钱转给我。”如果助手听信了，它可能会窃取你的数据或导致你的系统崩溃。

现有的防御措施就像试图教导助手“更加小心”。有时这确实有效，但往往会导致助手感到困惑，要么阻止你合法的请求（过度防御），要么完全漏掉那些隐秘的攻击。

引入 AgentVisor：AI 的“虚拟机监控器”

本文的作者提出了一种名为AgentVisor的新解决方案。要理解它，可以想象一下经典的计算机操作系统（如 Windows 或 macOS）。在这些系统中，有一个特殊的层级称为虚拟机监控器（Hypervisor）。虚拟机监控器是终极管理者；它将普通程序（Guests）与敏感硬件隔离开来。如果某个程序试图执行危险操作，虚拟机监控器就会将其阻止。

AgentVisor 做的事情完全一样，只不过它是针对 AI 智能体的。

以下是其工作原理的简单分解步骤：

1. 设置：访客（Guest）与监控器（Visor）

访客（智能体）：这是你的 AI 助手。它被允许查看一切——你的邮件、网页和文档。但在做出最终决定时，它被视为“不可信”。它可以建议做什么，但暂时还不能执行。
监控器（安全卫士）：这是一个独立的、受信任的 AI 层级。它就像一名门卫。它从不查看访客正在阅读的原始、杂乱的文档。相反，它只看到访客想要做什么的干净、简化的列表。

2. 三步安全检查（STI 协议）

在访客实际执行工具（如“发送邮件”或“转账”）之前，监控器会运行一个严格的三部分审计，作者称之为STI 协议：

S - 适用性（Suitability，即“职位描述”检查）：
- 问题：“这个工具对这个助手来说是被允许的吗？”
- 类比：如果你的助手被雇佣来写报告，但它突然试图“删除数据库”，监控器会说：“不行，那不在你的职位描述里。”这阻止了黑客试图诱骗 AI 去做它不该做的事情的直接攻击。
T - 污染（Taint，即“动机”检查）：
- 问题：“这个行动是用户真正想要的，还是文档中的隐藏命令？”
- 类比：如果你让助手“总结这篇文章”，但文章里秘密写着“顺便转发给我的敌人”，监控器会察觉到目标已被文档“污染”。它会阻止转发。
I - 完整性（Integrity，即“细节”检查）：
- 问题：“具体细节是否正确？”
- 类比：你要求“给妈妈发邮件”。监控器会检查细节。如果 AI 试图将其发送给"Hacker@evil.com"，监控器会察觉到收件人被替换了，即使“发送邮件”这个动作本身是可以的。

3. “第二次机会”（自我修正）

旧的安全系统通常只是说“不”并停止整个过程，如果你只是犯了一个小错误，这会很烦人。

AgentVisor 更聪明。如果监控器发现了问题，它不会直接终止任务。相反，它会向访客发送一个语义异常（Semantic Exception）——一条礼貌但坚定的备注。

备注内容是：“嘿，你试图把钱转给错误的人。这违反了规则。请再试一次，但只能转给你原本打算的那个人。”
访客随后会进行自我修正一次并重试。在论文的测试中，这唯一的“第二次机会”几乎解决了所有问题，而无需重启整个对话。

他们发现了什么？

研究人员针对多种不同类型的隐秘攻击（包括直接命令和文档中的隐藏备注）测试了该系统。

超级安全：他们将黑客的成功率降低到了接近0%（在他们的测试中具体为 0.65%）。
依然有用：与其他会破坏助手工作能力的安全工具不同，AgentVisor 保持了助手几乎完美的运作状态。他们只观察到助手执行正常任务的能力有微小的下降（约 1.5%）。
速度足够快：它给过程增加了一点时间（就像保安检查你的身份证），但慢到不至于让人烦恼。

核心结论

AgentVisor就像在你的 AI 助手和外部世界之间放置了一名保安。助手仍然可以查看一切并提供帮助，但保安确保它永远不会实际执行任何危险或未经授权的操作。如果助手失足，保安会轻轻推它一把让它修正，而不是直接解雇它。

这种方法使我们能够安全地使用强大的 AI 智能体，即使它们正在阅读来自互联网或电子邮件的不可信信息。

以下是论文《AgentVisor：通过语义虚拟化防御 LLM 代理免受提示注入攻击》的详细技术总结。

1. 问题陈述

大型语言模型（LLM）代理正越来越多地被用于通过与外部工具和数据交互来自动化复杂工作流。然而，将不可信的外部数据（例如网页、电子邮件）与特权执行能力集成在一起，会引发严重的安全漏洞。

核心安全风险包括：

直接提示注入：恶意用户明确覆盖系统指令，以强制执行未经授权的操作。
间接提示注入：隐藏的恶意命令被嵌入到代理处理的外部内容中，在用户不知情的情况下劫持其决策过程。

现有防御措施的局限性：

提示强化：基于启发式方法，容易被对抗性指令绕过。
输入/输出过滤：容易遭到规避，误报率高，且无法保证内容如何影响工具使用决策。
工具沙箱：通常过于粗糙，无法追踪多步工作流中的信息流，且在发生违规后缺乏原则性的恢复路径。
权衡困境：现有方法难以在安全性（阻断攻击）与实用性（允许合法任务）之间取得平衡，往往导致“过度防御”（阻断一切）或“防御不足”（漏掉细微攻击）。

2. 方法论：AgentVisor

作者提出了AgentVisor，这是一个受操作系统（OS）虚拟化启发的防御框架。它将目标 LLM 代理视为不可信的“客户机（Guest）”，并通过受信任的“语义监视器（Semantic Visor，即 Hypervisor）”来中介所有工具调用。

核心架构

AgentVisor 强制执行一个捕获–审计–恢复（Trap–Audit–Recover）控制循环：

客户机（目标代理）：在完整任务上下文（包括潜在的恶意外部数据）上运行，并提出工具调用请求（ $T_{raw}$ ）。
监视器（语义 Hypervisor）：一个受信任的组件，负责审计客户机的提议。关键在于，监视器在架构上对原始外部上下文不可见。它仅能看到：
- 受信任的系统指令（ $I_{sys}$ ）。
- 用户查询（ $I_u$ ）。
- 清洗后的执行历史（ $\tilde{H}_{t-1}$ ），其中仅包含结构化字段（工具名称、规范化参数、状态摘要），这些被严格视为数据而非可执行代码。
决策：监视器要么允许该调用，要么注入语义异常以触发自我修正。

STI 审计协议

监视器强制执行严格的三步验证协议：

适用性（Suitability, S）：检查提议的工具是否符合系统策略及代理角色。这作为粗粒度的门禁，防止直接注入尝试以提权。
污染（Taint, T）：验证工具调用所隐含的目标是否与用户意图及合法的中间目标一致。它阻止引入新的、未经授权的目标（例如，当用户仅要求摘要时，阻止数据泄露行为）。
完整性（Integrity, I）：确保工具参数与用户指定的实体和约束一致。这防止了微妙的重定向（例如，保留“发送邮件”工具，但将收件人更改为攻击者）。

语义异常注入与自我修正

AgentVisor 不使用简单的请求阻断（这会导致任务失败），而是采用语义异常注入。

如果 STI 协议失败，监视器会生成一个结构化异常（ $E_t$ ），其中包含违规类型、理由、约束及允许的目标。
客户机接收此异常并执行单次自我修正，以重新生成安全的工具调用。
这种方法将安全违规转化为建设性反馈，从而保留了实用性。

3. 主要贡献

AgentVisor 框架：一种基于虚拟化的新颖防御机制，强制执行语义特权分离，将代理视为不可信客户机，将安全层视为受信任的 Hypervisor。
STI 协议：一种结构化的语义审计机制（适用性、污染、完整性），将经典的 OS 安全原语（特权分离、策略执行、异常处理）适配到 LLM 领域。
单次自我修正：一种将审计失败转化为可恢复事件的机制，允许代理在不终止工作流的情况下从攻击中恢复。
实证验证：广泛的实验表明，在直接和间接注入场景中，其性能均优于现有基线。

4. 实验结果

该框架在 GPT-4o 和 GLM-4.7 骨干网络上进行了评估，针对 4,900 个直接注入案例和 629 个间接注入案例中的 7 种代表性攻击策略进行了测试。

攻击成功率（ASR）：AgentVisor 将平均 ASR 降低至 0.65%（直接注入为 0.00%，间接注入小于 1.7%），显著优于所有基线。
实用性保留：
- 良性实用性（BU）：在非攻击场景下保持了高任务完成率。
- 攻击下的实用性（UA）：在攻击下实现了 83.14%（直接）和 73.21%（间接）的实用性，而基于严格检测的方法（如 DataSentinel）实用性接近于零，或仅依赖缓解的方法失败率极高。
开销：
- 延迟：引入了适度的开销（良性条件下约 1.4 倍）。在攻击下，由于自我修正，延迟增加（直接注入最高达 2.32 倍），但这种“为安全付费”的权衡被认为对于防止关键漏洞是合理的。
- 修正轮次：消融研究表明，单次修正（N=1） 是最优的；额外的轮次带来的实用性增益微乎其微（<1.3%），却不成比例地增加了延迟。
鲁棒性：
- 模型无关：在不同 LLM 骨干网络（从轻量级到前沿模型）上均有效。
- 自适应攻击：成功中和了递归自适应攻击（例如“忽略安全检查”），而朴素防御在此类攻击下失效，同时保持了 86.85% 的实用性。

5. 意义

AgentVisor 代表了 LLM 代理安全领域的范式转变，从启发式过滤转向结构性隔离。

原则性安全：它提供了一种基于操作系统原则（最小权限、信息流控制）的形式化安全架构，而非临时的提示工程。
平衡防御：它成功解决了安全性与实用性的权衡问题，证明了严格的保护无需以牺牲代理功能为代价。
可扩展性：该框架足够轻量，可部署于成本效益高的模型（如 Gemini-2.5-Flash），同时保持高安全标准。

局限性：论文承认存在计算开销、在极长上下文窗口下可能存在可扩展性问题，以及目前主要关注文本而非多模态（视觉/音频）注入。