技术摘要：Spider-Sense：用于高效智能体防御的分层自适应筛选内在风险感知

1. 问题陈述

随着大语言模型（LLMs）演变为具备环境感知、任务规划和工具执行能力的自主智能体，其应用范围已扩展到金融、编程和网页交互等关键领域。然而，这种扩展的动作空间引入了显著的安全风险，包括提示词注入（prompt injection）、记忆中毒（memory poisoning）以及可能导致现实世界后果（如数据外泄和未经授权的系统操作）的基于工具的攻击。

作者指出，现有的防御机制存在一个根本性缺陷：它们主要采用强制检查范式。在这些系统中，无论是否存在实际风险，安全验证都会在智能体生命周期的预定义阶段（如动作生成或工具调用时）被强制触发。这种方法导致了：

• 高延迟： 每个额外的规划步骤或工具调用都会引发一次安全检查，在复杂的多步工作流中导致开销迅速累积。
• 误报（False Positives）： 频繁且不必要的检查会干扰正常的用户交互。
• 可扩展性问题： 许多方法依赖于外部验证器模型，这不仅增加了计算成本，还引入了限制实际部署的系统依赖。

论文认为，有效的智能体安全应当是内在且具有选择性的，即仅在感知到真实风险时进行干预，而不是作为一种架构解耦的、强制性的程序。

2. 方法论：SPIDER-SENSE 框架

提出的 SPIDER-SENSE 框架引入了一种基于**内在风险感知（Intrinsic Risk Sensing, IRS）和分层自适应筛选（Hierarchical Adaptive Screening, HAS）**的事件驱动型防御范式。

2.1 内在风险感知 (IRS)

IRS 将安全内化为智能体的原生认知功能，使其能够在整个执行流中保持“潜在的警觉状态”。

• 机制： 智能体在四个安全关键阶段——查询 ($q$)、规划 ($P_t$)、动作 ($a_t$) 和观察 ($o_t$)——自主评估风险感知指标 ($\phi_t^{(k)}$)。
• 触发： 根据当前的产物（artifact）、交互历史和系统指令，智能体决定是否产生风险感知指标。如果感知到潜在风险，智能体会暂停标准流程。
• 实现： 智能体将可疑的产物封装在一个专门的模板中（例如，针对工具输出使用 <|sanitize_observation|>），并将其路由至安全检查机制。这一过程是内生的，不需要外部监督或架构开销。

2.2 分层自适应筛选 (HAS)

一旦触发，可疑产物将经历一个旨在平衡效率与精度的两层验证过程：

1. 粗粒度检测（快速筛选）：
   • 系统维护特定阶段的攻击向量数据库 ($D^{(k)}$)，其中包含已知攻击模式的向量化表示。
   • 当前产物被嵌入（embedded）并使用余弦相似度与存储的模式进行比较。
   • 如果相似度得分超过阈值 ($\tau^{(k)}$)，则立即返回高置信度结果，以极低的延迟解决已知模式。
2. 细粒度分析（深度推理）：
   • 如果相似度得分低于阈值（表明存在歧义或未知模式），系统将升级到深度推理阶段。
   • 大语言模型（LLM）对当前产物及检索到的前 $K$ 个最相似案例进行显式推理，以产生推理结果。
3. 决策制定： 主智能体接收验证结果，并自主决定是接受（ACCEPT）、**拒绝（REJECT）还是净化（SANITIZE）**执行过程。

3. 核心贡献

1. 内在风险感知 (IRS)： 作者提出了一种通过指令级调节将风险意识直接嵌入智能体执行流的范式。这实现了内生的、事件驱动的防御，无需外部防护模型或持续的阶段性检查。
2. 分层自适应筛选 (HAS)： 一种能够自适应平衡效率与准确性的新颖机制。它利用特定阶段的攻击向量数据库，通过轻量级的向量匹配解决已知威胁，同时将歧义案例路由至内部深度推理，消除了对每一步检查都依赖外部模型的做法。
3. S2Bench 基准测试： 作者引入了 S2Bench，这是一个生命周期感知的基准测试，旨在严格评估原位（in-situ）智能体拦截。与现有的静态基准不同，S2Bench 具有以下特点：
   • 多阶段与多场景： 覆盖了八个应用领域和 79 个子任务场景中的四个智能体阶段。
   • 真实工具执行： 集成了大规模工具库（约 300 个函数）和真实的返回内容（超过 100 种类型），而非占位符文本。
   • 困难良性提示词： 包含 153 个精心构建的良性样本，这些样本模仿攻击结构以测试过度防御和误报情况。
   • 真实的攻击模拟： 通过一个外部注入器动态操纵工具输出和记忆检索，以诱发状态相关的执行偏差。

4. 实验结果

作者使用 Mind2Web、eICU 和 S2Bench 数据集，将 SPIDER-SENSE 与静态护栏（如 LLaMA-Guard 3, gpt-oss-safeguard）以及智能体防御（如 GuardAgent, AGrail）进行了对比评估。

• 防御性能： SPIDER-SENSE 在所有基准测试中均实现了最低的攻击成功率 (ASR) 和误报率 (FPR)。
  • 在 Mind2Web 上，使用 Claude-3.5 时，SPIDER-SENSE 将标签预测准确率 (LPA) 从 84.8%（基线）提升至 95.8%，将 F1 值从 90.3% 提升至 92.1%。
  • 在 S2Bench 上，它显著降低了“规划”阶段（其他防御机制的已知盲点）的 ASR，在 Claude-3.5 下降至 17.7%，在 Qwen-max 下降至 20.0%，同时保持了较低的 FPR。
• 效率： 该框架实现了安全性与实用性之间的卓越权衡。与基线相比，其产生的延迟开销仅为 8.3%，而现有的“常开型”防御造成的开销在 197% 到 381% 之间。
• 消融实验：
  • 移除任何单一阶段的感知都会导致 ASR 显著上升（例如，禁用动作阶段感知会导致 ASR 上升 29.9%），证实了全生命周期监控的必要性。
  • 移除细粒度分析阶段会大幅降低防御精度，而移除粗粒度检测则会严重损害效率，验证了其分层设计的有效性。

5. 意义与主张

论文声称，Spider-Sense 代表了从外部、强制性安全程序向内在、选择性风险意识的转变。通过将安全视为一种原生的认知功能，该框架允许智能体保持“潜在的警觉”，并仅在感知到风险时触发防御。

作者断言，这种方法：

• 保留了效用： 通过避免持续、重复的检查，它防止了阻碍复杂智能体实际部署的延迟和误报问题。
• 增强了可扩展性： 通过依赖内部推理和轻量级相似度匹配，而非每一步都依赖外部验证器模型，它降低了计算成本和系统依赖。
• 提供了鲁棒的评估： 通过 S2Bench，这项工作提供了一个更真实的评估标准，该标准考虑了智能体攻击的动态性和状态相关性，超越了静态的文本级注入测试。

研究结论认为，内在风险意识是实现可扩展智能体安全性的实践基础，使智能体能够在不牺牲其效率或自主性的情况下，在现实环境中安全运行。