技术摘要：SingGuard-NSFA

问题陈述

随着大语言模型（LLM）向自主智能体（Autonomous Agents）的快速演进，安全威胁面发生了根本性变化。在对话式 AI 中，风险主要局限于内容安全（如有害输出或误导信息）；而在智能体 AI 系统中，风险则转向了执行现实世界的动作，例如浏览网页、调用 API 和运行代码。这种转变引入了操作层面的威胁，即安全漏洞可能导致敏感数据泄露、未经授权的工具操纵以及远程代码执行。现有的护栏技术面临三个关键局限性：

1. 缺乏系统性分类法： 当前的风险定义通常是固定的、特定场景的或完全由用户定义的，缺乏用于评估覆盖范围的原则性框架。
2. 可扩展性瓶颈： 将检测能力适配到新风险通常需要手动重新配置或进行完整的模型重训，这既低效又不可靠。
3. 语言偏见： 现有的评估主要以英语为中心，这为非英语环境下的规避攻击留下了可利用的盲点。

此外，目前的安全性资源侧重于“模型说了什么”，而非“智能体做了什么”，未能解决智能体操作背景下的 CIA（机密性、完整性、可用性）三要素问题。

方法论

SingGuard-NSFA 是一个旨在保障智能体 AI 系统安全的护栏框架，由三个紧密集成的组件组成：一个风险分类法、一个多语言基准测试套件和一个双模态检测架构。

1. NSFA 风险分类法

作者引入了 NSFA (Not-Secure-For-Agents) 分类法，这是一个基于 CIA 三要素构建的层次化分类框架，并经过了针对三种 OWASP 指南（OWASP LLM 应用 Top 10、OWASP 智能体 AI 威胁以及 OWASP 智能体应用 Top 10）的交叉验证。

• 结构： 它将 185 种风险变体组织为 7 个一级领域、28 个二级风险和 185 个三级变体。
• 范围： 该分类法区分了**查询侧（Query-side）威胁（5 个领域，160 种变体）和响应侧（Response-side）**威胁（2 个领域，25 种变体）。
• 设计原则：
  • 查询优先，响应作为后备： 在输入阶段拦截威胁以防止不可逆的操作，同时将响应检测作为第二层防御。
  • 单轮可检测性： 专注于可以从单轮文本（查询或响应）中识别出的风险，排除了多轮轨迹分析，以确保实现无状态、低延迟的部署。
  • 多语言覆盖： 设计旨在防止跨 133 种语言的基于语言的规避行为。

2. 基准测试套件构建

为了根据 NSFA 分类法评估护栏性能，作者构建了一个全面的基准测试套件：

• 定制化基准： 通过一个四阶段流水线（无种子生成、基于种子的增强、多语言扩展和验证）利用 74 个开源 LLM 生成。这包括 63,431 个查询样本和 29,972 个响应样本，涵盖了所有 185 种风险变体，并保持了正负样本的平衡分布。
• CrossSource 基准： 适配自五个公开的智能体安全数据集（AgentDojo, InjecAgent, AgentHarm, AgentDyn, ATBench），将其归一化为单查询格式，并扩展至 132 种语言，最终得到 3,435 个样本。
• 总覆盖范围： 该套件涵盖 133 种语言，包含超过 93,000 个定制化样本。

3. SingGuard-NSFA 框架

该框架采用结合了生成式推理与判别式分类的双模态方法：

• 生成式推理（离线审计）： 基于 Qwen3.5 模型的监督微调（SFT）骨干网络生成具有可解释性的思维链（CoT）分析，随后给出风险判定。此模式支持人工审查和事件调查。
• 实时分类（在线拦截）： 轻量级的判别式多层感知器（MLP）分类头在冻结的 SFT 骨干网络的最后一个 Token 嵌入上进行训练。这些分类头通过单次前向传播输出每个一级领域的风险概率，使检测延迟保持在约 45–57 毫秒。
• 可扩展性： 分类头架构具有原生可扩展性。增加对新风险的检测只需在冻结的嵌入上训练一个新的轻量级分类头，无需重新训练骨干网络或破坏现有功能。

核心贡献

1. NSFA 分类法： 一种基于 CIA 三要素的、系统化的 185 种智能体特定风险变体分类法，通过了三种主要 OWASP 框架的验证，明确区分了攻击技术与攻击目标。
2. 多语言基准测试套件： 是迄今为止规模最大且语言多样性最高的智能体护栏评估套件，涵盖 133 种语言，包含超过 9.3 万个定制化样本及一个跨源基准。
3. 双模态护栏架构： 一个统一了用于审计的可解释生成式推理与用于实时拦截的低延迟判别式分类的框架。分类头设计允许通过插件形式扩展到新风险和其他护栏模型。
4. 合成数据流水线： 一个稳健的四阶段流水线，利用 74 个开源 LLM 生成具有硬负例对比（hard-negative contrasts）和严格验证的多语言多样化训练数据。

实验结果

作者针对 10 个竞争对手护栏（包括 Llama Guard 3, Granite Guardian 和 AgentDoG），在三个基准测试中评估了四个 SingGuard-NSFA 模型（参数量分别为 0.8B, 2B, 4B 和 9B）。

• 二分类检测性能：
  • 在定制化基准测试中，所有 SingGuard-NSFA 模型均实现了 ≥94% 的 F1 分数，超过最强的竞争对手（AgentDoG1.5-FG）6 到 12 个绝对 F1 点。
  • 9B 模型在查询（Query）和响应（Response）基准测试中分别达到了 96.95% F1 和 98.31% F1。
  • 在 CrossSource-Query 基准测试中，9B 模型达到了 91.29% F1，优于表现最好的竞争对手（84.67%）6.6 个百分点，并拥有更平衡的精确率-召回率权衡。
• 推理延迟：
  • 实时分类模式每样本处理时间为 45–57 毫秒，尽管使用了高达 9B 参数的大型模型，其速度仍与最快的竞争对手（14–52 毫秒）相当。
  • 生成式推理模式耗时 3.6–7.2 秒，适用于离线审计。
• 可扩展性：
  • 消融研究表明，将分类头的数量从 5 个扩展到 50,000 个，端到端延迟仅增加了 9 毫秒。
  • 在冻结的 SingGuard-NSFA 骨干网络上训练一个内容安全分类头，使其在标准审核基准测试中超越了专门的内容安全护栏。
  • 将分类头方法应用于冻结的 Llama Guard 3 骨干网络，使其在查询基准测试上的 F1 分数提升了 17.6 个点，证明了该架构作为插件增强方案的通用性。

意义

本文认为 SingGuard-NSFA 填补了内容安全与智能体操作安全之间的关键空白。通过提供基于 CIA 三要素的系统化风险分类法以及可扩展的多语言检测框架，它为保障智能体 AI 安全提供了一种原则性的方法。双模态架构实现了高吞吐量的实时拦截与深度、可解释的审计。分类头架构展示出的可扩展性表明，护栏可以随新兴威胁的发展而进化，而无需承担全量模型重训的高昂成本。作者总结道，这些结果证明了在统一且可扩展的框架内同时处理内容安全与操作性智能体安全的可行性。