Resumo Técnico: SingGuard-NSFA

Declaração do Problema

A rápida evolução dos Modelos de Linguagem de Grande Escala (LLMs) para agentes autônomos alterou fundamentalmente a superfície de ameaças de segurança. Diferente da IA conversacional, onde os riscos são primariamente confinados à segurança de conteúdo (ex: saída tóxica ou desinformação), os sistemas de IA agêntica executam ações no mundo real, como navegar na web, invocar APIs e executar código. Esta transição introduz ameaças operacionais onde uma violação de segurança pode levar à exfiltração de dados sensíveis, manipulação não autorizada de ferramentas e execução remota de código. Os guardrails existentes enfrentam três limitações críticas:

1. Falta de Taxonomia Sistemática: As definições de risco atuais são frequentemente fixas, específicas para cenários ou inteiramente definidas pelo usuário, carecendo de um framework principiológico para avaliar a cobertura.
2. Gargalos de Extensibilidade: Adaptar a detecção para novos riscos normalmente requer reconfiguração manual ou o retreinamento total do modelo, o que é ineficiente e pouco confiável.
3. Viés Linguístico: As avaliações existentes são predominantemente centradas no inglês, deixando lacunas exploráveis para evasão em outros idiomas.

Além disso, os recursos de segurança atuais focam no "o que um modelo diz" em vez de "o que um agente faz", falhando em abordar a tríade CIA (Confidencialidade, Integridade, Disponibilidade) no contexto das operações de agentes.

Metodologia

O SingGuard-NSFA é um framework de guardrail projetado para proteger sistemas de IA agêntica através de três componentes estritamente integrados: uma taxonomia de risco, um conjunto de benchmarks multilíngues e uma arquitetura de detecção de modo duplo.

1. Taxonomia de Risco NSFA

Os autores introduzem a taxonomia NSFA (Not-Secure-For-Agents), um framework de classificação hierárquica fundamentado na tríade CIA e validado transversalmente contra três diretrizes da OWASP (OWASP Top 10 para Aplicações de LLM, OWASP Agentic AI Threats e OWASP Top 10 para Aplicações Agênticas).

• Estrutura: Organiza 185 variantes de risco em 7 domínios de Nível-1, 28 riscos de Nível-2 e 185 variantes de Nível-3.
• Escopo: A taxonomia distingue entre ameaças do lado da Consulta (Query-side) (5 domínios, 160 variantes) e do lado da Resposta (Response-side) (2 domínios, 25 variantes).
• Princípios de Design:
  • Consulta Primeiro, Resposta como Contrapeso: Intercepta ameaças na etapa de entrada para evitar ações irreversíveis, com a detecção de resposta atuando como uma camada secundária.
  • Detectabilidade de Turno Único: Foca em riscos identificáveis a partir de um único turno de texto (consulta ou resposta), excluindo análise de trajetória de múltiplos turnos para garantir implantação stateless e de baixa latência.
  • Cobertura Multilíngue: Projetado para prevenir evasão baseada em linguagem em 133 idiomas.

2. Construção do Conjunto de Benchmarks

Para avaliar os guardrails contra a taxonomia NSFA, os autores construíram um conjunto abrangente de benchmarks:

• Benchmarks Criados para o Propósito: Gerados via um pipeline de quatro estágios (geração livre de sementes, aumento baseado em sementes, expansão multilíngue e verificação) utilizando 74 LLMs de código aberto. Isso inclui 63.431 amostras de consulta e 29.972 amostras de resposta, cobrindo todos os 185 variantes de risco com distribuições equilibradas de positivos/negativos.
• Benchmark CrossSource: Adaptado de cinco datasets públicos de segurança de agentes (AgentDojo, InjecAgent, AgentHarm, AgentDyn, ATBench), normalizado para formatos de consulta única e expandido para 132 idiomas, resultando em 3.435 amostras.
• Cobertura Total: O conjunto abrange 133 idiomas e inclui mais de 93.000 amostras criadas especificamente para este propósito.

3. Framework SingGuard-NSFA

O framework emprega uma abordagem de modo duplo combinando raciocínio generativo e classificação discriminativa:

• Raciocínio Generativo (Auditoria Offline): Um backbone com Ajuste Fino Supervisionado (SFT) (baseado em modelos Qwen3.5) gera análises interpretáveis de Cadeia de Pensamento (CoT) seguidas de julgamentos de risco. Este modo suporta revisão humana e investigação de incidentes.
• Classificação em Tempo Real (Interceptação Online): Cabeças de classificação Multi-Layer Perceptron (MLP) discriminativas leves são treinadas nos embeddings do último token do backbone SFT congelado. Estas cabeças produzem probabilidades de risco para cada domínio de Nível-1 em uma única passagem direta (forward pass), permitindo uma latência de detecção de aproximadamente 45–57 ms.
• Extensibilidade: A arquitetura de cabeça de classificação é nativamente extensível. Adicionar a detecção de novos riscos requer apenas o treinamento de uma nova cabeça leve sobre os embeddings congelados, sem retreinar o backbone ou interromper as capacidades existentes.

Principais Contribuições

1. Taxonomia NSFA: Uma classificação sistemática da taxonomia NSFA, fundamentada na tríade CIA, de 185 variantes de risco específicas para agentes, validada contra três frameworks OWASP principais, separando explicitamente técnicas de ataque de objetivos.
2. Conjunto de Benchmarks Multilíngue: O conjunto de avaliação mais diverso linguisticamente e de maior escala para guardrails de agentes até o momento, cobrindo 133 idiomas com mais de 93K amostras criadas para o propósito e um benchmark de origem cruzada.
3. Arquitetura de Guardrail de Modo Duplo: Um framework que unifica o raciocínio generativo interpretável para auditoria com a classificação discriminativa de baixa latência para interceptação em tempo real. O design de cabeça de classificação permite a extensibilidade plug-in para novos riscos e outros modelos de guardrail.
4. Pipeline de Dados Sintéticos: Um pipeline robusto de quatro estágios utilizando 74 LLMs de código aberto para gerar dados de treinamento multilingues diversos com contrastes de negativos difíceis e verificação rigorosa.

Resultados Experimentais

Os autores avaliaram quatro modelos SingGuard-NSFA (0.8B, 2B, 4B e 9B parâmetros) contra 10 guardrails concorrentes (incluindo Llama Guard 3, Granite Guardian e AgentDoG) em três benchmarks.

• Desempenho de Detecção Binária:
  • Nos benchmarks criados para o propósito, todos os modelos SingGuard-NSFA alcançaram ≥94% de F1, superando o guardrail concorrente mais forte (AgentDoG1.5-FG) em 6 a 12 pontos absolutos de F1.
  • O modelo de 9B alcançou 96.95% de F1 no Query e 98.31% de F1 nos benchmarks de Resposta.
  • No benchmark CrossSource-Query, o modelo de 9B obteve 91.29% de F1, superando o melhor competidor (84.67%) por 6.6 pontos, com um trade-off de precisão-recall mais equilibrado.
• Latência de Inferência:
  • O modo de classificação em tempo real opera a 45–57 ms por amostra, comparável aos guardrails concorrentes mais rápidos (14–52 ms), apesar de utilizar modelos significativamente maiores (até 9B parâmetros).
  • O modo de raciocínio generativo leva de 3.6 a 7.2 segundos, sendo adequado para auditoria offline.
• Extensibilidade:
  • Estudos de ablação mostraram que escalar o número de cabeças de classificação de 5 para 50.000 aumentou a latência de ponta a ponta em apenas 9 ms.
  • Treinar uma cabeça de segurança de conteúdo no backbone congelado do SingGuard-NSFA permitiu que ele superasse guardrails dedicados de segurança de conteúdo em benchmarks de moderação padrão.
  • Aplicar a abordagem de cabeça de classificação ao backbone congelado do Llama Guard 3 melhorou seu F1 em 17.6 pontos no benchmark de Query, demonstrando a generalizabilidade da arquitetura como um plug-in de melhoria.

Significância

O artigo postula que o SingGuard-NSFA aborda a lacuna crítica entre a segurança de conteúdo e a segurança operacional de agentes. Ao formalizar uma taxonomia de risco fundamentada na tríade CIA e fornecer um framework de detecção multilíngue escalável, ele oferece uma abordagem principiológica para proteger a IA agêntica. A arquitetura de modo duplo permite tanto a interceptação em tempo real de alto throughput quanto a auditoria profunda e interpretável. A extensibilidade demonstrada da arquitetura de cabeça de classificação sugere um caminho para que os guardrails evoluam junto com as ameaças emergentes sem o custo proibitivo do retreinamento total do modelo. Os autores concluem que estes resultados demonstram a viabilidade de abordar a segurança de conteúdo e a segurança operacional de agentes dentro de um framework unificado e extensível.