Resumo Técnico: GuardNet – Estratégias de Ensemble de Redes Neurais Rasas para Detecção Robusta de Injeção de Prompt e Jailbreak

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em produção, mas permanecem vulneráveis a ataques de Injeção de Prompt (PI) e Jailbreak (JB). Esses inputs adversários manipulam o comportamento do modelo para contornar filtros de segurança e mecanismos de alinhamento. Um desafio crítico no enfrentamento dessa vulnerabilidade é a confiabilidade das avaliações atuais. Os benchmarks existentes frequentemente sofrem de contaminação de dados e vazamento parcial de informação, levando a estimativas de desempenho infladas que não refletem a generalização real. Além disso, a área carece de uma caracterização sistemática de como a escala do modelo, a arquitetura e a calibração do limiar de decisão interagem para determinar a robustez em cenários adversários.

2. Metodologia

Hipótese Central

O trabalho investiga a hipótese de que a robustez em cenários adversários é impulsionada mais pela diversidade de cobertura de exemplos adversários e pela calibração do limiar de decisão do que pela escala do modelo ou complexidade arquitetônica.

Arquitetura do Sistema: GuardNet

O GuardNet é um sistema de salvaguarda (guardrail) projetado como um ensemble de três redes neurais rasas independentes (Bi-LSTM - Bidirectional Long Short-Term Memory).

• Escala do Modelo: O sistema total compreende aproximadamente 47 milhões de parâmetros (cerca de 15M por cabeça).
• Escolha de Arquitetura: Diferente dos LLMs, estes modelos são classificadores discriminativos sem capacidades de geração autorregressiva (sem lm_head). Esta escolha de design visa reduzir a exposição a ataques de injeção de prompt que dependem de comportamentos de seguimento de instrução.
• Estratégia de Ensemble: O sistema combina três cabeças especializadas usando uma média aritmética das probabilidades previstas:
  1. GuardNet-v3 (Âncora Conservadora): Otimizada para alta precisão (baixa Taxa de Falso Positivo) para atuar como um pilar de estabilidade.
  2. GuardNet-v9 (Recall Agressivo): Treinada com subamostragem agressiva (balanço 1:1) para maximizar o recall de ataques de jailbreak, compensando ataques sutis perdidos pela âncora.
  3. GuardNet-T2 (Checagem de Sanidade): Uma rede multiclasse (15 classes) que contribui com um voto binário baseado na probabilidade inversa da classe benigna.
• Limiar de Decisão: Um limiar global ($\tau = 0.65$) é aplicado à probabilidade agregada, calibrado empiricamente em um conjunto de validação para equilibrar precisão e recall.

Estratégia de Treinamento: Diversidade sobre Volume

O processo de treinamento priorizou a diversidade adversária em vez do volume bruto de dados. Os protocolos principais incluíram:

• Controle de Dominância: Limitação de amostras por fonte (máximo de 8.000) para evitar que grandes conjuntos de dados distorçam a distribuição de treinamento.
• Estratificação: Garantia de cotas mínimas para eixos de ataque críticos (ex: jailbreaks baseados em persona, sequestro de objetivos, ataques multilíngues).
• Robustez a Falsos Positivos: Inclusão de amostras benignas com similaridades estruturais com ataques (ex: prompts imperativos curtos, requisições JSON) para reduzir alarmes falsos.
• Equilíbrio de Fonte: Uso de um amostrador ponderado onde os pesos são inversamente proporcionais à raiz quadrada do tamanho da fonte.

Implantação

O GuardNet é implementado como um componente in-process dentro do framework Django, utilizando PyTorch e Hugging Face Transformers. É otimizado para inferência em CPU, evitando a dependência de infraestrutura dedicada de GPU, o que é crítico para ambientes de produção de baixa latência.

3. Resultados Principais

Desempenho no Benchmark Proprietário (awall-test)

Em um conjunto de dados proprietário de 50 registros (com vazamento parcial reconhecido), o ensemble final (GuardNet-E) alcançou:

• F1 Score: 0.92
• Taxa de Falso Positivo (FPR): 0.10
• Latência: ~50 ms em CPU.

Desempenho no Benchmark Cego (JBB-Behaviors)

Avaliado em um conjunto de dados cego de 200 exemplos nunca antes vistos:

• GuardNet-E: Alcançou um AUROC de 0.747 e um F1 score de 0.714.
• Comparação com Grandes LLMs: Embora modelos maiores como Mistral-7B (AUROC 0.839) e Llama-3.1-8B (AUROC 0.864) tenham alcançado pontuações absolutas mais altas, o GuardNet-E superou significativamente classificadores especializados muito maiores, como o deepset-deberta (184M de parâmetros, AUROC 0.650) e o protectai-v2 (184M de parâmetros, que colapsou para F1=0.000 neste conjunto cego).
• Gap de Generalização: O artigo observa um gap de generalização de aproximadamente 0.206 entre o desempenho de validação calibrado e o teste cego, destacando a sensibilidade do desempenho às mudanças de distribuição e calibração de limiar.

Impacto da Calibração de Limiar

O estudo demonstra que uma parte substancial da capacidade discriminativa do modelo está "oculta" sem a devida calibração. Para o GuardNet-E, ajustar o limiar de 0.5 para 0.65 aumentou o F1 score de ~0.77 para 0.92 no conjunto de validação, provando que o ajuste de limiar é um hiperparâmetro crítico para aplicações de segurança.

4. Significância e Alegações

O artigo postula que a engenharia de datasets e o design de ensemble são mais influentes do que mudanças arquitetônicas isoladas para a detecção de conteúdo adversário.

• Eficiência vs. Escala: O GuardNet demonstra que um ensemble leve e raso (47M de parâmetros) pode alcançar robustez competitiva contra modelos muito maiores, oferecendo uma vantagem de velocidade de 400x (50ms vs. tempos de inferência de LLM) em hardware CPU.
• Robustez à Contaminação: O trabalho destaca a fragilidade de modelos treinados em benchmarks contaminados. O desempenho do GuardNet em seu dataset cego JBB-Behaviors, embora menor do que no conjunto proprietário, permanece estável e superior a outros detectores especializados que falharam completamente em dados não vistos.
• Imunidade Arquitetônica: Ao evitar a geração autorregressiva, o GuardNet reivindica imunidade estrutural a certos vetores de injeção de prompt que visam os mecanismos de seguimento de instrução dos LLMs.

5. Limitações e Trabalho Futuro

Os autores reconhecem que, embora o GuardNet seja altamente eficiente, LLMs maiores ainda detêm vantagem em termos de F1 e AUROC absolutos em benchmarks cegos. O sistema é apresentado não como um substituto para LLMs de propósito geral, mas como uma camada de segurança especializada, determinística e de baixa latência para pipelines de produção.

Trabalhos futuros envolvem o desenvolvimento de um classificador sucessor proprietário alinhado ao padrão MLCommons AILuminate v1.0 para permitir comparabilidade pública, consolidar ainda mais a propriedade intelectual e expandir o suporte para inferência baseada em CPU auto-hospedada.