Resumo Técnico: PromptSentinel – Desajuste de Distribuição na Classificação de Segurança de Prompts

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em aplicações de consumo exige classificadores de segurança de prompts automatizados para detectar solicitações prejudiciais ou que violem políticas. Embora os classificadores existentes frequentemente relatem alto desempenho em benchmarks sintéticos, este artigo investiga se essas métricas se generalizam para entradas escritas por humanos. Os autores postulam uma hipótese de desajuste de distribuição: os benchmarks atuais, frequentemente construídos usando transformações adversariais e templates de ataque curados, falham em capturar a diversidade da interação humana natural (ex: roleplay, escrita criativa, solicitações conversacionais). Consequentemente, o desempenho medido em dados sintéticos pode superestimar substancialmente a confiabilidade no mundo real, particularmente em relação à classe "segura" de prompts.

Metodologia

O estudo, intitulado PromptSentinel, emprega um design experimental controlado para isolar os efeitos da distribuição de dados no desempenho do classificador.

Construção do Conjunto de Dados

Os autores construíram um corpus de treinamento de 110.060 prompts ao fundir quatro conjuntos de dados públicos para garantir diversidade de fontes e equilíbrio de classes:

1. TrustAIRLab In-the-Wild Jailbreak Prompt: Usado exclusivamente como um conjunto de teste retido (6.387 prompts, incluindo 666 jailbreaks escritos por humanos).
2. ToxicChat: 4.981 conversas reais de usuários (chatbot Vicuna) anotadas para toxicidade.
3. Qualifire Prompt Injection Benchmark: Um conjunto de dados quase equilibrado que aborda o desequilíbrio de classes.
4. WildJailbreak: O maior dataset público de jailbreak, fornecendo variantes tanto sintéticas (transformações automatizadas) quanto escritas por humanos.

O corpus de treinamento final foi equilibrado (54,3% seguro, 45,7% inseguro) através de diversidade de fontes, em vez de sobreamostragem.

Design Experimental

Os autores avaliaram um classificador de vetorização TF-IDF combinado com uma Regressão Logística (com pesos de classe equilibrados) através de quatro questões de pesquisa (RQs):

• RQ1 (Generalização de Tipo de Ataque): Testou se o treinamento em prompts diretamente prejudiciais se generaliza para prompts adversariais (estilo jailbreak) e vice-versa, usando subconjuntos do dataset WildJailbreak.
• RQ2 (Detecção de Jailbreak Escrito por Humanos): Avaliou o classificador treinado no corpus diverso contra o conjunto de teste retido TrustAIRLab. Isso incluiu estratificação por comprimento de prompt e uma comparação entre TF-IDF e embeddings de sentença MiniLM (tanto de prompt completo quanto fragmentado/chunked).
• RQ3 (LLM-as-Judge): Investigou se um juiz zero-shot baseado em LLM (Llama-3.1-8B) poderia corrigir erros do classificador (falsos positivos) sem sacrificar a detecção de verdadeiros positivos.
• RQ4 (Análise de Distribuição em Quatro Baldes): Isolou o efeito da origem do prompt avaliando o desempenho em quatro baldes distintos:
  • Sintético Seguro (WildJailbreak benigno)
  • Sintético Inseguro (WildJailbreak adversarial)
  • Humano Seguro (WildChat)
  • Humano Inseguro (TrustAIRLab jailbreaks)

Principais Resultados

1. Degradação Significativa de Desempenho em Dados Humanos

A descoberta mais crítica é o hiato substancial entre dados sintéticos e escritos por humanos:

• Taxa de Falso Positivo (FPR): Em prompts benignos sintéticos, o FPR foi de 1,0%. Em prompts seguros escritos por humanos, o FPR saltou para 32,0%.
• Recall (Detecção de Conteúdo Prejudicial): Em prompts adversariais sintéticos, o recall foi de 98,0%. Em jailbreaks escritos por humanos, o recall caiu para 65,4%.

2. Tipo de Ataque vs. Origem dos Dados

Dentro do dataset sintético WildJailbreak, o classificador apresentou desempenho consistente, independentemente de ter sido treinado em prompts diretos ou adversariais (Recall ~0,978–0,981). Isso sugere que a lacuna de desempenho não é impulsionada pelo tipo específico de ataque (direto vs. adversarial), mas sim pela origem dos dados (sintético vs. humano).

3. Limitações de Complexidade do Modelo

• Embeddings: Substituir TF-IDF por embeddings de sentença MiniLM não resolveu a lacuna. Na verdade, embeddings de prompt completo tiveram desempenho pior (Recall 0,580, Precisão 0,105). Embeddings fragmentados (chunked) melhoraram o recall em prompts longos, mas causaram taxas de falsos positivos catastróficas (até 97,0%) em prompts benignos longos.
• Comprimento do Prompt: Contrariando a expectativa de que prompts curtos seriam mais difíceis de detectar, o recall na verdade aumentou para prompts mais longos (atingindo ~0,72 para >200 palavras), sugerindo que o comprimento sozinho não explica a degradação.

4. Trade-offs do LLM-as-Judge

Aplicar um juiz LLM como um segundo filtro de passagem conseguiu recuperar 94,6% dos falsos positivos (melhorando a precisão de 0,286 para 0,640). No entanto, isso veio com um custo severo: o sistema reteve apenas 24,0% dos verdadeiros positivos (o recall caiu de 1,000 para 0,240). A análise qualitativa sugeriu que muitos jailbreaks perdidos dependiam de enquadramentos de "sobreposição de persona" (persona-override), que o juiz teve dificuldade em distinguir de um roleplay legítimo.

Significância e Alegações

O artigo argumenta que o desajuste de distribuição, especificamente a falta de diversidade na classe "segura" dos dados de treinamento, é um contribuidor primário para a falha do classificador em cenários do mundo real.

• Validade de Benchmarks: Os autores alegam que os benchmarks sintéticos atuais podem fornecer uma medida incompleta e excessivamente otimista do desempenho implantável. Alto recall em dados sintéticos não garante baixas taxas de falsos positivos em entradas humanas.
• Limites Arquiteturais: O estudo demonstra que aumentar a complexidade do modelo (ex: mover de TF-IDF para embeddings) ou adicionar juízes LLM é insuficiente para eliminar a lacuna de desempenho. O problema parece estar enraizado na distribuição dos dados, e não na arquitetura do modelo.
• Direção Futura: O artigo conclui que os benchmarks de segurança de prompt devem enfatizar mais prompts benignos diversos escritos por humanos. Os autores sugerem que trabalhos futuros devem manipular diretamente a diversidade da classe segura durante o treinamento para estabelecer um link causal entre a composição dos dados e a robustez no mundo real.

Os autores mantêm suas alegações de forma modesta, observando que a hipótese de desajuste de distribuição é atualmente correlacional. Eles reconhecem que fatores além da diversidade da classe segura (como estilo linguístico, estrutura conversacional e distribuição de tópicos) também podem contribuir para a lacuna observada, necessitando de novas intervenções controladas.