Prompt Attack Detection with LLM-as-a-Judge and Mixture-of-Models

Resumo Técnico: Detecção de Ataques de Prompt com LLM como Juiz e Mistura de Modelos

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam riscos críticos de segurança devido a ataques de prompt, incluindo jailbreaks (quebra de restrições) e prompt injections (injeção de prompts). Em ambientes de produção, a implementação de "guarda-chuvas" (guardrails) para mitigar esses ataques apresenta um dilema de engenharia:

• Classificadores Leves (Baseados em Encoder): São rápidos e atendem a restrições de baixa latência, mas carecem de capacidade de raciocínio para detectar ataques sutis, "área cinzenta" ou baseados em contexto, resultando em baixa generalização.
• LLMs de Alta Capacidade: Oferecem detecção superior, mas são lentos e custosos para uso em tempo real, criando um gap de implantação onde a segurança precisa ser tanto precisa quanto rápida.

Além disso, benchmarks existentes muitas vezes utilizam templates de ataque desatualizados ou cenários de jogos (gamified), falhando em refletir ataques reais complexos e evoluídos encontrados em sistemas de produção.

2. Metodologia

Os autores propõem uma abordagem prática focada na implantação real, composta por três pilares principais:

A. LLM como Juiz (LLM-as-a-Judge) com Raciocínio Estruturado
Em vez de pedir uma classificação binária direta ("Seguro/Inseguro"), o modelo é guiado por um prompt que impõe um processo de raciocínio estruturado (Chain-of-Thought):

1. Decomposição de Intenção: O modelo deve primeiro remover "molduras" (framing) como contextos fictícios, acadêmicos ou de código para isolar o pedido central.
2. Verificação de Sinais de Segurança: Identificação de terminologia defensiva (ex: "mitigar", "proteger") versus linguagem maliciosa.
3. Avaliação de Dano: Classificação do nível de dano potencial.
4. Auto-reflexão Obrigatória: O modelo deve criticar sua própria decisão preliminar, questionando se um pedido assertivo é realmente um ataque ou uma instrução de trabalho legítima.
5. Veredito Final: Apenas após a reflexão, o modelo emite um veredito booleano e uma pontuação de confiança.

B. Conjunto de Dados Curado (Real-World + Red Teaming)
Foi criado um conjunto de dados privado com 929 amostras:

• Benignas (82.9%): Coletadas de chatbots reais do serviço público de Cingapura, incluindo "armadilhas de Falso Positivo" (instruções complexas que parecem ataques, mas são legítimas).
• Adversárias (17.1%): Geradas via Red Teaming Automatizado (usando PAIR com GPT-4o), cobrindo técnicas modernas como engenharia social, enquadramento criativo, mistura de código e elevação de privilégios.

C. Mistura de Modelos (Mixture-of-Models - MoM)
Os autores investigaram se agregar múltiplos juízes LLM melhora a robustez. Utilizaram uma arquitetura paralela onde as pontuações de vários modelos são combinadas via uma soma ponderada e um limiar de decisão, otimizados através de busca em grade (grid search) para maximizar o F1-score.

3. Principais Contribuições

1. Validação de LLMs Leves como Guardas em Tempo Real: Demonstraram que LLMs de propósito geral e leves (como gemini-2.0-flash-lite-001), quando guiados por prompts estruturados de raciocínio, superam classificadores leves e modelos especializados em segurança, mantendo latência aceitável.
2. Benchmarks Realistas: A criação de um conjunto de dados que combina tráfego de produção real com ataques gerados por IA, superando as limitações de benchmarks públicos baseados em templates antigos.
3. Análise Crítica de Ensembles (MoM): Evidência empírica de que simplesmente adicionar mais modelos a um ensemble não garante melhoria; na verdade, pode degradar o desempenho se os modelos não forem complementares.

4. Resultados Chave

• Desempenho de Detecção:

  • A abordagem LLM-as-a-Judge superou consistentemente classificadores baseados em encoder (como PromptGuard) e modelos especializados de segurança (como Qwen3Guard e gpt_oss_safeguard).
  • O modelo gpt-5.1 alcançou o melhor F1-score (0.8711), mas o gemini-2.0-flash-lite-001 ofereceu o melhor equilíbrio entre latência (1.5s) e desempenho (F1 = 0.844), sendo viável para produção.
  • Modelos leves superaram soluções proprietárias como o Amazon Bedrock Guardrails (que teve F1 de apenas 0.1198 no teste).

• Importância do Design do Prompt:

  • A exigência de etapas intermediárias (categorização, verificação de sinais, auto-reflexão) resultou em F1-scores significativamente maiores do que abordagens que pedem apenas um veredito direto com explicação (como a biblioteca OpenAI Guardrails).

• Modo de Pensamento (Thinking Mode):

  • Contrariando a intuição, ativar o "modo de pensamento" (raciocínio interno) nos modelos não melhorou o desempenho e, em alguns casos, piorou. Configurações sem pensamento interno foram mais rápidas e precisas para esta tarefa específica.

• Mistura de Modelos (MoM):

  • Sem Garantia de Melhoria: A maioria das combinações de modelos (ensembles) piorou o desempenho em relação ao melhor modelo individual.
  • Degradação com Escala: À medida que o número de modelos aumentava (de pares para triplos e quádruplos), a probabilidade de degradação aumentava.
  • Sinergia Específica: Melhorias marginais foram observadas apenas em combinações específicas e complementares (ex: gpt-5.1 + gpt-5-mini ou gpt-5-mini + claude-haiku-4.5). Adicionar modelos fracos ou não complementares introduziu ruído.

5. Significado e Impacto

Este trabalho é significativo por demonstrar que não é necessário treinar modelos especializados massivos ou usar ensembles complexos para proteger LLMs em tempo real.

• Viabilidade de Produção: A solução baseada em gemini-2.0-flash-lite-001 já está implantada como um serviço centralizado de guarda-chuva para chatbots de serviços públicos em Cingapura.
• Mudança de Paradigma: Sugere que a chave para a segurança não está apenas na capacidade bruta do modelo, mas na engenharia de prompts que força uma estrutura de raciocínio lógico e auto-crítico.
• Diretrizes para Ensembles: Alerta os engenheiros de segurança para que não assumam que "mais modelos = mais segurança". A seleção cuidadosa de modelos complementares é mais importante do que o tamanho do ensemble.

Em resumo, o artigo valida que LLMs leves, devidamente instruídos, podem atuar como juízes de segurança eficazes, preenchendo a lacuna entre a precisão necessária e a latência exigida para aplicações de IA em produção.