Analysis of LLMs Against Prompt Injection and Jailbreak Attacks

Título: Análise de LLMs contra Injeção de Prompt e Ataques de Jailbreak

1. Problema e Contexto

Os Grandes Modelos de Linguagem (LLMs) foram rapidamente adotados em sistemas do mundo real, desde assistentes autônomos até pipelines de suporte ao cliente. No entanto, essa expansão trouxe riscos de segurança críticos, especificamente injeção de prompt e ataques de jailbreak. Esses ataques exploram a tendência fundamental dos LLMs de seguir instruções de linguagem natural, permitindo que adversários contornem as restrições de segurança alinhadas durante o treinamento.

O foco da pesquisa é particularmente relevante para modelos de código aberto de pequeno e médio porte (1B a 7B parâmetros). Diferente dos modelos proprietários que podem ser retreinados com grandes recursos computacionais, organizações com recursos escassos (como universidades e empresas de pequeno porte) frequentemente implantam esses modelos menores sem capacidade de retreinamento. Isso cria uma necessidade urgente de estratégias de defesa que operem no momento da inferência (inference-time), sem modificar os pesos do modelo.

2. Metodologia

O estudo emprega uma abordagem empírica rigorosa para avaliar a vulnerabilidade e testar mecanismos de defesa.

• Modelos Avaliados: Foram testados 10 modelos de código aberto de seis famílias diferentes: Phi-3, Mistral, DeepSeek-R1, Llama 3.2, Qwen e Gemma, variando de 1B a 7B parâmetros.
• Conjunto de Dados de Ataque:
  • Um dataset diversificado e manualmente curado, composto por 94 cenários de injeção de prompt e 73 cenários de jailbreak (totalizando 438 prompts na fase inicial e 2.220 na fase com defesa).
  • As fontes incluem comunidades online (Reddit, Discord), repositórios de código aberto (GitHub), benchmarks acadêmicos (HarmBench, JailbreakBench) e prompts criados manualmente.
  • As categorias de ataque cobrem: Respostas a Perguntas, Conformidade Básica, Sobrescrita de Instrução, Jailbreaks Baseados em Personagem (Role-play) e Prompts de Longo Formato/Multi-etapa.
• Mecanismos de Defesa (Inference-Time): Cinco defesas leves foram testadas, operando sem retreinamento:
  1. Classificação de Risco de Prompt (Input Filtering): Filtragem baseada em palavras-chave e regex.
  2. Autoavaliação (Self-Examination): O modelo (ou um modelo auxiliar) reavalia a saída antes de mostrá-la ao usuário.
  3. Guardrails Baseados em Política (System Prompt): Reforço das instruções do sistema para priorizar a segurança.
  4. Defesa Vetorial (Vector Defence): Detecção de similaridade semântica com padrões de ataque conhecidos em espaço vetorial.
  5. Defesa por Votação (Voting Defence): Geração de múltiplas respostas e seleção da mais segura por consenso.
• Avaliação: As respostas foram classificadas como "Vulneráveis" (sucesso do jailbreak) ou "Não Vulneráveis" (recusa ou segurança). A avaliação foi realizada principalmente por um LLM juiz, com validação humana para garantir precisão e identificar modos de falha sutis, como "não resposta silenciosa".

3. Contribuições Principais

1. Avaliação Empírica Abrangente: Teste sistemático de 10 modelos de código aberto contra um vasto conjunto de ataques reais e sintéticos.
2. Análise de Defesas Leves: Avaliação comparativa de cinco mecanismos de defesa que não exigem GPU intensiva ou retreinamento.
3. Identificação de Modos de Falha Críticos: Destaque para o fenômeno de "não resposta silenciosa" (silent non-responsiveness), onde modelos bloqueiam a saída internamente sem fornecer uma mensagem de recusa clara, o que pode degradar a confiança do usuário e a depuração.
4. Liberdade de Dados: Disponibilização pública do dataset de prompts adversários curados para pesquisa reprodutível em segurança de LLMs.

4. Resultados Chave

• Vulnerabilidade Baseline (Sem Defesa):

  • Houve uma variação significativa entre os modelos. Modelos menores (ex: Qwen 1.7B, Gemma 1B) apresentaram taxas de vulnerabilidade altíssimas (acima de 60-70%).
  • Modelos maiores ou com alinhamento mais forte (ex: Phi-3 3.8B, Mistral 7B, DeepSeek-R1 7B) mostraram 0% de vulnerabilidade direta.
  • Observação Crítica: O tamanho do modelo não garante segurança. Modelos maiores com forte alinhamento tendem a recusar, mas alguns exibem "não resposta silenciosa", enquanto outros fornecem recusas claras. A robustez não é monotônica em relação ao tamanho.

• Eficácia das Defesas:

  • Autoavaliação (Self-defence): Foi a estratégia mais robusta, reduzindo consistentemente a vulnerabilidade para quase zero em vários modelos (ex: Qwen 4B e DeepSeek-R1 1.5B atingiram 0% de vulnerabilidade).
  • Filtragem de Entrada (Input Filtering): Foi a defesa menos eficaz, muitas vezes falhando contra prompts longos e complexos, e em alguns casos aumentando a vulnerabilidade em comparação com a ausência de defesa.
  • Defesa Vetorial e Votação: Ofereceram melhorias moderadas, mas não superaram a autoavaliação.
  • Guardrails de Sistema: Melhoraram a segurança, mas foram inconsistentes dependendo do tamanho do modelo.

• Impacto de Prompts Complexos:

  • Ataques de longo formato, que usam cadeias de raciocínio e narrativas contextuais ricas, foram consistentemente capazes de contornar defesas baseadas em filtragem superficial.
  • A defesa intrínseca (recusa do próprio modelo) mostrou-se superior às defesas externas reativas.

5. Significado e Conclusão

O estudo conclui que, embora mecanismos de defesa leves no momento da inferência possam mitigar ataques simples, eles são insuficientes contra estratégias de jailbreak sofisticadas e baseadas em raciocínio.

• Dependência de Alinhamento Intrínseco: A segurança robusta depende mais da qualidade do alinhamento e dos mecanismos de recusa internos do modelo do que de filtros externos.
• Limitações de Defesas Externas: Filtros baseados em palavras-chave ou vetores não conseguem capturar a intenção maliciosa em narrativas complexas.
• Caminho Futuro: Há uma necessidade crítica de pesquisar como integrar o raciocínio de segurança diretamente na arquitetura dos LLMs, especialmente para modelos menores que não podem suportar retreinamento pesado. A simples dependência de camadas de defesa externas não garante segurança em cenários de implantação real.

Em suma, o trabalho alerta que a segurança de LLMs de código aberto não é garantida apenas pelo tamanho do modelo ou por filtros superficiais, exigindo uma abordagem que priorize a robustez intrínseca do modelo e a compreensão de modos de falha sutis como a não resposta silenciosa.