SoK: Systematizing LLM Prompt Security: Taxonomies, Datasets, and Unified Evaluation of Attacks and Defenses

Resumo Técnico: SoK: Sistematizando a Segurança de Prompts de LLM

Declaração do Problema
A rápida implantação de Grandes Modelos de Linguagem (LLMs) como interfaces para informações e serviços tornou a segurança ao nível de prompt uma preocupação crítica. Embora o campo tenha visto avanços rápidos em ataques de jailbreak, camadas de defesa (defensive wrappers), políticas de segurança, conjuntos de dados e juízes automatizados, a comunidade enfrenta um problema de fragmentação significativa. Trabalhos anteriores frequentemente dependem de modelos de ameaça, suposições de acesso, orçamentos de custo, conjuntos de dados e critérios de sucesso incompatíveis. Essa falta de padronização torna difícil comparar as Taxas de Sucesso de Ataque (ASR) ou os ganhos de defesa relatados. Consequentemente, muitas vezes não está claro se o progresso observado provém de um método mais forte, de um modelo alvo mais fraco, de regras de julgamento diferentes ou simplesmente de um orçamento de consulta maior. O desafio central é determinar se as alegações de segurança podem ser comparadas sob condições unificadas e auditáveis.

Metodologia
Os autores propõem uma abordagem sistemática para a avaliação da segurança de prompts de LLM, movendo-se de demonstrações específicas de artigos para medições reproduzíveis e fundamentadas em taxonomias. A metodologia consiste em quatro componentes principais:

1. Três Taxonomias Interligadas: O artigo estabelece um framework conceitual que separa mecanismos técnicos das capacidades de atacante/defensor:

   • Taxonomia I (Ataques de Jailbreak): Classifica ataques por modelo de ameaça (Black-box vs. White-box) e metodologia técnica (ex: Modificação de Prompt, Otimização de Caixa Preta, Técnicas Assistidas por LLM, Técnicas de Múltiplos Turnos e Exploração de Vulnerabilidades do Modelo). Trata os ataques como composicionais, permitindo que um único método instancie múltiplas unidades técnicas atômicas.
   • Taxonomia II (Defesas): Agrupa defesas por objetivo (Detecção vs. Mitigação) e camada de intervenção (Nível de Entrada, Nível de Saída, Estado Interno, Treinamento do Modelo, Modificação do Modelo, Processamento de Saída).
   • Taxonomia III (Vulnerabilidades de LLM): Categoriza modos de falha intrínsecos do modelo explorados por ataques, tais como Exploração de Formato, Dependência Excessiva de Instruções do Usuário, Manipulação Psicológica e Ambiguidade Contextual.

2. Protocolo de Avaliação Auditável: Os autores formalizam as suposições de ameaça, acesso e custo como metadados explícitos. Eles definem um experimento como uma tupla $\langle M, A, D, S, J \rangle$, representando Modelo, Ataque, Defesa, Conjunto de Dados e Juiz. Este protocolo exige que as comparações só sejam válidas quando as identidades dos componentes e as configurações (ex: LLMs assistentes, parâmetros de decodificação, orçamentos de consulta, composição de defesa) forem correspondentes.

3. Plataforma PROMPTSECURITY: Uma plataforma de avaliação modular é introduzida para operacionalizar o protocolo. Ela representa cada experimento como uma tupla configurada, permitindo comparações compatíveis com o acesso e auditáveis. A plataforma registra identificadores de amostras, saídas, configurações, contagens de consultas e configurações de juiz para garantir a reprodutibilidade.

4. Conjuntos de Dados Unificados: Os autores lançam o JAILBREAKDB, um corpus curado contendo 445.752 pares de prompt de sistema-usuário de jailbreak de 48 fontes e 1.094.122 prompts benignos de 14 fontes. Eles também lançam o PROMPTSECURITY-EVAL, contendo 166.200 registros de saída de consultas prejudiciais e 9.200 registros de saída de utilidade benigna gerados sob o protocolo principal.

Principais Contribuições

• Taxonomias ao Nível de Mecanismo: O artigo sistematiza o campo através de três taxonomias interligadas que suportam mapeamentos de subcategorias multirrótulo, permitindo que alegações empíricas sejam feitas ao nível da subcategoria da taxonomia, e não apenas ao nível do método.
• Plataforma de Avaliação Unificada: A introdução do PROMPTSECURITY, que trata a compatibilidade de acesso, o uso de LLM assistente e os critérios de julgamento como partes auditáveis da alegação de segurança, permitindo estudos de ablação controlados em um espaço de design compartilhado.
• Insights Empíricos: A plataforma foi utilizada para avaliar 11 modelos alvo, 21 configurações de ataque, 10 estados de defesa e três juízes sob configurações correspondentes.
• Datasets e Leaderboard: O lançamento do JAILBREAKDB e do PROMPTSECURITY-EVAL, juntamente com um leaderboard interativo para navegar por medições compatíveis do protocolo principal.

Resultos e Descobertas Empíricas
A avaliação produz várias descobertas ao nível da taxonomia:

• Acesso e Capacidade do Modelo: Modelos de fronteira black-box estão mais expostos a ataques de transformação de prompt e ofuscação que ajudam o modelo alvo a recuperar a intenção prejudicial ocultada. Por outro lado, modelos white-box mais fracos frequentemente suprimem prompts transformados complexos não devido a uma robustez maior, mas porque falham em executar a tarefa de ataque (ex: falhando em processar prompts de estilo de código).
• Mecanismos de Ataque: Em modelos black-box, transformações de prompt de baixo custo frequentemente superam jailbreaks de linguagem natural gerados por assistentes. Em modelos white-box, essa ordem muda, com a busca e o refinamento assistidos por LLM mostrando maior persistência.
• Eficácia da Defesa: A eficácia da defesa depende do mecanismo. A detecção e o roteamento de entrada/saída dominam a mitigação média. No entanto, o acesso white-box por si só não garante uma defesa forte; por exemplo, a triagem de gradiente e a otimização de safety-prompt forneceram pouca ou até negativa mitigação média em alguns casos.
• Efeito Reverso da Defesa (Defense Backfire): As defesas podem introduzir novos comportamentos prejudiciais. O ajuste de safety-prompt, por exemplo, aumentou a ASR média de saída prejudicial porque o direcionamento (steering) adicionado às vezes transformou prompts anteriormente seguros em conclusões prejudiciais.
• Sensibilidade do Juiz: A escolha do juiz afeta materialmente as conclusões de segurança. Verificações de prefixo (instrumentos de formato de recusa) podem supercontar saídas benignas de não-recusa e perder saídas prejudiciais escondidas atrás de aberturas do tipo recusa. Juízes condicionados ao comportamento são altamente sensíveis à descrição de comportamento específica fornecida, levando a uma variância significativa nas medições de ASR.

Significância
O artigo argumenta que a segurança de prompt de LLM deve ser avaliada ao nível de grupos de mecanismos sob controle de configuração justa. A significância deste trabalho reside na sua mudança de demonstrações específicas de artigos para uma avaliação reprodutível, consciente de custos e fundamentada em taxonomias. O objetivo não é meramente identificar qual método possui uma ASR mais alta, mas sim esclarecer qual mecanismo, escolha de configuração ou regra de julgamento explica o comportamento de segurança relatado. Ao fornecer uma base de taxonomias interligadas, um protocolo executável, uma plataforma modular e conjuntos de dados unificados, os autores visam permitir avaliações futuras que possam distinguir entre progresso metodológico genuíno e artefatos de design experimental.