Resumo Técnico: O Grande Fingidor: Um Problema de Estocasticidade em Jailbreaks de LLM

1. Declaração do Problema

O padrão atual para avaliar a segurança de Modelos de Linguagem de Grande Escala (LLM), a Taxa de Sucesso do Ataque (ASR), é fundamentalmente falho porque trata a ASR como uma propriedade fixa de um ataque. Os autores argumentam que a ASR é, na verdade, uma variável aleatória fortemente influenciada por duas fontes independentes de estocasticidade que são amplamente ignoradas na literatura existente:

1. Estocasticidade de Geração: A maioria dos ataques de jailbreak (por exemplo, Best-of-N, Crescendo) é estocástica por design. Eles geram múltiplos prompts candidatos e selecionam um com base em um único teste bem-sucedido. Uma única execução produz um conjunto diferente de candidatos dependendo da semente aleatória, levando a resultados de ASR variáveis.
2. Estocasticidade de Avaliação: Juízes automatizados (por exemplo, Llama-Guard) usados para classificar respostas como "prejudiciais" ou "seguras" são, eles próprios, estocásticos quando operam com temperatura $T > 0$. A mesma resposta do modelo pode ser rotulada como prejudicial em uma avaliação e benigna em outra.

Consequentemente, os números de ASR reportados são sistematicamente inflados e incomparáveis entre artigos. Um prompt que tem sucesso em 1 de 10 tentativas é frequentemente tratado de forma idêntica a um que tem sucesso em 10 de 10, mascarando o fato de que o primeiro pode ser um "sorteio sortudo" em vez de uma vulnerabilidade genuína.

2. Metodologia

O artigo propõe um estudo empírico sistemático para quantificar o impacto desses fatores estocásticos.

Configuração Experimental

• Ataques: Quatro ataques de caixa preta foram avaliados: Best-of-N (BoN), PAIR, TAP e Crescendo.
• Modelos Alvo: Cinco modelos ajustados para instruções variando de 1B a 70B parâmetros, abrangendo três famílias (Meta Llama-3, Google Gemma-3, IBM Granite).
• Juízes: Dois juízes baseados em LLM (Llama-Guard-3-1B e Llama-Guard-3-8B).
• Parâmetros: O estudo varia seis parâmetros de estocasticidade ao longo das pipelines de geração e avaliação:
  • Temperaturas: Geração do modelo alvo ($T_{gen}$), avaliação do modelo alvo ($T_{eval}$), geração do juiz ($\theta_{gen}$) e avaliação do juiz ($\theta_{eval}$).
  • Limites de Consistência: O número de avaliações consecutivas bem-sucedidas necessárias ($k_{gen}$ para geração, $k_{eval}$ para avaliação).
  • Sementes: Múltiplas sementes aleatórias independentes ($S=5$) para medir a variância.

Frameworks Propostos

Para abordar a instabilidade da ASR, os autores introduzem a Consistência para Sucesso do Ataque (CAS) e dois frameworks associados:

1. Métrica CAS: Um indicador binário por prompt. Um jailbreak é contado como bem-sucedido apenas se todas as $k$ avaliações independentes retornarem um veredito prejudicial.

   • A ASR padrão corresponde a $k=1$.
   • A métrica ao nível do conjunto de dados é $ASR(k_{eval})$, a fração de prompts onde $CAS(r, k_{eval}) = 1$.

2. CAS-gen (Framework de Geração de Ataque):

   • Em vez de aceitar um prompt de jailbreak após um único teste bem-sucedido ($k_{gen}=1$), o ataque deve elicitar uma resposta prejudicial consistentemente em $k_{gen}$ execuções independentes.
   • Isso filtra "sucessos por acaso" na fonte, garantindo que o conjunto de dados de ataque contenha apenas prompts robustos.

3. CAS-eval (Framework de Avaliação de Ataque):

   • Um prompt de jailbreak fixo é avaliado $k_{eval}$ vezes. Ele é classificado como um jailbreak consistente apenas se todas as $k_{eval}$ chamadas do juiz retornarem um veredito prejudicial.
   • Isso suprime falsos positivos causados pela não determinística do juiz.

3. Resultados Principais

A avaliação revela que os parâmetros de estocasticidade podem alterar a ASR reportada em margens massivas (até 54 pontos percentuais), tornando as comparações entre artigos inválidas sem padronização.

• Impacto do Limiar de Avaliação ($k_{eval}$): A mudança de $k_{eval}=1$ para $k_{eval}=10$ reduz a ASR em 12 a 24 pontos percentuais em todas as configurações. Isso indica que a avaliação única padrão superestima significativamente o sucesso do ataque.
• Impacto da Temperatura do Juiz ($\theta_{eval}$): Este é o parâmetro mais volátil. Aumentar $\theta_{eval}$ de 0,0 para 1,0 pode colapsar a ASR em até 54 pontos percentuais (por exemplo, Crescendo caindo de 86% para 32%). Em $\theta_{eval}=0$, a ASR torna-se perfeitamente estável.
• Impacto do Orçamento de Geração ($k_{gen}$): Aumentar $k_{gen}$ de 1 para 10 eleva a ASR reportada em 12 a 30 pontos percentuais. Um filtro frouxo ($k_{gen}=1$) admite prompts limítrofes que degradam drasticamente sob avaliação repetida.
• Impacto da Temperatura do Modelo Alvo ($T_{eval}$): A mudança de $T_{eval}$ de 0,0 para 1,0 altera a ASR em no máximo 18 pontos percentuais, sem direção sistemática; não afeta o ranking relativo dos ataques.
• Impacto da Semente do Ataque: A dispersão entre sementes é modesta (até 20 pontos percentuais), mas pode ser maior para configurações específicas (por exemplo, 50 pontos para BoN com LG-8B em $k_{eval}=10$).

4. Contribuições e Significado

O artigo faz três contribuições principais:

1. Estudo Empírico Sistemático: A primeira análise abrangente tanto da estocasticidade de geração quanto de avaliação através de múltiplos ataques, modelos e juízes, identificando parâmetros específicos que impulsionam a variância da ASR.
2. Nova Métrica e Frameworks: A introdução da CAS (Consistência para Sucesso do Ataque) e dos frameworks CAS-gen/CAS-eval. Essas ferramentas permitem que pesquisadores filtrem sorteios sortudos e ruído dos juízes, produzindo estimativas de ASR mais confiáveis e reproduzíveis.
3. Padrão Mínimo de Relato: Os autores propõem uma lista de verificação para pesquisas futuras para garantir comparabilidade. No mínimo, os artigos devem divulgar:
   • $k_{gen}$ (limiar de consistência de geração)
   • $k_{eval}$ (limiar de consistência de avaliação)
   • $\theta_{eval}$ (temperatura de avaliação do juiz)
   • (Para ataques BoN) $\theta_{gen}$ (temperatura de busca do juiz)

Significado:
O artigo argumenta que a prática atual de relatar a ASR como uma estimativa pontual sem controlar a estocasticidade é "fundamentalmente falha". Ao ignorar essas variáveis, a comunidade cria um cenário de "Grande Fingidor", onde altas pontuações de ASR são frequentemente artefatos de sementes aleatórias e ruído do juiz, em vez de vulnerabilidades genuínas. Os frameworks propostos e os padrões de relato visam restaurar o rigor estatístico ao benchmarking de segurança de LLM, garantindo que as taxas de sucesso reportadas reflitam a eficácia real e reproduzível dos ataques. Os autores observam que suas descobertas são baseadas em modelos de pesos abertos e que estender essa análise para modelos proprietários, fortemente alinhados com RLHF, permanece uma questão empírica aberta devido a restrições de API e falta de transparência.