Resumo Técnico: A Taxa de Sucesso de Ataque em Configuração Única Não é Suficiente

Declaração do Problema

A literatura atual sobre ataques de jailbreak em Modelos de Linguagem de Grande Escala (LLM) depende predominantemente do relato de uma única Taxa de Sucesso de Ataque (ASR) derivada de uma configuração limitada, frequentemente selecionada de forma arbitrária, de parâmetros. Essa prática assume que uma única configuração "melhor caso" representa adequadamente toda a família de ataques. No entanto, os ataques de jailbreak modernos são famílias parametrizadas envolvendo múltiplas variáveis internas, como modelos de prompt de sistema, rodadas de conversa, dispersão de cifras, tiros de ensino e sementes de otimização.

O artigo argumenta que relatar apenas a melhor configuração única é fundamentalmente insuficiente para caracterizar o panorama de ameaças porque:

1. Caracterização Incompleta da Ameaça: Diferentes variantes da mesma família de ataque frequentemente têm sucesso em subconjuntos distintos de prompts. Uma configuração única pode perder uma parte significativa da superfície de ataque total.
2. Comparações Enganosas: Comparar ataques baseando-se apenas em números de ASR de destaque é falho se os espaços de variantes subjacentes diferirem em sensibilidade. Um ataque com alto ASR de destaque, mas alta variância (frágil a mudanças de parâmetros), não é diretamente comparável a um com ASR de destaque mais baixo, mas alta consistência.
3. Pontos Cegos dos Defensores: Defensores que focam apenas na melhor configuração relatada podem falhar em corrigir vulnerabilidades expostas por outras variantes viáveis da mesma família de ataques.

Metodologia e Métricas Propostas

Para abordar essas lacunas, os autores propõem uma mudança do relato de ponto único para o relato distribucional. Eles introduzem duas novas métricas para complementar o Melhor ASR padrão:

1. Medida de Sensibilidade de Variante (VSM)

O VSM quantifica o quão representativo é o Melhor ASR relatado em relação ao desempenho médio em todo o espaço de variantes testado. É definido como:
$$VSM = \frac{\text{Melhor ASR} - \text{ASR Médio}}{\text{Melhor ASR}}$$

• Faixa: 0 a quase 1.
• Interpretação: Um VSM próximo de 0 indica que todas as variantes performam de forma similar (o número de destaque é representativo). Um VSM próximo de 1 indica que o número de destaque reflete um valor atípico extremo, e o desempenho típico é significativamente menor.

2. Cobertura de União (UC)

A UC mede a fração total de prompts que elicita respostas inseguras ao tomar a união de todas as configurações testadas. É definida como:
$$UC = \frac{|\bigcup_{v \in V} S(v)|}{|P|}$$
Onde $V$ é o espaço de variantes, $S(v)$ é o conjunto de prompts com sucesso em jailbreak pela variante $v$, e $P$ é o conjunto completo de prompts avaliados.

• Interpretação: A UC captura a superfície de ataque total acessível a um adversário disposto a tentar múltiplas variantes. A lacuna entre o Melhor ASR e a UC indica quanto da ameaça é perdida ao selecionar uma única configuração.

Convenção de Relato

Os autores propõem que artigos futuros relatem:

• ASR por variante em um espaço de variantes claramente enumerado.
• Melhor ASR e ASR Médio.
• O VSM calculado.
• A Cobertura de União (UC) em todo o espaço de variantes.

Resultados Empíricos

Os autores validam seu framework usando duas famílias de ataques (PAIR e Aprendizado de Bijecção) em três modelos-alvo de código aberto (Mistral-7B, Qwen3-0.6B e Llama-3.1-8B), utilizando um subconjunto estratificado de 100 prompts do conjunto de dados HarmBench.

Estudo de Caso 1: PAIR (Refinamento Iterativo Automático de Prompt)

• Configuração: Testados 3 modelos de prompt de sistema cruzados com 3 profundidades de conversa (9 configurações no total) por modelo.
• Descobertas:
  • Mistral-7B: A melhor configuração única (Endosso de Autoridade, $K=3$) alcançou 69% de ASR. No entanto, a Cobertura de União em todas as 9 configurações foi de 88%. O VSM foi de 0,425, indicando que o número de destaque superestima significativamente o desempenho típico.
  • Qwen3-0.6B: O Melhor ASR foi de 75%, enquanto a Cobertura de União atingiu 93%. O VSM foi de 0,312.
  • Conclusão: Os modelos são complementares; diferentes modelos fazem jailbreak de prompts diferentes. Confiar no melhor modelo perde de 19 a 24 pontos percentuais da superfície de ataque.

Estudo de Caso 2: Aprendizado de Bijecção

• Configuração: Testados 6 níveis de dispersão cruzados com 6 contagens de tiros de ensino (36 configurações no total) por modelo.
• Descobertas:
  • Sensibilidade Extrema: Os valores de VSM foram consistentemente altos (0,80–0,86) em todos os modelos, indicando que a melhor configuração é um valor atípico severo em comparação com a média.
  • Mistral-7B: O Melhor ASR foi de 81%, mas a Cobertura de União atingiu 100%. Cada prompt avaliado foi submetido a jailbreak por pelo menos uma das 36 configurações, apesar da melhor variante única cobrir apenas 81%.
  • Llama-3.1-8B: O Melhor ASR foi de 17%, mas a Cobertura de União foi de 43%.
  • Conclusão: O relato de configuração única subestima simultaneamente a vulnerabilidade total (UC) e superestima a consistência do ataque (VSM alto).

Contribuições Principais

1. Identificação da Falha no Relato: O artigo identifica que as práticas atuais de avaliação falham em revelar se os valores de ASR relatados são representativos, frágeis ou incompletos em relação à cobertura de prompts.
2. Proposta de Padrões Distribucionais: Argumenta-se por um novo padrão que exija o relato de espaços de variantes, ASR por variante, VSM e UC.
3. Evidência Empírica: Através dos estudos de caso PAIR e Aprendizado de Bijecção, demonstra-se que a escolha da variante altera drasticamente tanto o ASR medido quanto a cobertura em nível de prompt, e que diferentes variantes expõem conjuntos disjuntos de vulnerabilidades.
4. Utilidade para Defensores e Pesquisadores: Explica como essas métricas distinguem entre o desempenho de pico de configuração única e o desempenho médio, auxiliando defensores na priorização de correções e pesquisadores na realização de comparações justas entre artigos.

Significado e Alegações

O artigo alega que o relato de ASR em configuração única não está "errado", mas é incompleto. Não argumenta que os números existentes estão incorretos, mas que carecem do contexto necessário (informação distribucional e de sobreposição de prompts) para serem interpretados corretamente.

O significado deste trabalho reside em seu potencial para:

• Melhorar a Defesa: Ao destacar a "lacuna União–Melhor", os defensores podem priorizar correções para prompts vulneráveis a qualquer variante, em vez de apenas a variante melhor conhecida.
• Padronizar a Avaliação: Ao introduzir VSM e UC, a comunidade pode afastar-se de comparações orientadas por manchetes em direção a uma caracterização mais robusta das ameaças de jailbreak.
• Revelar Ameaças Ocultas: As métricas expõem que a superfície de ataque total alcançável de um ataque pode ser substancialmente maior (18–33 pontos percentuais mais alta nos experimentos) do que o sugerido por sua melhor configuração única.

Os autores concluem que o relato distribucional, incluindo VSM e UC, deve tornar-se o novo padrão mínimo para avaliar ataques de jailbreak parametrizados, pois requer apenas um relato mais completo dos dados já gerados durante experimentação padrão.