How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

Resumo Técnico: Calibração e Robustez Adversária de Pontuação Automática de ASR

Declaração do Problema
O campo da segurança de Grandes Modelos de Linguagem (LLMs) depende fortemente da Taxa de Sucesso de Ataque (ASR - Attack Success Rate) para quantificar a eficácia de jailbreaks e defesas. No entanto, a determinação de se a resposta de um modelo é "prejudicial" é feita quase exclusivamente por juízes automatizados, em vez de anotadores humanos. Esses juízes dividem-se em duas categorias principais: classificadores de segurança dedicados (ex: classificador HarmBench, Llama-Guard) e modelos de instrução geral ajustados para atuar como avaliadores (LLM-as-judge). O artigo argumenta que essa dependência não é merecida; se esses juízes forem mal calibrados ou facilmente manipulados, os valores de ASR relatados estarão inflados ou deflacionados, e podem ser artificialmente alterados por atacantes ou autores sem mudar o conteúdo real da saída do modelo. O problema central é a falta de verificação quanto à confiabilidade e robustez desses juízes automatizados.

Metodologia
Os autores avaliam a confiabilidade desses juízes usando o conjunto de validação do classificador HarmBench, que contém 596 pares de requisições prejudiciais e respostas de modelos rotuladas por três anotadores humanos (usando o voto da maioria como verdade fundamental/ground truth).

1. Juízes Avaliados:
   • Classificador Dedicado: cais/HarmBench-Llama-2-13b-cls.
   • LLM-as-Judges: Três modelos de pesos abertos ajustados para instrução: Qwen2.5-7B-Instruct, Phi-3.5-mini-instruct e Qwen2.5-3B-Instruct.
2. Calibração: As saídas dos juízes foram comparadas com os rótulos de maioria humana para calcular precisão, revocação (recall), F1 e acurácia.
3. Robustez Adversária (Ataques de Superfície): Os autores testaram "envoltórios preservadores de conteúdo" (content-preserving wrappers) nos verdadeiros positivos dos juízes. Esses ataques adicionaram enquadramentos benignos (ex: uma frase de recusa, um preâmbulo/posâmbio, um enquadramento educacional ou um diálogo fictício) sem alterar o núcleo prejudicial da resposta. A métrica utilizada foi a "taxa de inversão" (flip rate) — a porcentagem de casos onde o juiz mudou seu veredito de "prejudicial" para "não prejudicial".
4. Robustez Adversária (Ataques White-Box): Para o classificador dedicado, os autores aplicaram um ataque baseado em gradiente (GCG) em seus pesos abertos. Isso envolveu a otimização de um sufixo adversário de 20 tokens para minimizar a lacuna de logit entre "Sim" (prejudicial) e "Não" (não prejudicial), mantendo o corpo prejudicial de forma íntegra.
5. Auditoria Humana: Para garantir que uma "inversão" representasse o juiz sendo enganado e não a remoção do dano, dois anotadores independentes revisaram uma amostra aleatória de 80 respostas invertidas.

Principais Contribuições

1. Comparação Ancorada em Humanos: Uma comparação direta de classificadores dedicados e LLM-as-judges contra rótulos humanos sob um protocolo de ataque unificado.
2. Evidência de Fragilidade: Demonstração de que envoltórios preservadores de conteúdo podem enganar todos os juízes LLM testados, enquanto um classificador dedicado resiste a esses ataques de superfície.
3. Vulnerabilidade White-Box: Um ataque baseado em gradiente que consegue quebrar um classificador dedicado que resiste a envoltórios de superfície, mostrando que juízes de pesos abertos são vulneráveis à otimização direta.
4. Verificação Humana: Uma auditoria independente confirmando que as inversões adversárias mantiveram o conteúdo prejudicial, provando que os juízes foram enganados em vez de o dano ter sido mitigado.

Resultos

• Discrepâncias de Calibração: As duas famílias de juízes falham de formas opostas.
  • O classificador dedicado exibe alta revocação (0.974), mas menor precisão (0.835), o que significa que ele raramente perde o dano, mas frequentemente sinaliza conteúdo benigno como prejudicial (inflando o ASR).
  • Os LLM-judges mantêm alta precisão (0.81–0.94), mas sofrem de uma revocação errática e baixa (0.06–0.65), o que significa que eles perdem grandes frações de danos reais.
• Vulnerabilidade a Ataques de Superfície:
  • LLM-judges: Altamente frágeis. Uma única frase de recusa colocada antes do conteúdo prejudicial inverteu o veredito para 39% a 88% dos casos. A taxa de qualquer envoltório invertendo um veredito variou de 57% a 100% entre os três LLM-judges.
  • Classificador Dedicado: Altamente resistente a ataques de superfície, com uma taxa de inversão por qualquer envoltório de apenas 3,4%.
• Vulnerabilidade a Ataques White-Box:
  • Apesar de resistir a envoltórios de superfície, o classificador dedicado foi vulnerável a um ataque GCG white-box. Em 30 verdadeiros positivos confiantes, o ataque inverteu 21 casos (70% de taxa de sucesso) com um pequeno orçamento de otimização (50 passos).
• Auditoria Humana: Todas as 80 respostas invertidas amostradas mantiveram o conteúdo prejudicial, confirmando que os ataques enganaram com sucesso os juízes sem remover o dano subjacente.

Significância e Recomendações
O artigo conclui que nenhum juiz deve ser confiado sem verificação empírica. A escolha do juiz altera fundamentalmente os valores de ASR relatados. Os autores argumentam que a prevalência atual de LLM-as-judges significa que muitas métricas de segurança relatadas são pouco confiáveis tanto na média quanto sob pressão deliberada.

Os autores propõem quatro práticas específicas para pesquisas futuras:

1. Relatar Métricas: Artigos devem declarar qual juiz é usado e relatar sua precisão e revocação em um recorte de dados rotulados por humanos.
2. Corrigir ASR: Relatar o ASR corrigido pela precisão do juiz (ex: $ASR_{corrigido} \approx ASR_{relatado} \times precisão$) para contabilizar falsos positivos.
3. Checagem Adversária: Incluir uma checagem adversária do juiz (ex: envoltórios preservadores de conteúdo) e relatar a taxa de inversão.
4. Seleção de Juiz: Preferir classificadores dedicados em vez de LLM-judges para pontuação, reconhecendo, porém, que classificadores de pesos abertos permanecem vulneráveis a ataques baseados em gradiente.

O trabalho enfatiza que os próprios procedimentos de avaliação de segurança devem ser testados adversariamente, em vez de serem tratados como oráculos de verdade absoluta.