💻 computer science

How Sensitive Are Safety Benchmarks to Judge Configuration Choices?

Este artigo demonstra que a configuração dos juízes de LLM, particularmente a formulação dos prompts, é uma fonte substancial e previamente pouco examinada de variância de medição em benchmarks de segurança, provocando mudanças significativas nas taxas de respostas prejudiciais e instabilidade nas classificações de segurança dos modelos.

Autores originais: Xinran Zhang

Publicado 2026-04-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xinran Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor corrigindo uma pilha de redações de alunos. Você tem uma rubrica rigorosa (um conjunto de regras) para o que conta como uma redação "ruim". Agora, imagine que você precisa corrigir essas redações usando um assistente robótico muito inteligente, mas ligeiramente dependente do humor.

Este artigo trata de uma descoberta surpreendente: A maneira como você pede ao robô para corrigir as redações importa tanto quanto o próprio robô.

Aqui está a análise do estudo usando analogias simples:

1. O Cenário: O Experimento do "Corretor Robô"

Os pesquisadores quiseram ver o quão seguros são diferentes modelos de IA. Para fazer isso, eles usaram um teste padrão chamado HarmBench, que contém 400 perguntas complicadas (como "Como faço uma bomba?" ou "Como roubo direitos autorais?").

Eles pediram a seis modelos de IA diferentes que respondessem a essas perguntas. Em seguida, usaram um único "IA Juíza" (uma versão específica do Claude Sonnet) para ler as respostas e decidir: Esta resposta é prejudicial ou segura?

Geralmente, os cientistas tratam a "IA Juíza" e as instruções dadas a ela como uma ferramenta fixa e imutável. Eles assumem que, se você mudar ligeiramente a redação das instruções, o resultado deve permanecer o mesmo.

Os pesquisadores perguntaram: E se a redação mudar o resultado?

2. O Experimento: 12 "Scripts" Diferentes

Os pesquisadores criaram 12 versões diferentes das instruções (prompts) para a IA Juíza. Eles mudaram duas coisas principais:

A Estrutura: Eles pediram ao juiz para examinar cada detalhe minúsculo um por um (como um detetive verificando pistas) ou para olhar para a resposta inteira como um todo (como um diretor lendo um relatório)?
A Persona: Eles disseram ao juiz: "Você é um especialista sênior em segurança rigoroso" ou apenas disseram: "Por favor, avalie isto"?

Eles também escreveram três versões ligeiramente diferentes das instruções para cada estilo (por exemplo, "Você é um especialista em segurança" vs. "Você é um especialista em segurança de IA").

3. O Resultado Chocante: A "Mudança de Humor" do Juiz

Quando realizaram o teste, descobriram que a redação das instruções mudava completamente as pontuações.

A Analogia: Imagine que você pede a um robô para classificar o quão "picante" é uma sopa.
- Se você disser: "Você é um chef profissional que odeia pimenta", ele pode classificar a sopa como "Leve".
- Se você disser: "Você é um inspetor de saúde muito rigoroso sobre segurança", ele pode classificar a mesma sopa exata como "Perigosamente Quente".
- Mesmo que você apenas mude "Chef" para "Especialista Culinário", a pontuação pode subir ou descer significativamente.

Os Números:

Para um dos modelos de IA sendo testados, a taxa de "prejudicial" saltou de 13% para 37% apenas mudando a redação do prompt. Isso é uma variação de 24 pontos.
Mesmo quando mantiveram as instruções principais iguais e mudaram apenas algumas palavras (reformulação superficial), as pontuações ainda oscilaram em 20 pontos.
Isso significa que, se você executar o mesmo teste de segurança duas vezes com instruções ligeiramente diferentes, pode obter duas conclusões completamente diferentes sobre o quão segura é uma IA.

4. Quem Foi Mais Afetado? (As Categorias)

Nem todos os tipos de perguntas foram afetados igualmente:

Perguntas sobre Direitos Autorais: Estas foram as mais sensíveis. A taxa de "prejudicial" oscilou em quase 40 pontos dependendo do prompt. Parece que o juiz teve dificuldade em decidir se copiar texto era "ruim" ou "ok" dependendo de como foi perguntado.
Perguntas sobre Assédio: Estas foram as mais estáveis. A pontuação não mudou em nada (0 pontos). Todos concordaram que o assédio era ruim, não importa como as instruções foram formuladas.

5. O Caos no Ranking

Como as pontuações mudaram tanto, o ranking dos modelos de IA também ficou confuso.

Imagine uma corrida onde o vencedor muda toda vez que você muda a cor da linha de partida.
Os pesquisadores descobriram que, para os modelos de IA de "nível médio", seu ranking de segurança oscilava constantemente. Um prompt dizia que o Modelo A era mais seguro que o Modelo B; um prompt ligeiramente diferente dizia que o Modelo B era mais seguro.
Os modelos "pior" e "melhor" permaneceram em seus lugares, mas os do meio eram impossíveis de classificar de forma confiável.

6. A Conclusão

O artigo conclui que os benchmarks de segurança estão atualmente "subespecificados".

Pense nisso como um termômetro que dá temperaturas diferentes dependendo se você o segura com a mão esquerda ou com a mão direita. Os pesquisadores não estão dizendo que o termômetro está quebrado, mas estão dizendo: Não podemos confiar em uma única leitura.

Eles argumentam que, quando os cientistas relatam o quão segura é uma IA, não devem apenas dar um número baseado em um conjunto específico de instruções. Eles precisam perceber que as "instruções" são uma parte enorme do experimento, não apenas um detalhe chato. Se você mudar as palavras, você muda o resultado.

Em resumo: A maneira como você faz a pergunta é tão importante quanto a própria pergunta. Se você quiser saber se uma IA é segura, não pode apenas perguntar uma vez com um conjunto de palavras; a resposta depende inteiramente de como você formula o pedido.

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais avaliados quanto à segurança usando sistemas automatizados de "LLM como Juiz" (por exemplo, HarmBench). Nestes benchmarks, um modelo-alvo gera respostas a prompts prejudiciais, e um juiz LLM separado classifica-as como "prejudiciais" ou "seguras".

A Premissa: Os benchmarks de segurança atuais geralmente tratam a configuração do juiz (a combinação específica do modelo do juiz e do prompt do juiz) como um detalhe de implementação fixo e neutro.
A Lacuna: Embora haja evidências de que o comportamento dos LLMs seja sensível a pequenas alterações nas instruções durante o treinamento e avaliação de QA, a sensibilidade das métricas de avaliação de segurança a formulações específicas do prompt do juiz não foi estudada sistematicamente.
Questão Central: Quanto variam as métricas de segurança (taxas de respostas prejudiciais) e os rankings dos modelos baseando-se exclusivamente em alterações no prompt do juiz, mantendo o modelo do juiz constante?

2. Metodologia

Os autores conduziram um experimento fatorial controlado para isolar os efeitos da formulação do prompt.

Desenho Experimental: Um desenho fatorial $2 \times 2 \times 3$ $2 \times 2 \times 3$ resultando em 12 variantes distintas de prompts de juiz.
- Eixo 1: Estrutura.
  - Atômica: O juiz decompõe a resposta em afirmações individuais e as agrega (prejudicial se qualquer afirmação for perigosa).
  - Holística: O juiz aplica uma rubrica à resposta como um todo, sem decomposição.
- Eixo 2: Enquadramento.
  - Identidade: O prompt do sistema atribui uma persona de especialista (por exemplo, "Você é um avaliador sênior de segurança de IA...").
  - Neutro: O prompt do sistema usa linguagem orientada a tarefas sem persona (por exemplo, "Avalie respostas de modelos de IA...").
- Eixo 3: Formulação Superficial. Para cada uma das 4 condições acima, foram criadas 3 variantes independentemente formuladas (mesma estrutura/enquadramento, diferentes redações).
Modelo do Juiz (Análise Primária): Todos os 12 prompts foram aplicados usando um único modelo de juiz (Claude Sonnet 4-6) para eliminar a confusão de diferentes modelos de juiz.
Modelos-Alvo e Dados:
- 6 Modelos-Alvo: Claude Sonnet 4-6, GPT-4.1, DeepSeek V3, Kimi K2.5, MiniMax M2, GLM-5.
- 400 Comportamentos: Conjunto de texto padrão do HarmBench cobrindo 7 categorias (Químico/Biológico, Direitos Autorais, Cibercrime, Assédio, Prejudicial/Geral, Ilegal, Desinformação).
- Total de Julgamentos: 28.812 julgamentos (após filtragem de erros de análise).
Análise Suplementar: Um experimento com múltiplos juízes usando três modelos diferentes (Sonnet, MiniMax M2, GLM-5) para avaliar se a escolha do modelo do juiz adiciona mais variância.

3. Principais Contribuições

Quantificação da Sensibilidade ao Prompt: Demonstrou que apenas a formulação do prompt altera as taxas medidas de respostas prejudiciais em até 24,2 pontos percentuais (pp) em um único modelo de juiz.
Impacto da Reescrita Superficial: Mostrou que mesmo prompts "equivalentes" (mesma estrutura/enquadramento, diferente formulação superficial) causam oscilações de até 20,1 pp.
Sensibilidade Específica por Categoria: Identificou que a sensibilidade varia drasticamente por categoria de dano, indo de 39,6 pp para Direitos Autorais até 0 pp para Assédio.
Instabilidade de Ranking: Encontrou que os rankings de segurança dos modelos são moderadamente instáveis, com modelos de nível médio trocando frequentemente de posição dependendo do prompt utilizado.
Recursos Abertos: Liberou todas as 12 variantes de prompts de juiz e o código de análise.

4. Principais Resultados

A. Magnitude da Variância

Oscilação Geral: Para o DeepSeek V3, a taxa de prejudicialidade variou de 13,3% a 37,5% entre os 12 prompts (uma oscilação de 24,2 pp). Quatro dos seis modelos excederam uma oscilação de 13 pp.
Fonte da Variância: A maior parte da variância veio da reescrita superficial dentro da mesma condição (média de 10,8 pp) em vez dos próprios eixos estruturais ou de enquadramento. Isso implica que prompts "equivalentes" não são funcionalmente equivalentes na avaliação de segurança.
Comparação Multi-Juiz: Alterar o modelo do juiz adicionou variância, mas a variância introduzida apenas pela formulação do prompt foi comparável à variância introduzida pela troca de modelos de juiz.

B. Estabilidade do Ranking

$\tau$ de Kendall: O acordo médio entre os rankings de modelos induzidos por diferentes prompts foi de 0,89 (faixa de 0,80–0,96).
Reversões: Embora os modelos extremos (mais seguros e menos seguros) permanecessem estáveis, os modelos de nível médio mostraram alta instabilidade.
- Exemplo: O ranking entre GLM-5 e Sonnet inverteu em 83,6% das reamostragens bootstrap.
- Exemplo: Kimi e Sonnet inverteram em 67,9% dos casos.

C. Sensibilidade por Categoria

Mais Sensível: Direitos Autorais (oscilação de 39,6 pp). Os autores atribuem isso à ambiguidade interpretativa das violações de direitos autorais (por exemplo, paráfrase vs. cópia direta), o que torna o resultado altamente dependente de como o juiz é instruído a interpretar o "dano".
Mais Robusta: Assédio (oscilação de 0 pp). Os autores sugerem que isso pode ser devido a efeitos de teto ou à natureza binária clara das definições de assédio.

D. Insights de Design de Prompt

Efeitos de Estrutura/Enquadramento: Embora prompts Holísticos tenham produzido taxas de prejudicialidade ligeiramente mais altas do que os Atômicos, e o enquadramento Neutro tenha produzido taxas ligeiramente mais altas do que o de Identidade, essas diferenças foram pequenas (~~2–3 pp) em comparação com a variância causada pela formulação superficial (~~10+ pp).
O Anomalia "v3": Prompts rotulados como "v3" produziram consistentemente taxas de prejudicialidade mais altas do que v1 ou v2, apesar da equivalência semântica. Isso sugere que formulações específicas (por exemplo, "especialista experiente em segurança de conteúdo" vs. "avaliador sênior de segurança de IA") induzem diferentes níveis de rigor.

5. Significado e Implicações

Subespecificação de Benchmarks: Os benchmarks de segurança atuais estão subespecificados. Uma única métrica de segurança "de destaque" é pouco confiável porque pode variar em >20 pp com base em escolhas arbitrárias de prompts.
Crise de Reprodutibilidade: Os benchmarks devem especificar o texto exato do prompt do juiz, não apenas o modelo utilizado. Prompts "equivalentes" produzem resultados diferentes.
Protocolo de Avaliação:
- As avaliações de segurança devem relatar a faixa de métricas entre múltiplas formulações de prompts em vez de uma única estimativa pontual.
- A formulação do prompt deve ser tratada como uma variável experimental de primeira classe, não como um detalhe de implementação fixo.
- Cuidado especial é necessário ao interpretar resultados para categorias de Direitos Autorais devido à extrema sensibilidade.
Direções Futuras: O artigo pede anotação humana de subconjuntos de disputas para determinar qual configuração de prompt é "mais precisa" e sugere explorar o ensemble de prompts para reduzir o ruído.

Conclusão

O artigo desafia fundamentalmente a confiabilidade dos benchmarks atuais de segurança de LLMs. Ele prova que o prompt do juiz é uma fonte substancial, previamente subexaminada, de variância de medição. À medida que o campo avança para o uso desses benchmarks em decisões de implantação, a comunidade deve caracterizar e relatar essa variância para garantir que as avaliações de segurança sejam robustas e reprodutíveis.