Resumo Técnico: A Segurança é Contextual, os Juízes LLM Não São

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) atuando como juízes são o padrão de fato para avaliar a segurança em escala, uma vez que as avaliações de segurança frequentemente carecem de uma única resposta de verdade fundamental (ground-truth). No entanto, as avaliações atuais desses juízes dependem fortemente de métricas de concordância humana dentro de benchmarks estáticos. Essa abordagem falha em capturar propriedades críticas necessárias para a implantação no mundo real, onde as definições de segurança variam entre culturas, domínios e o tempo. Especificamente, permanece incerto se os juízes LLM podem:

1. Utilizar informações de contexto: Eles podem aprender com demonstrações ou se adaptar a novos conhecimentos semânticos (ex: gírias, eventos recentes) fornecidos no prompt?
2. Aderir a políticas de segurança específicas: Eles podem ser direcionados para seguir definições de segurança customizadas ou divergentes, ou dependem rigidamente de priors internos estabelecidos durante o pré-treinamento e pós-treinamento?

O artigo argumenta que, sem compreender essas propriedades, os profissionais podem implantar juízes que parecem precisos em benchmarks estáticos, mas falham em se adaptar a políticas empresariais específicas, nuances culturais ou mudanças temporais na linguagem e nas ameaças.

Metodologia

Os autores conduziram uma meta-avaliação de 13 juízes LLM diversos (abrangendo modelos de código aberto/fechado, de propósito geral e específicos de segurança) em cinco idiomas (Inglês, Francês, Japonês, Árabe, Coreano). O estudo utilizou três conjuntos de dados:

• MultilingualPrompts: Um conjunto de dados interno de 779 prompts que exigem conhecimento regional de nicho.
• NovelPrompts: Um conjunto de dados em inglês de 194 prompts contendo conceitos posteriores aos cortes de treinamento dos modelos (pós-julho de 2025).
• Sorry-BENCH: Um benchmark público de 1.000 amostras usado para verificações de robustez.

A avaliação focou em duas propriedades principais:

1. Susceptibilidade: A probabilidade de um juiz mudar sua previsão quando fornecido com informações de contexto. Isso foi testado via:
   • Demonstrações: Fornecer 2 a 4 exemplos (corretos, incorretos ou nenhum) para ver se os juízes aprendem o formato da tarefa ou o espaço de rótulos.
   • Contexto Novo: Fornecer explicações para termos de nicho ou conceitos pós-corte para ver se os juízes incorporam novo conhecimento semântico.
   • Contexto Irrelevante: Fornecer informações embaralhadas ou não relacionadas para testar a robustez.
2. Direcionabilidade (Steerability): A probabilidade de um juiz mudar sua previsão quando recebe uma política de segurança modificada. Isso foi testado via:
   • Variantes de Política: Modificar limiares de severidade para categorias específicas (ex: tornar automutilação segura e conteúdo sexual inseguro).
   • Políticas Absurdas: Definir esportes com bola como "inseguros" para testar se os juízes podem sobrepor os priors de segurança para tarefas ortogonais.
   • Reenquadramento de Tarefa: Mascarar a tarefa de segurança como uma tarefa de classificação arbitrária (Categoria A vs. B) para isolar o impacto do conceito de "segurança" na rigidez.

O desempenho foi medido usando acurácia, pontuações F1 e taxas de inversão de previsão (a proporção de amostras onde a saída do juiz mudou entre as condições).

Resultados Principais

1. Susceptibilidade a Informações de Contexto

• Demonstrações são amplamente ineficazes: Fornecer demonstrações (mesmo as enganosas) teve um impacto marginal ou inconsistente no desempenho. Os juízes raramente mudaram suas previsões com base em exemplos, sugerindo que dependem de pors internos em vez de aprender com o contexto de poucos disparos (few-shot).
• Contexto novo preenche lacunas de conhecimento: Os juízes mostraram significativa susceptibilidade a informações semânticas novas. Quando fornecido com contexto explicando conceitos pós-corte (em NovelPrompts), as pontuações F1 melhoraram em média 10%. Esse efeito foi mais pronunciado para amostras com baixa frequência de corpus (baixo conhecimento prévio).
• O conhecimento prévio dita a susceptibilidade: Os juízes são significativamente mais propensos a mudar previsões em amostras onde possuem priors fracos (baixa frequência de palavras nos dados de treinamento). Por outro lado, eles permanecem rígidos em amostras que "conhecem", mesmo quando apresentados com contexto contraditório.
• Variabilidade inerente: A susceptibilidade é uma propriedade específica do modelo. Alguns modelos (ex: Tiny-Aya) são altamente suscetíveis tanto a contextos úteis quanto distrativos, enquanto outros são robustos.

2. Direcionabilidade a Políticas de Segurança

• Juízes lutam para se adaptar a novas políticas: Quando apresentados com definições de segurança que contradizem seus priors internos (ex: reclassificar automutilação como segura), os juízes falharam em se adaptar. Eles mudaram apenas ~5% das previsões quando era necessário alinhar com >15% da nova política, resultando em quedas significativas de acurácia em relação à nova verdade fundamental.
• Políticas absurdas revelam rigidez: Embora os juízes pudessem seguir facilmente uma política absurda (esportes com bola = inseguro) quando a tarefa era ortogonal à segurança, eles tiveram dificuldade quando a nova política conflitava com seus limites de segurança aprendidos.
• O enquadramento da tarefa importa: A direcionabilidade aumentou significamente (em mais de 2x) quando a tarefa de avaliação de segurança foi reenquadrada como uma tarefa de classificação arbitrária (A vs. B) sem a palavra "segurança". Isso sugere que a rigidez advém do limite de segurança interno do modelo, e não de uma incapacidade de entender instruções.
• A direcionabilidade depende do modelo: Assim como a susceptibilidade, a direcionabilidade varia por modelo, mas não correlaciona com a acurácia de concordância humana ou susceptibilidade.

Significância e Alegações

O artigo alega que as práticas de avaliação atuais, que focam apenas na concordância humana em configurações estáticas e alinhadas, proporcionam uma "falsa sensação de segurança". Os autores introduzem susceptibilidade e direcionabilidade como propriedades essenciais e anteriormente negligenciadas para avaliar juízes de segurança.

As principais alegações incluem:

• A segurança é contextual, os juízes não são: Embora as políticas de segurança variem por cultura, domínio e tempo, os juízes LLM geralmente não se adaptam a essas variações. Eles tendem a aplicar os limites de segurança nos quais foram extensivamente pós-treinados, independentemente das instruções fornecidas no prompt.
• O aprendizado contextual é condicional: Os juízes podem aprender com novas informações, mas apenas quando seu conhecimento prévio sobre o tópico é fraco. Eles são robustos a demonstrações enganosas e contextos irrelevantes.
• Os critérios de seleção devem mudar: Os profissionais não podem confiar em um único "melhor" juiz baseado em acurácia. Em vez disso, a escolha do juiz deve ser impulsionada pelo cenário de implantação:
  • Para tarefas que exigem adaptação a informações novas (ex: desinformação em tempo real), um juiz suscetível é preferível.
  • Para tarefas que exigem adesão a políticas empresariais ou culturais específicas, um juiz direcionável é necessário.
  • Se o prior do modelo base for confiável, as métricas de concordância humana são suficientes, mas instruções e demonstrações podem ser ignoradas.

Os autores concluem que a comunidade deve ir além dos benchmarks estáticos para avaliar de forma abrangente as propriedades combinadas de susceptibilidade, direcionabilidade e acurácia para garantir que os sistemas de segurança sejam robustos e adaptáveis no mundo real.