💬 NLP

LLM Judges Inconsistently Disagree Across Safety Criteria and Harm Categories

Este artigo revela que os Grandes Modelos de Linguagem usados como juízes automatizados exibem inconsistência e falta de confiabilidade significativas, particularmente ao avaliar domínios regulados como o financeiro ou variando por idioma e critérios, destacando a necessidade de uma implementação cuidadosa em avaliações de segurança.

Autores originais: Krishnapriya Vishnubhotla, Soumya Vajjala, Akriti Vij, Isar Nejadgholi

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Krishnapriya Vishnubhotla, Soumya Vajjala, Akriti Vij, Isar Nejadgholi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contratou um painel de seis diferentes críticos de arte para julgar uma série de pinturas. Você quer que eles concordem sobre quais pinturas são "seguras" (boas, apropriadas) e quais são "inseguras" (ruins, prejudiciais). Você espera que, se mostrar a eles a mesma pintura, ou até mesmo uma versão ligeiramente diferente dela (como uma foto da pintura em uma moldura diferente, ou uma tradução da nota do artista para outro idioma), todos eles deem aproximadamente o mesmo veredito.

Este artigo é sobre testar exatamente isso, mas em vez de críticos de arte, os "juízes" são Modelos de Linguagem de Grande Escala (IA), e em vez de pinturas, eles estão julgando texto gerado por IA quanto à segurança.

Aqui está o detalhamento do que os pesquisadores descobriram, usando analogias simples:

1. O Problema do "Óbvio vs. Sutil"

Os pesquisadores testaram os juízes de IA em dois tipos muito diferentes de conteúdo "ruim":

O Teste do "Grito de Fogo" (Violência): Eles pediram à IA para julgar textos sobre violência, discurso de ódio ou atos ilegais.
- O Resultado: Os juízes de IA foram muito bons nisso. Se uma pintura estava claramente pegando fogo, todos os seis críticos concordaram: "Isso é inseguro".
O Teste do "Conselho Financeiro" (Domínios Regulados): Eles pediram à IA para julgar textos onde uma IA dá conselhos sobre coisas como pontuação de crédito, pedidos de visto ou aconselhamento médico.
- O Resultado: Os juízes de IA foram terríveis em concordar aqui. É como pedir a seis críticos para julgar uma pintura que é quase uma obra-prima, mas possui uma falha minúscula e sutil. Um crítico diz: "É seguro, apenas um pouco arriscado", enquanto outro diz: "É perigoso, jogue fora!". Eles não conseguiram concordar sobre o que significava ser "seguro" nesses cenários complexos e do mundo real.

2. O Problema do "Espelho Mágico" (Autoconsistência)

Os pesquisadores pegaram uma única resposta de IA e a mostraram aos juízes em diferentes "espelhos":

Tradução: Mostraram o texto em inglês, depois em francês, depois em hindi, etc.
Parafraseamento: Eles reescreveram o texto para soar mais formal, mais casual ou para mudar a ordem das frases, sem alterar o significado real.
O Resultado: Os juízes foram inconsistentes. Se um juiz disse: "Esta frase em inglês é segura", ele poderia olhar para a exata mesma frase traduzida para o hindi e dizer: "Espere, esta versão em hindi é insegura!". Ou ele poderia olhar para uma versão parafraseada e mudar de ideia.
A Metáfora: Imagine um segurança que barra uma pessoa de camisa vermelha, mas deixa a mesma pessoa de camisa azul passar, embora sejam exatamente a mesma pessoa. Os juízes de IA são facilmente enganados pela forma como as palavras estão "vestidas", não apenas pelo que as palavras realmente dizem.

3. O Problema do "Júri" (Consistência Cruzada)

Os pesquisadores também perguntaram: "Se colocarmos todos os seis juízes de IA em uma sala juntos, eles concordarão entre si?"

O Resultado: Não. Mesmo olhando para o exato mesmo texto na mesma língua, os juízes frequentemente davam respostas opostas.
A Metáfora: Imagine um júri onde uma pessoa vota "Culpado", outra vota "Não Culpado" e uma terceira vota "Talvez". Todos estão olhando para a mesma evidência, mas possuem livros de regras internos completamente diferentes para o que conta como um crime. O artigo descobriu que, para tópicos complexos (como conselhos financeiros), o "júri" está frequentemente em total caos.

4. A Armadilha da "Falsa Concordância"

O artigo aponta uma ilusão estatística traiçoeira.

Às vezes, todos os juízes dizem "Seguro" 99% das vezes. Se você apenas contar os votos de "Sim", parece que eles estão em perfeita concordância (100% de consistência).
A Pegadinha: Mas se eles estão apenas dizendo "Seguro" porque são preguiçosos ou enviesados, e não porque estão realmente pensando nos detalhes específicos, isso não é concordância real. Os pesquisadores usaram uma matemática especial (como uma pontuação de "correção de chance") para remover essa falsa concordância.
A Metáfora: É como um grupo de amigos adivinhando a resposta de uma pergunta de conhecimentos gerais. Se a resposta é "Sim" 99% das vezes, e todos eles chutam "Sim", eles parecem gênios. Mas se a pergunta é realmente difícil e eles estão apenas chutando a resposta mais comum, eles não estão de fato concordando sobre o raciocínio. O artigo mostra que, quando se olha mais profundamente, os juízes de IA estão, na verdade, discordando muito.

A Conclusão Final

O artigo conclui que, embora os juízes de IA sejam bons em detectar perigos óbvios e barulhentos (como violência), eles são não confiáveis e inconsistentes ao julgar conselhos matizados do mundo real (como finanças ou direito).

Se você usar uma IA para atuar como um guarda de segurança para tópicos complexos, não poderá confiar que ela será consistente. Ela pode aprovar uma resposta perigosa apenas porque a estrutura da frase mudou ligeiramente, ou pode rejeitar uma resposta segura porque ela foi traduzida para um idioma diferente. O "júri" de modelos de IA é atualmente dividido demais para ser confiável para decisões de alto risco sem supervisão humana.

Resumo Técnico: LLMs Discordam Inconsistentemente Entre Critérios de Segurança e Categorias de Dano

Declaração do Problema

O uso de Grandes Modelos de Linguagem (LLMs) como juízes automatizados ("LLM-as-a-Judge") tornou-se um paradigma prevalente para avaliar a segurança de modelos, muitas vezes substituindo ou suplementando a anotação humana devido à escalabilidade. No entanto, a pesquisa existente foca predominantemente na precisão desses juízes em relação aos anotadores humanos ou assume que a segurança é um constructo unidimensional (seguro vs. inseguro).

Este artigo aborda uma lacuna crítica: a consistência de juízes LLM ao avaliar a segurança através de critérios multidimensionais e transformações semanticamente invariantes (ex: traduções, paráfrases) em um cenário sem referência (reference-free). Os autores investigam se os LLMs fornecem julgamentos confiáveis e estáveis quando o conteúdo de entrada é alterado linguisticamente, mas retém o mesmo significado semântico, e se diferentes juízes concordam entre si (consistência cruzada) através de diversas dimensões de segurança, particularmente em domínios regulados e sutis versus conteúdo abertamente nocivo.

Metodologia

O estudo emprega um fluxo de trabalho de avaliação sem referência projetado para medir tanto a autoconsistência (a estabilidade de um único juiz através de variações) quanto a consistência cruzada (concordância entre múltiplos juízes).

1. Construção de Dados

Consultas Semente (Seed Queries): Os autores utilizaram 89 consultas semente do conjunto de dados AIRBench-2024, categorizadas em dois tipos distintos de risco:
- OPMISUSE (Uso Indevido Operacional): 50 consultas focadas em "Tomada de Decisão Automatizada" e "Conselhos em Indústrias Regulamentadas" (ex: finanças, contratação). Estas representam cenários sutis e dependentes de cultura.
- VIOLÊNCIA: 39 consultas cobrindo conteúdo abertamente nocivo (violência, extremismo, autolesão, atividades criminosas).
Geração de Variações:
- Variações Culturais/Geográficas: Para OPMISUSE, foram geradas 5 variações por consulta adaptando nomes, locais e moedas para diferentes culturas (totalizando 300 consultas).
- Traduções: Todas as consultas e respostas foram traduzidas para cinco idiomas (Francês, Árabe, Farsi, Telugu, Hindi) além do Inglês.
- Paráfrases: Para as respostas de OPMISUSE, foram geradas 10 variações semanticamente consistentes por resposta, alterando o tom (formal vs. conversacional), a estrutura (veredito primeiro vs. veredito por último) e a explicidade, preservando o conteúdo factual.
Geração de Respostas: Todas as respostas foram geradas por um único modelo gerador forte (GPT-4o-Mini) para isolar a variabilidade do juiz.

2. Configuração de Avaliação

Juízes: Seis LLMs de última geração foram utilizados como juízes: Gemini-2.5-Flash, GPT-4o-Mini, Claude-Haiku-4.5, Command-A, Llama-3.3-70B e Gemma-3-27B.
Critérios: Os juízes avaliaram as respostas contra seis dimensões:
1. Recusa (Refusal): O modelo recusou a solicitação?
2. Segurança (Safety): A resposta é segura?
3. Utilidade (Helpfulness): A resposta é relevante e útil?
4. Explicação (Explanation): O modelo explicou sua decisão?
5. Avisos (Warnings): O modelo emitiu avisos/isenções de responsabilidade necessários?
6. Sensibilidade Cultural (Cultural Sensitivity): O modelo lidou com pistas culturais apropriadamente?
Métricas: A consistência foi medida usando Alfa de Krippendorff (corrigido pelo acaso) e Kappa de Cohen, juntamente com a porcentagem bruta de concordância. Os autores enfatizam a necessidade de métricas corrigidas pelo acaso para evitar pontuações infladas causadas pelo desequilíbrio de rótulos (ex: rótulos quase universais de "seguro").

Principais Contribuições

Desenvolvimento de Fluxo de Trabalho: Um novo fluxo de trabalho para medir a consistência de juízes LLM através de seis critérios de segurança sem anotações de padrão-ouro (gold-standard).
Avaliação Abrangente: Uma avaliação da autoconsistência e consistência cruzada entre seis LLMs, ~350 prompts de segurança, duas categorias de risco e seis idiomas.
Insight Metodológico: Uma demonstração de que pontuações de concordância bruta podem ser enganosas em avaliações de segurança devido ao desequilíbrio de classes, defendendo o uso de métricas corrigidas pelo acaso (Krippendorff's $\alpha$ ) para revelar a verdadeira confiabilidade.

Resultados

1. Confiabilidade Específica do Domínio

Dano Explícito (VIOLÊNCIA): Juízes LLM demonstraram maior confiabilidade e concordância ao identificar conteúdo abertamente nocivo (violência, atos ilegais). A concordância foi geralmente alta para critérios como Recusa e Segurança nesta categoria.
Conselhos Regulamentados (OPMISUSE): Os juízes foram significativamente não confiáveis ao identificar problemas de segurança relacionados a conselhos em domínios regulamentados (ex: finanças). Houve alta discordância entre os juízes em relação ao fato de uma resposta ser "segura" ou "útil" nesses contextos.

2. Autoconsistência (Estabilidade Através de Variações)

Baixa Estabilidade em Domínios Sutis: Os juízes mostraram baixa autoconsistência para a categoria OPMISUSE. Quando as respostas eram parafraseadas ou traduzidas, os juízes frequentemente mudavam seus vereditos em dimensões como Segurança, Utilidade e Sensibilidade Cultural.
Alta Estabilidade em Pistas Explícitas: Dimensões ligadas a sinais textuais explícitos (ex: Recusa, Presença de Avisos) mostraram maior consistência.
Sensibilidade Linguística: A Sensibilidade Cultural foi a dimensão menos confiável em todos os juízes e idiomas, indicando que os juízes têm dificuldade em interpretar consistentemente nuances culturalmente fundamentadas.

3. Consistência Cruzada (Concordância Entre Juízes)

Alta Discordância: Houve uma discordância substancial entre diferentes juízes para a mesma entrada, particularmente na categoria OPMISUSE.
O Paradoxo da Segurança: Na categoria OPMISUSE, a concordância bruta para o critério de "Segurança" era frequentemente alta (devido ao fato de a maioria dos juízes rotular as respostas como "seguras"), mas o Alfa de Krippendorff era próximo de zero ou negativo. Isso indica que a concordância era impulsionada pela prevalência do rótulo, e não por um consenso genuíno sobre a definição de segurança.
Impacto da Língua: A concordância entre juízes variou significamente por idioma, com alguns idiomas mostrando maior instabilidade do que outros.

4. Achados Qualitativos

Avisos Omitidos: Os juízes frequentemente falharam em detectar a ausência de isenções de responsabilidade necessárias em domínios regulamentados (ex: fornecer uma pontuação de crédito sem um aviso), mesmo quando explicitamente instruídos a verificar tais itens.
Interpretação Inconsistente: Critérios subjetivos como "Sensibilidade Cultural" e "Explicação" foram interpretados de forma inconsistente entre idiomas e até mesmo pelo mesmo juiz em diferentes variações do mesmo texto.

Significância e Alegações

O artigo conclui que os LLMs são atualmente não confiáveis como juízes automatizados para avaliações de segurança multidimensionais e sutis, particularmente em domínios regulamentados onde o contexto e a sensibilidade cultural são primordiais.

Limitações da Prática Atual: O estudo desafia a validade do uso de LLMs como um "júri" para avaliação de segurança sem calibração cuidadosa, pois diferentes modelos não compartilham uma definição comum de segurança.
Implicações das Métricas: Depender apenas de pontuações de concordância bruta leva a superestimar a consistência do juiz. Os autores afirmam que métricas corrigidas pelo acaso são essenciais para uma avaliação precisa.
Recomendações Práticas:
- Juízes LLM são mais adequados para detectar sinais de segurança claros e superficiais (ex: violência explícita) do que para avaliar comportamentos sutis e dependentes de contexto.
- Profissionais devem selecionar cuidadosamente os juízes com base em critérios específicos (ex: alguns modelos podem ser melhores em detectar "Avisos", enquanto outros são melhores em "Recusa").
- Pipelines de avaliação devem considerar variações linguísticas e culturais, pois os julgamentos de segurança são altamente sensíveis a esses fatores.

Os autores posicionam esses achados como um chamado para práticas de calibração mais rigorosas e uma reavaliação do paradigma "LLM-as-a-Judge" em cenários de segurança complexos do mundo real.