💻 computer science

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems

O artigo apresenta o **JudgeSense**, um novo benchmark e métrica (JSS) para medir a sensibilidade de modelos de linguagem quando usados como juízes, revelando que a consistência desses modelos varia conforme a tarefa e que muitos apresentam vieses significativos, independentemente de sua escala.

Autores originais: Rohith Reddy Bellibatlu

Publicado 2026-04-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rohith Reddy Bellibatlu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema: O Juiz que Muda de Ideia por causa de uma Vírgula

Imagine que você é um juiz de um concurso de culinária.
No primeiro round, o apresentador pergunta: "De 1 a 5, quão saborosa é esta massa?" Você dá nota 5.
No segundo round, o apresentador pergunta de um jeito quase igual: "Em uma escala de 1 a 5, qual o nível de sabor desta massa?" E, do nada, você dá nota 2.

A comida é a mesma. A sua opinião deveria ser a mesma. Mas o jeito que a pergunta foi feita mudou o seu veredito.

Isso é exatamente o que está acontecendo com a Inteligência Artificial (IA). Hoje, usamos modelos gigantes (como o GPT-4) para serem "juízes" de outras IAs. Eles avaliam se um texto é verdadeiro, se é coerente ou se é melhor que outro. O problema é que os pesquisadores descobriram que se você mudar apenas o jeito de perguntar, o "juiz de IA" muda de opinião.

O que é o JudgeSense?

Os pesquisadores criaram o JudgeSense, que funciona como um "teste de estresse para a personalidade do juiz".

Em vez de perguntar apenas uma vez, eles fazem a mesma pergunta de várias formas diferentes (paráfrases) para nove modelos de IA famosos. Eles criaram uma nota chamada JSS (Judge Sensitivity Score).

JSS perto de 1.0: O juiz é firme. Não importa como você pergunte, ele mantém a decisão.
JSS baixo: O juiz é "instável". Ele é como aquele amigo que muda de opinião dependendo do humor ou de como você puxa o assunto.

As Grandes Descobertas (O que eles aprenderam?)

Para explicar os resultados, vamos usar três analogias:

1. O Teste da Coerência (O Juiz "Temperamental")

Quando o assunto era saber se um texto faz sentido (coerência), os juízes mostraram personalidades muito diferentes.

O Claude (da Anthropic) foi o juiz "rocha": perguntasse como perguntasse, ele mantinha a nota.
O Gemini (do Google) foi o juiz "nuvem": ele mudava de ideia o tempo todo.
A lição: Não escolha o juiz pelo tamanho dele (se ele é o mais "inteligente"), mas sim pela firmeza dele.

2. O Teste da Verdade (O Problema da "Pergunta Invertida")

No teste de saber se algo é verdade, quase todos os juízes erraram da mesma forma. Os pesquisadores descobriram que isso não era culpa da inteligência deles, mas de uma "pegadinha" na pergunta.
Imagine que você pergunta: "Isso é verdade? Responda SIM ou NÃO". E depois pergunta: "Isso tem erros? Responda SIM ou NÃO".
O "SIM" de uma pergunta é o "NÃO" da outra! Os juízes de IA se confundiram com essa inversão de lógica. Quando os pesquisadores corrigiram isso, os juízes ficaram muito mais consistentes.

3. O Teste de Preferência (O Juiz "Viciado")

Quando pediam para a IA escolher entre o Texto A e o Texto B, quase todos os juízes tinham um vício: eles sempre escolhiam o Texto A, não importava o que estava escrito. É como um juiz de futebol que sempre marca pênalti para o time que joga com a camisa listrada. Isso torna o julgamento deles inútil para comparar textos de verdade.

Por que isso é importante para você?

Se estamos construindo o futuro com IAs, precisamos de avaliadores confiáveis. Se o "juiz" que decide se uma IA médica é segura ou se uma IA de notícias é verdadeira muda de ideia só porque mudamos uma palavra na pergunta, não podemos confiar no resultado.

O conselho dos pesquisadores é claro:
Antes de contratar um "juiz de IA" para o seu projeto, não pergunte apenas "o quanto ele é inteligente". Pergunte: "O quanto ele é consistente?". Se ele mudar de ideia por causa de uma paráfrase, ele não é um juiz; ele é apenas uma fonte de ruído.

Resumo Técnico: JudgeSense

1. O Problema: Instabilidade de Vereditos

Com o aumento do uso de Grandes Modelos de Linguagem (LLMs) como juízes automáticos para avaliar outros modelos (o paradigma LLM-as-a-Judge), surge uma questão crítica de confiabilidade: a sensibilidade ao prompt.

Atualmente, assume-se que o modelo de avaliação é uma ferramenta de medição estável, mas o artigo demonstra que pequenas variações semânticas (paráfrases) no comando de avaliação podem alterar o veredito do juiz, mesmo quando o modelo e o conteúdo avaliado são os mesmos. Se o prompt for um fator de confusão (confounder), o juiz deixa de ser uma ferramenta de medição e passa a ser uma fonte de ruído, invalidando comparações entre diferentes pesquisadores que utilizam templates de prompt distintos.

2. Metodologia

Os autores introduzem o JudgeSense, um framework e benchmark projetado para quantificar essa instabilidade.

Métrica Principal - Judge Sensitivity Score (JSS): Definida como a fração de pares de paráfrases em que o juiz retorna uma decisão idêntica. O JSS varia de 0 a 1, onde 1.0 indica consistência perfeita.
Dataset de Benchmark: O estudo utiliza 494 pares de paráfrases validadas, abrangendo quatro dimensões de avaliação:
1. Factualidade (Factuality): Baseado no TruthfulQA.
2. Coerência (Coherence): Baseado no SummEval (escala Likert de 1 a 5).
3. Relevância (Relevance): Baseado no BEIR.
4. Preferência (Preference): Baseado no MT-Bench.
Protocolo de Avaliação: Foram testados nove modelos juízes (incluindo modelos comerciais de fronteira como GPT-4o e Claude 3.5 Sonnet, e modelos open-source como Llama-3.1 e Qwen-2.5). Para cada tarefa, foram criados cinco templates de instrução minimalistas para isolar o efeito da reformulação linguística.
Validação: Um classificador independente (GPT-4o-mini) foi usado para garantir que os pares de prompts fossem semanticamente equivalentes.

3. Principais Contribuições

Formalização de uma Métrica: O JSS oferece um número único e reprodutível para relatar a estabilidade de um juiz, permitindo comparações padronizadas.
Benchmark Público: Liberação de código, logs de decisão e o dataset de paráfrases para a comunidade.
Análise Empírica Abrangente: Um estudo detalhado que revela que a escala do modelo (número de parâmetros) não é um preditor de consistência.
Diretrizes para Praticantes: Recomendações sobre quais modelos e tipos de prompts evitar para garantir avaliações confiáveis.

4. Resultados Principais

Os resultados revelam comportamentos distintos dependendo da tarefa:

Coerência (A tarefa discriminatória): É a única tarefa onde os modelos mostraram variações significativas de desempenho. O Claude-Sonnet-4.5 foi o mais consistente (JSS = 0.992), enquanto o Gemini-2.5-Flash foi o menos (JSS = 0.389). O estudo notou que modelos com $\kappa$ (Kappa de Cohen) negativo (como Gemini e Mistral) são "anti-correlacionados" consigo mesmos, o que é um erro grave para um juiz.
Factualidade (Efeito de Polaridade): Todos os modelos apresentaram uma taxa de inversão de veredito de aproximadamente 37%. No entanto, os autores descobriram que isso não era um defeito dos modelos, mas um artefato do prompt: um dos templates invertia a polaridade da resposta (ex: "Responda NÃO para correto"). Ao corrigir esse efeito, o JSS subiu para $>0.9$ em todos os modelos.
Preferência e Relevância (Comportamento Degenerado): 8 de 9 modelos apresentaram um JSS de 1.000, mas de forma enganosa. Eles exibiram um "viés de posição" extremo, escolhendo sempre a "Opção A", independentemente do prompt. Isso torna o JSS inútil nessas tarefas sem a randomização da ordem das opções.
Escala vs. Consistência: O tamanho do modelo não garante estabilidade. Modelos de médio porte (como Qwen-2.5-72b) superaram modelos de fronteira em consistência de coerência.

5. Significância e Conclusões

O trabalho do JudgeSense é fundamental para a integridade da pesquisa em IA. Ele demonstra que:

O design do prompt domina a consistência: A forma como a pergunta é feita pode ser mais importante do que a arquitetura do modelo juiz.
Necessidade de novos padrões: Pesquisadores não devem relatar apenas a concordância com humanos, mas também o JSS (concordância do juiz consigo mesmo).
Cuidado com o "Always-A": O uso de LLMs para tarefas de comparação binária exige cautela devido ao viés de posição, que pode mascarar a sensibilidade ao prompt.

Em suma, o artigo fornece as ferramentas necessárias para que a comunidade de IA construa sistemas de avaliação mais robustos, estáveis e menos suscetíveis a variações superficiais de linguagem.