Resumo Técnico: Sou Mais Pontual ou Pareado? Revelando o Viés de Posição na Avaliação Baseada em Rubricas por LLM-como-Juiz

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais utilizados como avaliadores (LLM-as-a-Judge), pesquisas anteriores focaram predominantemente em vieses nos paradigmas pontual (pontuação de resposta única) e pareado (seleção comparativa). Este artigo identifica uma fonte de viés anteriormente subexplorada na avaliação baseada em rubricas, um paradigma onde os modelos atribuem pontuações com base em critérios explícitos e intervalos de pontuação.

Os autores postulam que a avaliação baseada em rubricas funciona implicitamente como uma tarefa de múltipla escolha: dado um texto, o LLM deve selecionar a opção da rubrica que melhor se alinha ao conteúdo. Consequentemente, a ordenação das opções de pontuação (ex: "1. Pior" a "5. Perfeito") ou a ordenação de múltiplos critérios dentro de um único prompt pode induzir um viés de posição. Diferente dos contextos pareados, onde a inversão de duas respostas é uma mitigação conhecida, os contextos de rubrica envolvem múltiplas opções, tornando as inversões simples ineficazes. O artigo investiga se os LLMs exibem preferências sistemáticas por opções de pontuação ou critérios baseadas puramente em sua posição na lista do prompt, e se esse viés afeta classificações subsequentes e o alinhamento humano.

Metodologia

O estudo emprega um protocolo de permutação balanceada para desvincular o valor semântico das pontuações/critérios de sua influência posicional.

1. Configurações Experimentais:

   • Configuração 1 (Ordenação de Opções de Pontuação): O modelo avalia um texto contra uma rubrica com $n$ opções de pontuação (ex: 1–5). A ordem dessas opções é permutada.
   • Configuração 2 (Ordenação de Critérios): O modelo avalia um texto contra múltiplos critérios (ex: Coerência, Empatia). A ordem desses critérios é permutada.

2. Estratégia de Permutação Balanceada:
   Para neutralizar o viés de posição, os autores constroem ordenações balanceadas onde cada pontuação ou critério aparece um número igual de vezes em cada posição ao longo de múltiplas execuções de avaliação.

   • Para $n$ opções, eles geram $2n$ ordenações usando rotações cíclicas progressivas e regressivas (ex: para 5 pontuações: [1,2,3,4,5], [2,3,4,5,1], ..., [5,4,3,2,1], [4,3,2,1,5]).
   • Isso garante que, se um modelo tiver uma preferência posicional (ex: favorecer a primeira opção), ela seja compensada ao agregar os resultados através do conjunto balanceado.

3. Estratégias de Comparação:
   Os autores comparam três estratégias com orçamento equivalente:

   • BALANCED (BALANCEADA): As $2n$ rotações cíclicas.
   • RANDOM (ALEATÓRIA): $K$ variantes ordenadas aleatoriamente (onde $K$ corresponde ao orçamento do conjunto balanceado).
   • FIXED (FIXA): Uma única ordenação canônica repetida $K$ vezes.

4. Datasets e Modelos:

   • Datasets: MT-Bench, Vicuna-Bench, HANNA (geração de histórias) e SummEval (sumarização).
   • Juízes: Seis modelos de pesos abertos de três famílias diferentes (GPT-OSS, Qwen3.5, Gemma-3) com tamanhos variados (9B a 120B).
   • Métricas: Testes de aderência Qui-quadrado ($\chi^2$) para uniformidade, $V$ de Cramér para força do viés, correlação de Pearson/Spearman com avaliações humanas e $\tau$ de Kendall para estabilidade de classificação subsequente.

Principais Resultados

1. Existência e Natureza do Viés de Posição

• Significância Estatística: A avaliação baseada em rubricas exibe viés de posição estatisticamente significativo em todos os modelos e datasets testados. O viés não é uniforme; ele é específico do modelo.
  • Alguns modelos (ex: GPT-OSS-20B) apresentam viés de primeira posição (preferindo a primeira opção).
  • Outros (ex: Gemma-3-27B, Qwen3.5-27B) apresentam viés de última posição (preferindo a opção final).
  • Alguns (ex: GPT-OSS-120B) são quase uniformes.
• Eixo de Viés Ortogonal: Um segundo viés independente existe em relação à ordem dos critérios em prompts de múltiplos critérios. A posição de um critério afeta significamente sua pontuação atribuída, com alguns critérios ganhando até 0,80 pontos dependendo de seu posicionamento.

2. Mitigação e Alinhamento Humano

• Permutação vs. Aleatorização: O estudo descobre que a permutação balanceada não oferece vantagem significativa sobre a ordenação aleatória quando o número de julgamentos agregados ($K$) é suficiente (ex: $K=10$). A melhoria na correlação com as pontuações humanas provém principalmente da redução da variância (agregando ordenações distintas) e não da eliminação mecânica do viés de posição.
• Melhoria Condicional: A des-enviesagem (via permutação) só melhora a correlação humana para modelos que exibem viés inicial forte. Para modelos com baixo viés inerente, a permutação não gera ganhos significativos.
• Eficiência de Orçamento: Os benefícios da agregação saturam cedo. Para os modelos que se beneficiam, aproximadamente dois terços da melhoria é alcançada com apenas $K=3$ ordenações aleatórias, e 85% com $K=5$.

3. Impacto Subsequente

• Reversão de Ranking: Mesmo que as médias de correlação de pontuação com humanos permaneçam semelhantes, o viés de posição impacta significativamente o ranking. Alterar apenas a ordem da rubrica fez com que o candidato do topo-1 mudasse em 16% a 39% dos prompts entre diferentes juízes.
• Implicações: Essa variância é crítica para aplicações como seleção "Best-of-N", Aprendizado por Reforço com Feedback de IA (RLAIF) e rankings de leaderboards, onde o candidato específico selecionado importa mais do que a pontuação média.

Significância e Alegações

O artigo recontextualiza a avaliação de LLM-como-juiz baseada em rubricas como um problema implícito de múltipla escolha sujeito a um viés de posição mensurável e específico de cada modelo.

• Orientação Prática: Os autores argumentam que, embora "remover o viés" mecanicamente seja possível via permutações balanceadas, o objetivo prático de melhorar a correlação humana é melhor atendido pela aleatorização simples da ordem da rubrica. Um pequeno número de permutações aleatórias ($K \approx 3$ a $5$) é suficiente para mitigar o erro introduzido por este viés para a maioria dos modelos.
• Escopo de Impacto: O viés é mais prejudicial em cenários de seleção (classificação de candidatos) do que em pontuações absolutas. Os autores alertam que confiar em uma única ordenação canônica de rubrica pode levar a decisões subsequentes instáveis, mesmo que o modelo pareça imparcial em média.
• Limitações: O estudo é limitado a modelos de pesos abertos e não se estende aos modelos de código fechado mais recentes ou aplicações diretas em pipelines de treinamento de modelos devido a restrições de orçamento.

Em conclusão, o artigo demonstra que a ordenação da rubrica é uma fonte não trivial de ruído na avaliação de LLMs. Embora protocolos de balanceamento complexos sejam teoricamente sólidos, uma estratégia de baixo custo de agregar algumas variantes ordenadas aleatoriamente é estatisticamente indistinguível do balanceamento exato e reduz efetivamente o risco de reversão de ranking em aplicações práticas.