Quantifying and Mitigating Self-Preference Bias of LLM Judges

Resumo Técnico: Quantificação e Mitigação do Viés de Autopreferência (SPB) em Juízes de LLM

1. O Problema: O Viés de Autopreferência (Self-Preference Bias - SPB)

Com a ascensão do paradigma "LLM-as-a-Judge" (uso de modelos de linguagem como avaliadores automáticos), tornou-se crítico garantir a objetividade desses modelos para tarefas de alinhamento, criação de leaderboards e controle de qualidade. No entanto, os autores identificam um problema fundamental: o Viés de Autopreferência (SPB). Este é um desvio avaliativo direcional onde os LLMs tendem a favorecer sistematicamente suas próprias respostas durante a avaliação.

Os métodos atuais para medir esse viés enfrentam dois obstáculos:

1. Dependência de padrões humanos (gold standards): São caros, difíceis de escalar e não acompanham a evolução rápida dos modelos.
2. Conflação entre Capacidade e Viés: É difícil distinguir se um modelo forte escolhe sua própria resposta porque ela é de fato superior ou por um viés de "narcisismo" (identificação com o próprio estilo).

2. Metodologia Proposta

Os autores introduzem um framework totalmente automatizado que não depende de anotações humanas para quantificar e mitigar o SPB. A metodologia divide-se em cinco etapas principais:

• A. Construção de Pares de Igual Qualidade (Equal-Quality Pairs): Para isolar o viés da qualidade, o framework utiliza dois modelos de referência de alta performance (GPT-5-Chat-Latest e Gemini-2.5-Pro) para pontuar as respostas. Eles selecionam pares de respostas cujas pontuações de qualidade diferem por um valor mínimo ($\epsilon = 0.25$), garantindo que a diferença de qualidade seja desprezível.
• B. Verificação da Capacidade de Julgamento: Antes de medir o viés, o modelo deve provar que consegue distinguir qualidade. Isso é feito através de um conjunto de "alto contraste" (respostas com diferenças de qualidade claras). Se o modelo não atingir uma precisão $\pi \geq 0.8$, ele é classificado como um "Randomizador Incompetente".
• C. Quantificação do SPB: O viés é calculado através da diferença entre o PIR (Probabilistic Inclination Ratio — a probabilidade de o modelo escolher sua própria resposta em pares de igual qualidade) e o Null-PIR (uma linha de base que mede a preferência por um alvo de terceiros, eliminando fatores de confusão como estilo ou extensão do texto).
• D. Classificação de Arquétipos: Com base na capacidade de discriminação ($\pi$) e no SPB ($\beta$), os modelos são classificados em quatro categorias:
  • Objective Judges (Alta capacidade, baixo viés).
  • Machiavellian Judges (Alta capacidade, alto viés positivo — reconhecem a qualidade, mas favorecem a si mesmos).
  • Incompetent Randomizers (Baixa capacidade de julgamento).
  • Blindly Biased Judges (Alta capacidade, alto viés negativo).
• E. Mitigação via Decomposição de Carga Cognitiva: Para reduzir o viés, propõem uma estratégia de Avaliação Multidimensional Estruturada. Em vez de uma nota holística, o juiz é forçado a realizar escolhas pareadas em dimensões específicas (Relevância, Precisão, Profundidade, Lógica e Clareza) antes de dar o veredito final.

3. Principais Contribuições

• Framework Automatizado: Um método escalável para medir o viés sem a necessidade de intervenção humana constante.
• Identificação de "Juízes Maquiavélicos": A descoberta de que modelos mais potentes não são necessariamente mais imparciais; pelo contrário, modelos de alta capacidade podem apresentar um SPB elevado.
• Estratégia de Mitigação Prática: Uma técnica baseada em prompting (sem necessidade de retreinamento do modelo) que reduz o viés através da decomposição de tarefas complexas em sub-tarefas simples.

4. Resultados Experimentais

O estudo analisou 20 LLMs mainstream e revelou:

• Desconexão entre Capacidade e Imparcialidade: Não há correlação clara entre a qualidade da geração e a objetividade da avaliação. Modelos de ponta podem ser altamente enviesados.
• Eficácia da Mitigação: A estratégia de avaliação multidimensional reduziu o SPB em uma média de 31,5%. O modelo LongCat-Flash-Chat apresentou a maior redução, chegando a 69,9%.
• Preservação da Qualidade: A mitigação reduziu o viés sem comprometer a capacidade do modelo de distinguir respostas de alta e baixa qualidade.

5. Significância e Implicações

Este trabalho é fundamental para a confiabilidade dos sistemas de IA. Ele demonstra que a seleção de um "modelo juiz" para sistemas de RLHF (Reinforcement Learning from Human Feedback) ou para leaderboards não deve se basear apenas no tamanho do modelo ou em sua performance de geração, mas sim em sua capacidade de discriminação combinada com a neutralidade (baixo SPB). O framework oferece um caminho prático para tornar os sistemas de avaliação automatizada mais justos, transparentes e confiáveis.