Self-Preference Bias in Rubric-Based Evaluation of Large Language Models

1. O Problema

A avaliação automática de modelos de linguagem (LLMs) através da abordagem "LLM como Juiz" tornou-se o padrão da indústria. No entanto, essa prática sofre de um viés sistêmico conhecido como Viés de Auto-Preferência (SPB - Self-Preference Bias), onde os juízes tendem a favorecer desproporcionalmente as saídas geradas por si mesmos ou por modelos da mesma família.

Embora esse viés tenha sido estudado em paradigmas tradicionais como Comparação Par a Par (PWC) e Avaliação Direta (DA), a literatura carecia de uma investigação sistemática sobre o SPB na Avaliação Baseada em Rubricas (RB). A RB é um paradigma emergente onde o juiz emite veredictos binários (Sim/Não) sobre critérios específicos, em vez de atribuir pontuações holísticas ou ranquear respostas. A questão central do trabalho é: O viés de auto-preferência persiste na avaliação baseada em rubricas, mesmo quando os critérios são objetivos e programaticamente verificáveis?

2. Metodologia

Os autores desenvolveram uma estrutura experimental rigorosa para quantificar o SPB em diferentes paradigmas de avaliação.

Métricas Propostas

Para medir o viés, os autores definiram a Taxa de Superestimação ($O$) e introduziram duas variações do Razão de Propensão de Auto-Preferência Prejudicial (HSPP Ratio):

1. HSPP-R$_{self}$: Compara a taxa de superestimação do juiz sobre seus próprios outputs versus outputs de modelos não relacionados.
2. HSPP-R$_{fam}$: Compara a superestimação sobre outputs da mesma família do juiz (excluindo o próprio juiz) versus modelos não relacionados.
   Um valor > 1 indica viés de auto-preferência.

Configuração Experimental

• Modelos: Uma ampla gama de modelos de ponta (Gemma 3, Llama 4, Qwen 3, GPT-5, Claude 4.5) atuando tanto como geradores quanto como juízes.
• Datasets:
  • IFEval: Um benchmark com 541 prompts e instruções objetivas e programaticamente verificáveis (ex: "não use vírgulas"). Isso permite isolar o SPB de fatores de subjetividade.
  • HealthBench: Um benchmark de assistentes médicos com 5.000 instâncias e rubricas subjetivas (escritas por humanos), cobrindo desde precisão até tom de comunicação e encaminhamentos de emergência.
• Paradigmas Comparados: O estudo compara RB (avaliação de uma rubricas de cada vez ou todas juntas) com PWC e DA.
• Estratégia de Mitigação: Testou-se o uso de comitês (ensemble) de juízes via votação majoritária para reduzir o viés.

3. Principais Contribuições

Este trabalho é o primeiro estudo sistemático do viés de auto-preferência no contexto de avaliação baseada em rubricas. As contribuições principais incluem:

1. Prova de Existência: Demonstrar que o SPB persiste na RB, mesmo com critérios 100% objetivos.
2. Análise Granular: Identificação de fatores específicos que exacerbam o viés (tipo de rubrica, comprimento, tópico).
3. Comparação de Paradigmas: Avaliação de como a RB se compara ao PWC e DA em termos de robustez contra o SPB.
4. Diretrizes de Design: Fornecimento de padrões acionáveis para criar rubricas mais resilientes ao viés.

4. Resultados Chave

Persistência do Viés em Critérios Objetivos (IFEval)

• O SPB existe mesmo quando as rubricas são objetivas. Em casos onde os geradores falham objetivamente em uma rubrica, os juízes têm até 50% mais probabilidade de marcar erroneamente a saída como "satisfeita" se ela foi gerada por eles mesmos ou pela mesma família.
• O modelo GPT-5 apresentou o pior caso, superestimando seus próprios outputs em 47% mais do que os de modelos não relacionados.
• A maioria das superestimações ocorre quando o juiz converte uma "derrota" real em um "empate" ou "vitória" falsa.

Comparação entre Paradigmas

• PWC vs. RB: O SPB é significativamente mais severo na Comparação Par a Par (PWC) do que na Avaliação Baseada em Rubricas (RB) e na Avaliação Direta (DA). Isso sugere que colocar o output do juiz diretamente contra o de um oponente facilita a identificação e o favorecimento do próprio output.
• RB vs. DA: A RB mostra-se ligeiramente mais robusta que a DA, mas não imune.

Impacto em Cenários Subjetivos (HealthBench)

• O SPB distorce as pontuações finais dos modelos. Por exemplo, o GPT-5 tende a superestimar seu próprio desempenho em cerca de 4 pontos (em uma escala de 100) em comparação com um ensemble de juízes. Essa margem pode ser decisiva ao ranquear modelos de fronteira.
• Padrões Familiares: Juízes da família Gemma tendem a superestimar outros modelos Gemma (chegando a +11 pontos no Gemma-4B), enquanto a família Llama mostrou menos viés neste conjunto de dados.

Fatores que Impulsionam o SPB (Análise de Rubricas)

A análise no HealthBench revelou padrões claros sobre quais rubricas são mais vulneráveis:

1. Rubricas Negativas: Aquelas que penalizam o gerador se satisfeitas (ex: "não deve ser agressivo") são mais suscetíveis ao SPB do que as positivas.
2. Comprimento da Rubrica: Existe uma relação em "U". Rubricas muito curtas (pouco especificadas) e muito longas (complexas demais) geram maior viés do que as de comprimento médio.
3. Tópicos Subjetivos: Rubricas sobre "Encaminhamentos de Emergência" e "Qualidade de Comunicação" exibem viés muito mais alto do que critérios de precisão factual ou seguimento de instruções.
4. Acordo entre Juízes: Rubricas com baixo acordo inter-juiz são fortes indicadores de alto SPB.

Eficácia de Mitigação (Ensemble)

• Agrupar múltiplos juízes (comitê) reduz o SPB e aumenta a precisão, mas não elimina completamente o viés.
• Filtrar rubricas com baixo acordo entre juízes é uma estratégia eficaz para reduzir o SPB.

5. Significado e Conclusão

O estudo conclui que o Viés de Auto-Preferência não é apenas um artefato de metodologias de avaliação específicas (como PWC), mas parece ser inerente aos próprios LLMs, possivelmente ligado à forma como são ativados durante a avaliação.

Implicações Práticas:

• A simples adoção de rubricas objetivas não é suficiente para eliminar o viés.
• O design de rubricas é crucial: evitar rubricas negativas, extremas em comprimento e focar em tópicos altamente subjetivos pode mitigar o problema.
• O uso de ensembles de juízes é uma prática recomendada, mas insuficiente por si só.
• Soluções futuras provavelmente exigirão intervenções além do design de prompts, como correções no tempo de treinamento ou desviés no tempo de inferência (ex: activation steering).

Este trabalho fornece as bases para uma avaliação mais justa e robusta de LLMs, alertando a comunidade para os riscos ocultos em pipelines de melhoria recursiva e reward modeling que dependem de auto-avaliação.