💬 NLP

Self- and Other-Labels Induce Bidirectional Bias in LLM Judges

Este artigo demonstra que, embora a autoperferência genuína em juízes de LLM desapareça amplamente ao controlar a qualidade da saída, a mera presença de rótulos de si mesmo ou de outros induz um viés bidirecional que infla as pontuações para o conteúdo rotulado como próprio e reduz as pontuações para o conteúdo rotulado como de outrem, revelando a atribuição de autoria como um motor distinto de viés de avaliação.

Autores originais: Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, um novo método surgiu para testar o quão bem esses sistemas funcionam: usar uma inteligência artificial para avaliar o trabalho de outra. Essa abordagem, frequentemente chamada de "IA como juiz", tornou-se uma ferramenta padrão para pesquisadores porque é rápida e escalável, permitindo avaliar milhares de respostas sem intervenção humana. No entanto, um padrão preocupante surgiu nessas avaliações automatizadas. Quando um sistema de IA é solicitado a julgar sua própria produção, ele frequentemente atribui a si mesmo uma pontuação mais alta do que atribui à produção de um sistema diferente. Essa tendência, conhecida como autoperferência, levanta uma questão séria sobre a confiabilidade dessas avaliações automatizadas. Se o juiz for tendencioso para com o seu próprio tipo, os resultados da avaliação podem ser distorcidos, tornando difícil saber qual IA está realmente performando melhor.

O cerne do problema reside em como essas avaliações são geralmente conduzidas. Tipicamente, pesquisadores pedem que uma IA escreva uma história ou responda a uma pergunta e, em seguida, fazem com que outra IA avalie esse texto. O problema é que o texto carrega a "impressão digital" do modelo que o escreveu. Uma IA específica pode usar certas estruturas de frases, vocabulário ou níveis de complexidade que ela naturalmente prefere. Quando uma IA juíza lê um texto escrito por si mesma, ela pode simplesmente estar reconhecendo seu próprio estilo familiar e recompensando-o, não porque o conteúdo seja objetivamente melhor, mas porque parece "em casa". Isso torna difícil dizer se a IA é genuinamente tendenciosa para com si mesma ou se está apenas reagindo ao estilo da escrita. Para resolver este enigma, uma equipe de pesquisadores da KAIST, na Coreia do Sul, decidiu remover a escrita inteiramente e observar as escolhas por trás das palavras.

Os pesquisadores desenharam um experimento único onde dez diferentes modelos de linguagem de grande escala atuaram tanto como criadores quanto como juízes, mas sem jamais gerar uma única frase de texto narrativo. Em vez disso, eles receberam um conjunto de duzentas unidades de construção narrativa pré-escritas. Esses blocos eram frases únicas descrevendo eventos, personagens, estilos ou cenários, todos escritos por humanos. A tarefa para cada IA era selecionar os vinte blocos que ela considerava que melhor funcionariam para construir uma única história. Como as frases já estavam escritas e fixas, a IA não poderia influenciar o estilo ou a qualidade do texto em si; ela poderia apenas escolher quais peças incluir. Esse design removeu os fatores de confusão usuais, garantindo que qualquer viés teria que vir do processo de seleção ou do processo de julgamento, e não do visual e da sensação da escrita.

Na primeira fase do estudo, os juízes de IA avaliaram essas seleções sem saber quem as havia feito. Este foi um teste cego, muito parecido com um teste de degustação cega, onde a marca do alimento é escondida. Os pesquisadores descobriram que, à primeira vista, os modelos de IA pareciam, de fato, favorecer suas próprias seleções, atribuindo a elas pontuações mais altas em média. No entanto, quando os pesquisadores contabilizaram cuidadosamente a qualidade das seleções e o rigor dos juízes, esse favoritismo aparente desapareceu em grande parte. Na verdade, em uma medida específica de quão frescas ou originais eram as ideias da história, os juízes avaliaram suas próprias seleções de forma mais baixa do que as de outros modelos após a limpeza dos dados. Isso sugere que a autoperferência inicial não era um viés profundamente enraizado contra os outros, mas sim um efeito colateral de alguns modelos simplesmente fazerem escolhas melhores do que outros, ou de alguns juízes serem mais generosos em suas pontuações.

A segunda fase do experimento introduziu uma reviravolta que revelou uma força muito mais poderosa e surpreendente. Os pesquisadores pegaram pares de seleções que eram de qualidade igual — uma feita pelo próprio juiz e outra feita por outro modelo — e as apresentaram aos juízes novamente. Desta vez, no entanto, eles anexaram um rótulo a cada seleção. Às vezes, o rótulo dizia "esta é a sua própria seleção" e outras vezes dizia "esta é a seleção de outro modelo de linguagem". Crucialmente, os rótulos não nomeavam a IA específica; eles apenas indicavam se o trabalho era "próprio" ou "de outro". Os resultados foram impressionantes. Os rótulos sozinhos foram suficientes para deslocar as pontuações em ambas as direções. Quando um juiz era informado de que uma seleção era sua própria, ele dava a ela uma pontuação mais alta, mesmo que a seleção tivesse sido feita por um modelo diferente. Por outro lado, quando informado de que uma seleção pertencia a outro modelo, ele dava a ela uma pontuação mais baixa, mesmo que aquela seleção fosse, na verdade, o seu próprio trabalho.

Este achado demonstra que o viés não é apenas sobre reconhecer o próprio estilo de escrita ou conteúdo. Em vez disso, o simples ato de rotular algo como "meu" ou "deles" é suficiente para desencadear um deslocamento sistemático na forma como a IA avalia isso. O viés opera de forma bidirecional: a IA infla a pontuação para coisas que acredita serem suas e reduz a pontuação para coisas que acredita pertencerem a outros. Isso acontece independentemente da qualidade ou fonte real do conteúdo. O estudo mostra que, na ausência de fatos claros, a IA depende fortemente desses sinais externos para formar seu julgamento. Sugere que a autoperferência vista em estudos anteriores pode ser impulsionada menos por um amor genuíno por sua própria produção e mais por uma sensibilidade a rótulos de autoria.

As implicações desta descoberta são significativas para a forma como construímos e confiamos nos sistemas de IA. Revela que a confiabilidade das avaliações automatizadas pode ser facilmente comprometida por metadados simples, como quem é creditado pelo trabalho. Se um juiz de IA pode ser influenciado por um rótulo a mudar de ideia sobre a qualidade de uma história, então as pontuações que ele produz podem refletir o rótulo mais do que o trabalho em si. Os pesquisadores concluem que, para obter uma medida real de desempenho, devemos projetar tarefas de avaliação que controlem esses sinais superficiais. Ao utilizar tarefas de código aberto onde a verdade fundamental é desconhecida e o estilo é neutro, podemos entender melhor como esses sistemas realmente pensam. O estudo não afirma ter resolvido o problema do viés da IA, mas fornece um mapa claro de onde o viés vem, mostrando que a linha entre o eu e o outro é uma alavanca poderosa que pode inclinar a balança do julgamento em qualquer direção.

Resumo Técnico: Rótulos de Si Mesmo e de Outros Induzem Viés Bidirecional em Juízes de LLM

Declaração do Problema

À medida que o paradigma "LLM-como-juiz" se torna o padrão para avaliações escaláveis, crescem as preocupações em relação ao viés de preferência própria (self-preference bias): a tendência de Grandes Modelos de Linguagem (LLMs) avaliarem seus próprios resultados de forma mais favorável do que os de outros modelos. Pesquisas anteriores identificaram este fenômeno, mas enfrentam limitações metodológicas significativas. Estudos existentes avaliam predominantemente textos gerados, onde características estilísticas, qualidade da resposta e perplexidade estão inevitavelmente confluídas com a identidade do modelo. Consequentemente, permanece incerto se a preferência própria observada decorre de um viés genuíno em relação à própria "voz" ou se é apenas um artefato de juízes reconhecendo saídas de maior qualidade ou menor perplexidade. Além disso, trabalhos anteriores não isolaram suficientemente o efeito dos rótulos de autoria explícitos das propriedades intrínsecas do conteúdo sendo avaliado.

Metodologia

Para desmembrar a preferência própria genuína de fatores de confusão, os autores introduzem um novo design experimental centrado em uma tarefa de seleção de restrições narrativas. Esta abordagem elimina as impressões digitais estilísticas específicas do modelo, mantendo assinaturas de seleção recuperáveis e específicas do modelo.

Design Experimental

Dez LLMs (cinco comerciais e cinco de código aberto) desempenham papéis duplos:

Seletores: Cada modelo realiza 30 execuções, selecionando 20 restrições narrativas de um conjunto pré-construído de 200 (abrangendo Eventos, Estilos, Personagens e Cenários). Isso gera 300 conjuntos de restrições únicos.
Juízes: Os mesmos dez modelos avaliam esses conjuntos em uma rubrica de 4 eixos (Originalidade, Dimensionalidade, Coerência e Narratividade/Tellability) usando uma escala Likert de 7 pontos.

O estudo prossegue em dois experimentos distintos:

Experimento 1: Avaliação Cega

Os juízes avaliam todas as 300 seleções sem qualquer atribuição de origem.

Objetivo: Determinar se a preferência própria persiste quando as pistas superficiais são removidas e quando se controla a qualidade da seleção e a severidade do juiz.
Análise: Os autores empregam um modelo de efeitos mistos para isolar o coeficiente de preferência própria ( $\beta_S$ ), tratando a severidade do juiz, a qualidade da seleção e as avaliações repetidas como interceptos aleatórios. Isso controla o fator de confusão de que modelos "fortes" poderiam simplesmente produzir seleções melhores.

Experimento 2: Avaliação Rotulada

Os juízes avaliam as seleções sob quatro condições de rótulo em um design $2 \times 2$ :

Rótulo Verdadeiro (TL): O rótulo corresponde à fonte real (Si mesmo ou Outro).
Rótulo Falso (FL): O rótulo contradiz a fonte real.
Correspondência de Qualidade: Para isolar o efeito do rótulo, os autores constroem pares de seleções (uma produzida por si mesmo, outra produzida por outro) que receberam pontuações quase idênticas no Experimento 1.
Manipulação: Os rótulos são apresentados anonimamente como "sua própria seleção" ou "outro modelo de linguagem", removendo efeitos de identidade específica do modelo.
Análise: Um modelo de efeitos mistos estima o efeito principal do rótulo exibido ( $\beta_L$ ), a fonte real ( $\beta_A$ ) e sua interação ( $\beta_{LA}$ ).

Principais Resultados

1. A Preferência Própria Aparente Desaparece Sob Controle (Experimento 1)

Em uma comparação não controlada, sete dos dez juízes atribuíram pontuações médias mais altas às suas próprias seleções. No entanto, uma vez que a qualidade da seleção e a severidade do juiz foram controladas via modelo de efeitos mistos:

O efeito positivo de preferência própria desapareceu em três das quatro dimensões da rubrica (Dimensionalidade, Coerência, Narratividade).
Na dimensão Originalidade, o efeito inverteu-se: os juízes avaliaram suas próprias seleções como menos originais do que as de outros.
Conclusão: A lacuna bruta de preferência própria observada em trabalhos anteriores reflete, em grande parte, diferenças na qualidade da saída e na severidade do avaliador, em vez de um viés genuíno em relação ao conteúdo autogerado.

2. Rótulos Sozinhos Induzem Viés Bidirecional (Experimento 2)

Quando os rótulos de autoria foram introduzidos, eles alteraram sistematicamente as pontuações, independentemente da origem real do conteúdo:

Mudança Bidirecional: O efeito do rótulo ( $\beta_L$ ) foi significativo e positivo em todas as dimensões. Os juízes inflaram as pontuações para seleções rotuladas como "próprias" e deflaram as pontuações para aquelas rotuladas como "outras".
Independência da Fonte: A fonte real do conteúdo ( $\beta_A$ ) e a interação entre rótulo e fonte ( $\beta_{LA}$ ) não foram significativas. Isso confirma que o viés é impulsionado pelo rótulo em si, não pela origem do conteúdo.
Padrões: Nove dos dez juízes responderam diferencialmente aos rótulos. Seis exibiram um padrão simétrico (inflando rótulos de si mesmo e deflando rótulos de outros). Outros mostraram variantes unilaterais (ex: apenas aumento de si mesmo ou apenas penalidade de outros).

Contribuições

O artigo apresenta duas contribuições primárias:

Atribuição de Autoria como um Impulsionador Distinto: O estudo fornece evidência direta de que rótulos de si mesmo/outro podem, por si só, induzir viés de avaliação bidirecional em juízes de LLM. Ao eliminar estruturalmente os confundidores estilísticos e controlar a qualidade, os autores demonstram que trabalhos anteriores podem ter superestimado a prevalência de uma preferência própria genuína.
Instrumento Metodológico: Os autores estabelecem que tarefas de código aberto e sem verdade fundamental (como a seleção de restrições narrativas) podem servir como instrumentos controlados para estudar o comportamento de juízes de LLM, isolando efetivamente os efeitos de atribuição da qualidade do conteúdo.

Significância e Alegações

Os autores argumentam que o mecanismo de preferência própria é mais complexo do que anteriormente compreendido. Enquanto teorias anteriores sugeriam que a preferência própria surge de pistas internas (ex: familiaridade com a própria perplexidade ou estilo), este estudo mostra que enquadramentos de atribuição explícitos são suficientes para desencadear um viés sistemático.

Reversão de Viés: A descoberta de que os juízes exibem autodepreciação na dimensão "Originalidade" em condições cegas, mas inflação de si mesmos sob rótulos de si mesmos, sugere que pistas de atribuição externas podem sobrepor-se às avaliações intrínsecas do conteúdo.
Implicações para Avaliação: Os resultados indicam que juízes de LLM são altamente suscetíveis a pistas de proveniência superficiais. Em domínios de avaliação criativa ou subjetiva onde não há verdade fundamental, a mera presença de um rótulo de "si mesmo" pode distorcer significativamente a pontuação, potencialmente comprometendo a validade de sistemas de "LLM-como-juiz" se a atribuição não for cuidadosamente gerenciada ou se os rótulos forem manipulados.

O artigo conclui modestamente, observando que estas descobertas estão atualmente limitadas a um domínio de seleção criativa, e que a generalização para tarefas de raciocínio ou seguimento de instruções permanece uma questão aberta. Também reconhece que implementações no mundo real frequentemente envolvem atribuição implícita em vez de explícita, o que justifica investigações adicionais sobre como pistas menos explícitas podem operar.