Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

No cenário digital moderno, a inteligência artificial evoluiu de uma ferramenta que simplesmente responde a perguntas para um sistema que julga a qualidade de outros sistemas. Esse novo papel, frequentemente chamado de "IA como juiz", é cada vez mais utilizado para avaliar ensaios, revisar código e filtrar conteúdo antes que ele chegue a um leitor humano. A suposição por trás dessa prática é que o juiz de IA avalia cada peça de trabalho por seus próprios méritos, tratando cada submissão como um novo começo. No entanto, a psicologia humana conhece há muito tempo um fenômeno chamado ancoragem, onde a estimativa ou decisão de uma pessoa é sutilmente puxada em direção a um número que ela viu anteriormente, mesmo que esse número seja aleatório ou irrelevante. Por décadas, pesquisadores observaram isso em pessoas, desde sentenças judiciais até negociações de preços. A questão crítica para a era digital é se esses mesmos vieses humanos existem dentro das máquinas que confiamos para serem imparciais. Se um juiz de IA for influenciado por uma pontuação anterior que vê em segundo plano, todo o sistema de avaliação automatizada poderá ser sistematicamente distorcido, levando a rejeições ou aprovações injustas de conteúdo.

Uma equipe de pesquisadores da Infobip propôs-se a testar essa suposição diretamente. Eles projetaram um experimento para ver se a pontuação de um juiz de IA mudaria simplesmente porque lhe foi mostrada uma pontuação anterior de um juiz diferente, mesmo quando essa pontuação anterior era completamente não relacionada ao trabalho atual. Eles reuniram oito modelos de linguagem de grande escala diferentes, variando de sistemas massivos e poderosos a outros menores e mais eficientes, e pediram que avaliassem vinte textos diferentes. Esses textos cobriam quatro áreas distintas: resumir artigos, revisar código de computador, escrever histórias criativas e responder a perguntas factuais. Os pesquisadores criaram três cenários diferentes para os juízes de IA. No primeiro cenário, o juiz via apenas a tarefa e o texto. No segundo, o juiz via o texto com uma nota dizendo que era uma revisão. No terceiro, o juiz via o texto juntamente com uma nota que incluía um número específico representando uma "pontuação anterior" de uma tentativa anterior. Crucialmente, essas pontuações anteriores eram números gerados aleatoriamente que estavam sempre abaixo da nota de aprovação, o que significa que foram projetados para serem não informativos e irrelevantes.

Os resultados foram claros e consistentes na maioria dos modelos testados. Quando os juízes de IA foram apresentados à pontuação anterior aleatória, suas avaliações caíram significativamente. Em vez de tratar o texto como uma peça de trabalho independente, os modelos pareciam ancorar seu julgamento a esse número mais baixo. No estudo, sete de oito modelos mostraram uma queda estatisticamente significativa nas pontuações quando a pontuação anterior estava presente. O efeito não foi apenas uma pequena flutuação; para alguns modelos, a mudança foi grande o suficiente para alterar o resultado da avaliação. Por exemplo, em um dos modelos mais poderosos testados, a presença de uma pontuação anterior fez com que a taxa de aceitação do texto caísse quase vinte e dois pontos percentuais. Isso significa que o conteúdo que teria sido aprovado como de boa qualidade foi subitamente rejeitado apenas porque o juiz tinha visto um número menor em segundo plano. Os pesquisadores descobriram que esse viés não era uniforme em todos os tipos de tarefas; era mais forte em escrita criativa e perguntas factuais, enquanto a revisão de código mostrou uma reação mais fraca e inconsistente.

Para entender como isso aconteceu dentro da máquina, os pesquisadores observaram as palavras específicas que os modelos estavam considerando enquanto geravam suas pontuações. Eles descobriram um padrão que parecia mais com um interruptor sendo acionado do que com um deslizamento gradual. Quando a pontuação anterior era introduzida, a probabilidade do modelo escolher uma pontuação alta caía bruscamente, e a probabilidade de escolher uma pontuação mais baixa saltava. No entanto, mudar o valor específico dessa pontuação anterior não parecia importar muito; a mera presença do número disparava a mudança. Isso sugere que os modelos não estão calculando cuidadosamente uma nova média, mas estão reagindo à existência dos metadados em si. Os pesquisadores também testaram se instruções simples poderiam corrigir o problema. Eles tentaram pedir aos modelos que pensassem passo a passo antes de avaliar, e tentaram alertar explicitamente os modelos para ignorarem as pontuações anteriores. Nem essas estratégias funcionaram. Na verdade, em alguns casos, as instruções passo a passo tornaram o viés pior, e o aviso explícito falhou em impedir que as pontuações caíssem, embora tenha reduzido a tendência dos modelos de seguir o número específico se eles já estivessem enviesados.

O estudo foi além para ver se esse viés afetava decisões do mundo real, não apenas números abstratos. Usando um conjunto de dados de campanhas de mensagens que já haviam sido rotuladas por humanos como seguras ou proibidas, os pesquisadores testaram como os juízes de IA se comportavam quando recebiam um rótulo anterior incorreto. Quando a IA lhe era mostrada um rótulo anterior que era incorreto, ela falhava em corrigir o erro em quase metade dos casos em que, de outra forma, o teria feito. Em vez disso, ela frequentemente permanecia com o rótamente incorreto fornecido nos metadados. Em um teste pareado onde a IA havia acertado a resposta anteriormente, a introdução de um rótulo anterior errado causou a inversão de seu julgamento correto para o incorreto em mais de dez por cento dos casos. Isso demonstra que o viés se estende além de simples pontuações para decisões categóricas que determinam se o conteúdo é permitido ou bloqueado. Os pesquisadores concluíram que a única maneira confiável de prevenir esse viés é remover totalmente os metadados irrelevantes do prompt. Eles descobriram que nenhuma quantidade de instrução ou aviso poderia restaurar totalmente a independência do juiz uma vez que aquela informação anterior estivesse presente.

As implicações dessas descobertas são significativas para qualquer pessoa que dependa de IA para fazer avaliações justas. O estudo mostra que a suposição de imparcialidade em sistemas automatizados é frágil. Mesmo quando a informação fornecida é claramente irrelevante, os modelos não são imunes à influência do contexto. O viés não é um erro que pode ser facilmente corrigido com uma instrução simples; parece ser uma parte fundamental de como esses sistemas processam informações. Os pesquisadores enfatizaram que, embora seus testes tenham abrangido um conjunto específico de modelos e tarefas, os resultados sugerem uma vulnerabilidade mais ampla. Para construir sistemas confiáveis, os desenvolvedores devem projetar cuidadosamente o contexto em que a IA opera, garantindo que nenhum número ou rótulo estranho de etapas anteriores vaze para a avaliação atual. O caminho a seguir exige validação ativa para cada modelo e tarefa específica, em vez de uma crença passiva de que a máquina está vendo o mundo claramente por conta própria.