Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews

1. Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) na revisão por pares acadêmica está acelerando, com conferências importantes (por exemplo, ICLR, AAAI, ICML) adotando-os para assistência ou automação. Embora os LLMs ofereçam escalabilidade, existe uma preocupação crítica quanto à equidade e confiabilidade. Estudos anteriores documentaram vieses em LLMs relacionados a raça, gênero e religião em tarefas gerais, mas o impacto específico desses vieses na revisão por pares de simples cegueira (onde os metadados dos autores são visíveis) permanece pouco explorado. A questão central é: Os LLMs favorecem sistematicamente autores com base em metadados (afiliação, gênero, senioridade, histórico de publicações) em vez do mérito do conteúdo do artigo?

2. Metodologia

Os autores introduzem um framework de avaliação contrafactual controlado para isolar e medir o viés.

• Conjunto de Dados: 252 artigos da ICLR 2025, amostrados igualmente de 21 subcampos (6 aceitos, 6 rejeitados por subcampo).
• Desenho Experimental:
  • Simulação de Simples Cegueira: O LLM é instruído com o conteúdo completo do artigo mais metadados específicos do autor.
  • Intervenções Contrafactuais: Para cada artigo, o conteúdo permanece constante enquanto atributos específicos de metadados são alterados individualmente:
    • Afiliação: Trocada entre 8 instituições "Classificadas-Mais-Fortes" (RS) (por exemplo, MIT, CMU) e 8 instituições "Classificadas-Mais-Fracas" (RW) (por exemplo, Universidade de Gondar, Midlands State University).
    • Gênero: Trocado entre nomes anglo masculinos e femininos, emparelhados tanto com afiliações RS quanto RW.
    • Senioridade: Trocado entre um "Investigador Principal Sênior" (Senior PI) e um "Estudante de Graduação" (UG).
    • Histórico de Publicações: Trocado entre um perfil com 100 publicações de alto nível (TTP) e 0 TTP.
• Métricas de Avaliação:
  • Classificações Rígidas (Hard Ratings): A classificação inteira mais confiante do modelo (1–10) derivada via decodificação gulosa.
  • Classificações Suaves (Soft Ratings): O valor esperado da classificação calculado a partir da distribuição de probabilidade em nível de token interna do modelo. Esta métrica é crucial para detectar viés implícito que o alinhamento pós-treinamento pode mascarar na saída final.
• Modelos Avaliados: 9 LLMs diversos, incluindo Ministral 8B, variantes do DeepSeek R1, Llama 3.1 (8B/70B), Mistral Small, QwQ 32B, Gemini 2.0 Flash Lite e GPT-4o Mini.

3. Principais Contribuições

1. Viés Sistemático de Afiliação: Demonstrou que os LLMs favorecem consistentemente autores de instituições de alto prestígio. Este viés é frequentemente mais forte nas classificações suaves (probabilidades internas) do que nas classificações rígidas, sugerindo que técnicas de alinhamento podem suprimir o viés explícito enquanto deixam preferências implícitas intactas.
2. Detecção de Viés Oculto: Introduziu o uso de classificações suaves para revelar vieses "ocultos". Por exemplo, no Ministral 8B, a classificação rígida mostrou uma taxa de vitória de 4,3% para instituições RS, mas a classificação suave revelou uma taxa de vitória de 68,6%, indicando uma lacuna significativa entre o raciocínio interno e a saída de nível superficial.
3. Impacto em Decisões Binárias: Mostrou que intervenções de metadados podem inverter decisões de aceitação/rejeição. Afiliações RS aumentaram a probabilidade de artigos rejeitados serem aceitos (por exemplo, o QwQ-32B converteu 21,4% dos artigos rejeitados em aceitos), enquanto afiliações RW empurraram artigos aceitos em direção à rejeição.
4. Viés Multidimensional: Identificou vieses além da afiliação, incluindo:
   • Senioridade: Forte preferência por Investigadores Principais Sênior sobre estudantes de graduação.
   • Histórico de Publicações: Forte preferência por autores com extensos registros de publicações.
   • Gênero: Resultados mistos, mas presentes; alguns modelos favoreceram homens, outros mulheres (potencialmente devido a supercompensação no alinhamento), mas o efeito foi menos consistente do que o viés de afiliação.
5. Análise Qualitativa de Raciocínio: Analisou o texto das revisões para mostrar como os modelos justificam o viés (por exemplo, associando RS a "credibilidade" ou "acesso a recursos" e RW a "restrições de recursos").

4. Principais Resultados

• Afiliação: Todos os 9 modelos exibiram uma preferência estatisticamente significativa por afiliações RS em relação a RW. Em comparações pareadas, instituições RS venceram a maioria dos casos em todos os modelos (valores-p < 0,01).
• Discrepância Suave vs. Rígida: A lacuna entre classificações suaves e rígidas foi mais pronunciada em modelos como Ministral 8B e Llama 3.1, indicando que as distribuições de confiança internas são fortemente distorcidas mesmo quando a pontuação inteira final parece neutra.
• Inversões de Decisão: O estudo descobriu que apenas metadados poderiam alterar o resultado para artigos limítrofes. Por exemplo, mudar a afiliação de um autor de RW para RS poderia inverter uma rejeição para uma aceitação em cerca de 20% dos casos para certos modelos.
• Consistência por Subcampo: O viés RS-sobre-RW persistiu em todos os 21 subcampos, embora a magnitude variasse (por exemplo, mais forte em Robótica/Visão Computacional, mais fraco em Neurociência/Ciências Cognitivas).
• Gênero: Os resultados foram heterogêneos. O Gemini 2.0 favoreceu nomes masculinos, enquanto o GPT-4o Mini favoreceu nomes femininos. Isso sugere que estratégias de alinhamento destinadas a reduzir o viés podem levar a supercompensação, criando novas preferências direcionais.

5. Significado e Implicações

• Ameaça à Integridade Científica: As descobertas sugerem que a revisão por pares assistida por LLMs pode sistematicamente desvantajar pesquisadores de instituições de menor classificação, do Sul Global ou pesquisadores em início de carreira, independentemente da qualidade real de seu trabalho.
• Limitações do Alinhamento: A descoberta de forte viés suave implica que o alinhamento padrão (RLHF) pode apenas mascarar o viés em vez de eliminá-lo. Os modelos podem "aprender" a gerar texto neutro enquanto mantêm representações internas enviesadas.
• Recomendações de Política: Os autores argumentam por cautela na adoção de LLMs para julgamento avaliativo. Eles sugerem que, se os LLMs forem usados, devem ser restritos a funções assistivas (por exemplo, verificar reprodutibilidade) em vez de tomar decisões de aceitação, e que processos de revisão de dupla cegueira são essenciais para mitigar esses vieses específicos impulsionados por metadados.
• Pesquisa Futura: Destaca a necessidade de desenvolver técnicas de desviés que visem distribuições de probabilidade internas, não apenas saídas finais, e a importância de auditar LLMs em domínios de tomada de decisão de alto risco.

Em conclusão, o artigo fornece evidências empíricas robustas de que os LLMs atuais não são árbitros neutros na revisão por pares. Eles herdam e amplificam vieses sociais relacionados ao prestígio institucional e ao status do autor, representando um risco significativo para a equidade do ecossistema de avaliação científica.