AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights

Resumo Técnico: Autopreferência de IA em Recrutamento Algorítmico

Definição do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) se tornam ubíquos tanto na geração quanto na avaliação de conteúdo, uma nova forma de viés algorítmico emergiu: a autopreferência de IA. Embora pesquisas anteriores em ciência da computação tenham identificado que os LLMs tendem a favorecer conteúdos que eles mesmos geraram em detrimento de textos escritos por humanos ou por outros modelos, as implicações operacionais no mundo real desse viés permanecem não quantificadas. Este artigo investiga este fenômeno no contexto do recrutamento algorítmico, um domínio de alto risco onde empregadores utilizam cada vez mais LLMs para triar currículos que os candidatos também podem ter elaborado ou refinado utilizando ferramentas de IA semelhantes. O problema central é se os avaliadores de LLM favorecem sistematicamente currículos gerados por sua própria arquitetura, potencialmente distorcendo os resultados de contratação independentemente das qualificações dos candidatos.

Metodologia
Os autores utilizam um experimento de correspondência de currículos controlado e de larga escala para medir empiricamente o viés de autopreferência.

• Conjunto de Dados: O estudo utiliza um conjunto de 2.245 currículos anonimizados, escritos por humanos, extraídos de uma plataforma profissional (LiveCareer.com) antes da adoção generalizada da IA generativa.
• Design Experimental: Para cada currículo escrito por humano, os autores geram versões contrafatuais usando um conjunto diversificado de LLMs de última geração (incluindo GPT-4o, GPT-4-turbo, LLaMA 3.3-70B, Mistral-7B, Qwen 2.5-72B e DeepSeek-V3). Crucialmente, apenas o resumo executivo é regenerado; todo o outro conteúdo factual (experiência, educação, habilidades) permanece idêntico para isolar o efeito da origem do texto.
• Protocolo de Avaliação: Os LLMs atuam como avaliadores em uma tarefa de comparação pareada. Eles recebem dois resumos executivos descrevendo o mesmo candidato: um gerado pelo próprio avaliador e outro gerado por um humano ou por um LLM alternativo. O avaliador deve selecionar o currículo "mais forte".
• Medição de Viés: O estudo quantifica o viés utilizando duas métricas de equidade adaptadas da literatura de equidade algorítmica:
  1. Paridade Estatística: A diferença nas taxas de seleção entre currículos autogerados e não autogerados.
  2. Igualdade de Oportunidades: A diferença nas taxas de seleção condicionada à qualidade do conteúdo. Isso é medido via regressão logística condicional (controlando características linguísticas) e anotação humana (onde anotadores identificam o resumo objetivamente de maior qualidade).
• Simulação: Para avaliar o impacto no mercado de trabalho, os autores simulam pipelines de contratação em 24 ocupações, modelando um cenário onde um grupo de candidatos (metade com currículos escritos por humanos, metade gerados por IA) compete por um número fixo de vagas para entrevistas.
• Teste de Mitigação: O estudo avalia duas estratégias de intervenção: Prompt de Sistema (instruindo os modelos a ignorar a origem do conteúdo) e Ensembles de Votação Majoritária (combinando o avaliador alvo com modelos menores que exibem menor reconhecimento de si mesmos).

Principais Resultados

• Viés LLM-vs-Humano: Há evidências fortes e consistentes de que os LLMs preferem suas próprias saídas. Na maioria dos modelos, o viés de autopreferência varia de 67% a 82% após o controle da qualidade do conteúdo. Modelos maiores (ex: GPT-4o, DeepSeek-V3) exibem o viés mais forte, com o GPT-4o mostrando uma preferência de 81,9% por seus próprios resumos em relação aos escritos por humanos, mesmo quando a versão humana é julgada superior por anotadores humanos.
• Viés LLM-vs-LLM: A autopreferência é mais heterogênea ao comparar diferentes LLMs. O DeepSeek-V3 mostra o viés mais forte neste cenário (preferindo sua própria saída em 69% sobre o LLaMA 3.3-70B), enquanto o GPT-4o e o LLaMA 3.3-70B não exibem preferências consistentes contra outros modelos.
• Impacto Operacional: Em pipelines de contratação simulados, candidatos que utilizam o mesmo LLM do avaliador têm 23% a 60% mais chances de serem selecionados do que candidatos igualmente qualificados que submetem currículos escritos por humanos. Essa desvantagem é mais severa em áreas relacionadas a negócios (vendas, contabilidade, finanças) e menos pronunciada em setores como agricultura e artes.
• Eficácia da Mitigação: Ambas as intervenções propostas reduzem significativamente o viés.
  • O Prompt de Sistema reduziu a autopreferência em 17% a 62% (redução relativa).
  • Ensembles de Votação Majoritária provaram ser altamente eficazes, reduzindo o viés em 50% a 71% nos modelos testados. Por exemplo, o viés do GPT-4o caiu de 82% para 30% usando votação majoritária.

Significância e Alegações
O artigo afirma fornecer a primeira evidência empírica de que a autopreferência de IA pode distorcer as avaliações de candidatos no recrutamento algorítmico. Suas principais contribuições são:

1. Identificação de um Novo Mecanismo de Viés: Estabelece que a autopreferência é um viés interacional que surge endogenamente de interações IA-IA, distinto dos vieses demográficos tradicionais (ex: raça, gênero). Isso desafia os frameworks de equidade existentes que focam apenas em atributos protegidos.
2. Quantificação do Risco Operacional: O estudo demonstra que este viés não é apenas um artefato teórico, mas tem consequências tangíveis, criando um efeito de "aprisionamento" (lock-in) onde candidatos que utilizam ferramentas de IA específicas obtêm vantagens indevidas, potencialmente reduzindo a diversidade e amplificando as desigualdades na contratação.
3. Mitigação Prática: Os autores mostem que este viés não é imutável. Intervenções de design simples e de baixo custo (engenharia de prompt e métodos de ensemble) podem mitigar substancialmente a distorção sem exigir o retreinamento do modelo ou modificação de pesos.
4. Implicações de Políticas: Os achados pedem a expansão dos frameworks de equidade de IA em operações de negócios para considerar vieses decorrentes de sistemas de IA avaliando conteúdos que eles próprios poderiam ter produzido. Os autores sugerem que reguladores e organizações devem considerar a transparência quanto ao uso de IA na triagem e incorporar métricas de autopreferência em auditorias de terceiros.

O artigo conclui que, embora a tomada de decisão assistida por IA ofereça eficiência, o papel duplo dos LLMs como geradores e avaliadores introduz um risco estrutural que requer salvaguardas técnicas e de governança específicas para garantir resultados equitativos.