Resumo Técnico: Monoculturas Algorítmicas em Contratações

Declaração do Problema

O artigo aborda o fenômeno da monocultura algorítmica em contratações, definido como um estado em que muitos decisores (empregadores) dependem dos mesmos ou de algoritmos semelhantes para triar candidatos a vagas. Embora mais de 90% dos empregadores dos EUA utilizem algoritmos de contratação, existe uma concentração significativa em torno de poucos fornecedores terceiros (por exemplo, HireVue, pymetrics). Os autores hipotetizam que essa dependência de um único fornecedor cria resultados homogêneos: os mesmos indivíduos e grupos raciais enfrentam rejeição em múltiplos empregadores, levando à exclusão sistêmica do mercado de trabalho.

A pesquisa existente sobre contratação algorítmica frequentemente sofre de limitações de dados:

• Estudos de único empregador não conseguem rastrear se a rejeição na Empresa A prevê rejeição na Empresa B.
• Estudos de correspondência (envio de currículos falsos) não conseguem observar o processo de tomada de decisão subjacente dos algoritmos.
• Auditorias estáticas não conseguem observar resultados no momento da implementação em todo o mercado de trabalho real.

Consequentemente, há uma falta de evidências empíricas sobre se a monocultura algorítmica leva a rejeições correlacionadas e impacto adverso em nível sistêmico.

Metodologia

Os autores conduziram o primeiro estudo empírico em grande escala observando decisões de contratação algorítmica implantadas em múltiplos empregadores que utilizam um único fornecedor.

Aquisição de Dados

• Fonte: Um novo conjunto de dados da pymetrics, uma plataforma de avaliação de talentos.
• Escopo: 4.197.168 candidaturas submetidas por 3.372.132 candidatos únicos para 1.746 posições distintas em 156 empregadores.
• Período: Dezembro de 2018 a Dezembro de 2022.
• Processo: Candidatos jogam 12–16 jogos online que medem traços cognitivos. A pymetrics treina classificadores binários (recomendar/não recomendar) com base em características de jogabilidade de funcionários atuais (exemplos positivos) versus perfis aleatórios (exemplos negativos).
• Demografia: 40,2% dos candidatos relataram sua raça (16,8% Asiáticos, 14,2% Brancos, 3,6% Negros, 3,0% Hispanos). O estudo foca em dados auto-relatados e não imputa raça.

Estrutura Analítica

O estudo emprega três lentes principais:

1. Análise de Impacto Adverso:
   • Os autores aplicam a regra dos "quatro quintos" (razão de impacto < 0,8) da Comissão de Oportunidades Iguais de Emprego (EEOC) dos EUA e testes de significância estatística (teste-z).
   • Distinção Crucial: Diferentemente de relatórios anteriores de fornecedores que agregam dados em todas as posições, este estudo desagrega a análise por posição (1.746 modelos separados), alinhando-se com padrões legais dos EUA que operacionalizam a discriminação em base por vaga.
2. Análise de Rejeição Sistêmica:
   • Os autores definem rejeição sistêmica como um candidato sendo rejeitado de todas as posições para as quais se candidatou.
   • Eles introduzem uma Linha de Base de Independência: Um modelo teórico que calcula a probabilidade de rejeição sistêmica se os empregadores tomassem decisões estatisticamente independentes. Isso é computado usando uma distribuição Poisson-Binomial baseada nas taxas de seleção de posições individuais.
   • Comparação: As taxas observadas de rejeição sistêmica nos dados da pymetrics são comparadas a essa linha de base e a dados de um grande estudo de correspondência (Kline et al., 2022) envolvendo 108 empresas da Fortune 500.
3. Simulação Contrafactual:
   • Aproveitando a replicabilidade determinística dos algoritmos (as mesmas características de jogabilidade produzem a mesma pontuação), os autores simularam resultados para 1.000 candidatos se tivessem se candidatado a todas as posições disponíveis (495 modelos).
   • Eles também modelaram um "regime intermediário" onde candidatos se candidatam a um "conjunto conectado" de modelos (modelos que compartilham candidatos com aqueles para os quais o usuário realmente se candidatou) para estimar quantas candidaturas são necessárias para garantir uma recomendação.

Principais Resultados

1. Impacto Adverso no Nível da Posição

Enquanto dados agregados em todas as candidaturas não mostraram impacto adverso significativo (consistente com alegações anteriores de fornecedores), a desagregação revelou disparidades significativas:

• Candidatos Negros: 10,62% das posições demonstraram impacto adverso contra candidatos Negros. 30,70% dos candidatos Negros se candidataram a pelo menos uma tal posição, e 25,87% de todas as candidaturas submetidas por candidatos Negros foram para modelos com impacto adverso.
• Candidatos Asiáticos: 5,32% das posições demonstraram impacto adverso contra candidatos Asiáticos, afetando 18,53% dos candidatos Asiáticos e 14,74% de suas candidaturas.
• Variação Ocupacional: O impacto adverso foi particularmente pronunciado em funções de Arquitetura e Engenharia para candidatos Negros e Asiáticos.

2. Rejeição Sistêmica e Homogeneidade

• Observado vs. Linha de Base: A taxa observada de rejeição sistêmica (ser rejeitado de todas as $k$ posições para as quais se candidatou) excedeu significativamente a linha de base de independência ($\chi^2 = 18.481, p < 0,001$).
• Taxas Específicas: 4% dos candidatos que se candidataram a 10 posições foram rejeitados de todas elas. Essa taxa é maior do que o esperado pelo acaso.
• Comparação com Contratação Não-Algorítmica: Em contraste, o estudo de Kline et al. (2022) de 108 empresas usando triagem mista humana/algorítmica mostrou taxas observadas de rejeição sistêmica que correspondiam estreitamente à linha de base de independência. Isso sugere que a homogeneidade excessiva é uma característica distintiva da avaliação algorítmica centralizada.
• Mecanismo: 42 modelos da pymetrics são compartilhados entre diferentes empresas. Embora a monocultura total (mesmo modelo para todos) seja rara, a monocultura parcial (modelos compartilhados entre muitos empregadores) cria resultados correlacionados.

3. Simulação do Comportamento do Candidato

• Recomendação Universal: Na simulação onde candidatos se candidataram a todas as posições, nenhum candidato foi rejeitado por todos os modelos; o "pior" candidato foi recomendado por 52 modelos (11%).
• Regime Intermediário: Para alcançar uma taxa de rejeição sistêmica abaixo de 0,1% (99,9% de chance de pelo menos uma recomendação), os candidatos precisariam submeter 25 candidaturas no cenário de monocultura algorítmica. Sob a linha de base de independência, seriam necessárias apenas 10 candidaturas.
• Implicação: Os candidatos devem se candidatar significativamente de forma mais ampla para superar o efeito homogeneizante da monocultura algorítmica.

Principais Contribuições

1. Primeiro Estudo Empírico Trans-Empresas: O artigo fornece o primeiro conjunto de dados em grande escala observando resultados algorítmicos reais para os mesmos candidatos em múltiplos empregadores, superando os silos de dados de pesquisas anteriores.
2. Impacto Adverso Desagregado: Demonstra que agregar dados de contratação mascara impacto adverso significativo por posição, desafiando a validade de relatórios agregados no nível do fornecedor para conformidade.
3. Evidência de Rejeição Sistêmica: Valida empiricamente a teoria de que a monocultura algorítmica leva ao "blackballing algorítmico", onde candidatos são sistematicamente rejeitados em todo o mercado de trabalho devido a comportamentos correlacionados de modelos, um fenômeno não observado em triagens não monoculturais.
4. Inovação Metodológica: O artigo introduz uma "linha de base de independência" para quantificar o aumento marginal na rejeição sistêmica devido à correlação algorítmica e utiliza simulação determinística para gerar resultados contrafactuais do mercado de trabalho.

Significado e Alegações

Os autores afirmam que a monocultura algorítmica altera fundamentalmente a dinâmica do mercado de trabalho criando exclusão sistêmica.

• Dano Estrutural: A dependência de um único fornecedor cria um gargalo onde uma única decisão algorítmica pode se transformar em rejeição em múltiplos empregadores, afetando desproporcionalmente grupos raciais específicos e indivíduos.
• Implicações Políticas: As descobertas sugerem que os atuais quadros regulatórios (por exemplo, Lei Local 144 de NYC) podem ser insuficientes se dependerem de dados agregados ou falharem em considerar impacto adverso no nível da posição e correlações entre empregadores.
• Acesso à Pesquisa: O artigo argumenta que a pesquisa independente é crítica para iluminar sistemas de contratação opacos. Destaca a dificuldade de adquirir tais dados e sugere que políticas (semelhantes à Lei de Serviços Digitais da UE) podem ser necessárias para exigir acesso de pesquisadores a conjuntos de dados centralizados de contratação.

Os autores permanecem modestos quanto à generalização de suas descobertas para toda a contratação algorítmica, observando que seus dados são específicos à abordagem baseada em jogos da pymetrics e que carecem de medidas externas de qualidade do candidato ou validade do modelo. No entanto, afirmam que os padrões observados de impacto adverso e rejeição sistêmica são suficientes para justificar escrutínio regulatório e maior investigação independente.