Developing and assessing a scale for measuring human–AI alignment in hiring decisions

No mundo moderno, os guardiões das oportunidades estão mudando. Durante décadas, a decisão de contratar alguém para um emprego dependeu inteiramente do julgamento humano, um processo influenciado pela experiência, intuição e, às vezes, pelo viés inconsciente. Hoje, a inteligência artificial está assumindo cada vez mais esse papel, triando milhares de currículos e fazendo seleções iniciais antes mesmo que um humano veja um nome. Essa mudança levanta uma questão fundamental: quando uma máquina toma uma decisão de contratação, ela pensa como uma pessoa? A resposta não é tão simples quanto perguntar se o computador está certo ou errado. Em vez disso, pesquisadores estão perguntando o quão de perto as escolhas da máquina espelham as formas desordenadas, variadas e frequentemente inconsistentes como os humanos realmente decidem. Para entender isso, cientistas começaram a tratar a contratação não apenas como uma transação econômica, mas como um teste de alinhamento, medindo a distância entre o raciocínio humano e a lógica algorítmica.

Uma equipe de pesquisadores partiu para medir essa distância com uma nova abordagem que chamam de Teste de Turing do Mercado de Trabalho. O clássico Teste de Turing, proposto décadas atrás, foi projetado para ver se uma máquina poderia convencer um humano de que também era humana. Esta nova versão inverte o roteiro. Em vez de perguntar se uma máquina pode enganar uma pessoa, ela pergunta o quanto as decisões de uma máquina se parecem com as de uma pessoa. Os pesquisadores não pediram simplesmente que uma IA escolhesse o melhor candidato. Eles criaram um experimento controlado no Equador envolvendo 277 recrutadores profissionais humanos. Essas pessoas reais foram contratadas para revisar pares de candidatos a empregos para dez tipos diferentes de funções, desde assistentes de armazém até desenvolvedores de software. Para garantir que o teste fosse justo e focado no estilo de tomada de decisão, e não em qualificações específicas, os candidatos em cada par foram combinados em termos de habilidades, educação e experiência. As únicas diferenças entre eles eram marcadores de identidade, como gênero, orientação sexual ou status de imigração — fatores que não deveriam influenciar logicamente quem é contratado para o trabalho.

Os recrutadores humanos fizeram suas escolhas e, então, os pesquisadores construíram um espelho digital. Eles criaram quatro equipes diferentes de agentes de inteligência artificial, cada uma alimentada por um modelo de linguagem de grande escala, para realizar exatamente a mesma tarefa. A primeira equipe, chamada "Robôs", recebeu apenas instruções básicas para escolher o melhor candidato. A segunda equipe, "Avatares", foi instruída a fingir ser recrutadores humanos específicos, imitando suas características de personalidade, educação e histórico profissional. A terceira equipe, "Clones", foi além; eles não apenas foram instruídos a fingir ser um humano específico, mas também foram restringidos a ver apenas as mesmas informações que o humano viu, na exata mesma ordem. A última equipe, "Randomistas", fez suas escolhas jogando uma moeda digital, servindo como uma linha de base para a aleatoriedade pura. O objetivo era ver qual dessas equipes de IA fazia decisões que mais se pareciam com as dos recrutadores humanos.

Para medir os resultados, os pesquisadores desenvolveram uma escala para colocar cada recrutador, humano e máquina, em uma única linha. Em uma extremidade da linha está um ponto de referência chamado "Skynet", que representa a escolha média feita pela equipe básica de Robôs. Isso não é uma medida de justiça, mas uma medida de consistência algorítmica pura. Um recrutador que sempre concorda com o Skynet está agindo de uma forma altamente semelhante à de uma máquina. Um recrutador que discorda frequentemente está agindo de uma forma mais humana. O estudo descobriu que o recrutador humano médio era significativamente diferente da máquina média. Na verdade, as escolhas humanas estavam cerca de 1,73 desvios padrão de distância do comportamento típico da máquina. Isso significa que, em média, os humanos são muito menos previsíveis e menos consistentes do que a IA básica.

Os pesquisadores descobriram que, quanto mais tentavam fazer a IA agir como um humano, mais perto ela chegava da média humana, mas nunca chegava totalmente. Mesmo os "Clones", que foram programados para imitar humanos específicos e restringidos às mesmas informações que eles viram, ainda produziam um padrão de escolhas estatisticamente diferente das pessoas reais. A descoberta mais surpreendente veio dos "Randomistas". Os agentes de IA que simplesmente jogaram uma moeda para tomar suas decisões acabaram apresentando um padrão de escolhas que era mais próximo da média humana do que qualquer uma das sofisticadas equipes de IA. Isso sugere que a tomada de decisão humana na contratação contém um nível de aleatoriedade ou inconsistência que é difícil de ser replicado até mesmo pela IA mais humanizada. Os humanos não estavam apenas fazendo escolhas racionais e baseadas em regras; eles estavam fazendo escolhas que incluíam um grau de imprevisibilidade que as máquinas, mesmo quando instruídas a serem humanas, não podiam capturar totalmente.

O estudo também revelou que a lacuna entre humanos e máquinas aumentava dependendo da complexidade do trabalho. Quando os recrutadores estavam escolhendo entre candidatos para trabalhos simples, como um zelador ou um trabalhador de armazém, humanos e máquinas concordavam com mais frequência. No entanto, conforme os trabalhos se tornavam mais exigentes, requerendo habilidades especializadas ou educação superior, o acordo caía. As máquinas e os humanos começavam a divergir de forma mais acentuada. Além disso, quando os dois candidatos em um par eram muito semelhantes, com apenas pequenas diferenças em idade ou anos de experiência, os humanos e as máquinas discordavam com mais frequência. As máquinas pareciam se fixar nesses detalhes minuciosos e tomar uma decisão baseada neles, enquanto os humanos eram mais propensos a tratar os candidatos como essencialmente iguais. Isso indica que a IA é hipervigilante sobre pequenas diferenças, enquanto os humanos estão mais dispostos a aceitar a ambiguidade.

Os pesquisadores também analisaram se poderiam explicar por que alguns humanos eram mais "semelhantes a máquinas" do que outros. Eles examinaram as personalidades dos recrutadores, seus escores em testes cognitivos, sua educação e seus anos de experiência. Surpreendentemente, nenhum desses fatores forneceu uma explicação clara. A inteligência de um recrutador ou seus anos de atuação no campo não previam se ele faria escolhas que pareciam com as de uma máquina. Os únicos traços que mostraram uma conexão fraca foram baseados na personalidade: recrutadores com maior autoestima tendiam a ser ligeiramente mais parecidos com máquinas, enquanto aqueles com maior neuroticismo eram ligeiramente menos assim. Mas, mesmo com esses fatores, a vasta maioria da diferença entre as escolhas humanas e de máquinas permanecia inexplicada. Isso sugere que a maneira como os humanos tomam essas decisões envolve uma dimensão complexa e oculta que não pode ser facilmente medida por pesquisas ou testes padrão.

Em última análise, o estudo sugere que a imitação perfeita do julgamento humano exige capturar não apenas a tendência média de escolher um certo tipo de candidato, mas também a total diversidade do raciocínio humano, incluindo suas inconsistências. Os sistemas de IA, mesmo quando ajustados para serem humanizados, tendem a ser mais consistentes e baseados em regras do que as pessoas que tentam imitar. Isso cria um paradoxo: quanto mais um sistema de IA tenta ser perfeitamente consistente e racional, menos ele se parece com um humano. Os pesquisadores argumentam que essa diferença é crucial para entender como usar a IA na contratação. Se queremos que a IA seja confiável, precisamos entender que ela não se comportará naturalmente como um humano. Ela não abraçará naturalmente o mesmo nível de ambiguidade ou aleatoriedade que os humanos. O estudo conclui que, antes de entregarmos as chaves da contratação aos algoritmos, devemos reconhecer que esses sistemas não são apenas humanos mais rápidos; eles são tipos fundamentalmente diferentes de tomadores de decisão, operando sob uma lógica que é estável e regrada, mas muitas vezes alheia à realidade desordenada da escolha humana.