Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
Através de três experimentos fatoriais envolvendo 4.320 chamadas de API em quatro grandes modelos de linguagem, este estudo demonstra que o prestígio institucional e o veículo de publicação exercem efeitos discriminatórios significativamente mais fortes nas avaliações de candidatos do que a etnia do nome do candidato ou a origem geográfica, com um "efeito de resgate" mostrando que publicações de alto impacto podem compensar desproporcionalmente o baixo prestígio institucional.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo moderno, a inteligência artificial tornou-se silenciosamente uma guardiã. Esses programas de computador, conhecidos como modelos de linguagem de grande escala, são cada vez mais solicitados para tomar decisões que moldam vidas humanas. Eles ajudam a decidir quem consegue um emprego, quem recebe uma bolsa de pesquisa e quem se qualifica para um empréstimo. Eles fazem isso lendo candidaturas e atribuindo pontuações, agindo como juízes automatizados. Durante anos, cientistas temem que esses juízes digitais possam carregar os mesmos preconceitos dos humanos que os construíram. Sabemos que eles podem ser tendenciosos contra pessoas com base em seus nomes, seu gênero ou sua raça. Mas uma questão mais nova e sutil surgiu: será que esses modelos também favorecem candidatos simplesmente pelo local onde estudaram? Isso não é sobre a qualidade do trabalho que uma pessoa realizou, mas sobre a reputação da instituição em seu currículo. Se um programa de computador atribui uma pontuação mais alta a um cientista de uma universidade famosa do que a um cientista igualmente qualificado de uma universidade menos famosa, ele não está sendo neutro; ele está reforçando hierarquias existentes.
Uma equipe de pesquisadores propôs-se a testar esse tipo específico de viés usando quatro modelos diferentes de inteligência artificial. Eles queriam saber se os modelos estavam reagindo ao prestígio de uma universidade ou simplesmente ao país onde essa universidade estava localizada. Para encontrar a resposta, criaram milhares de candidaturas falsas para empregos e bolsas. Mantiveram as habilidades e a experiência do candidato exatamente as mesmas em todos os cenários. As únicas coisas que alteraram foram o nome da universidade que o candidato frequentou e, em alguns casos, o nome do periódico onde o candidato havia publicado seu trabalho. Testaram candidatos de universidades americanas de alto nível, de instituições respeitadas no Chile e na Colômbia, e de uma universidade no Equador que não aparece nas classificações globais. Também variaram os nomes nas candidaturas para incluir origens anglo-saxãs, latinas e árabes, para ver se os modelos ainda mantinham velhos estereótipos.
Os resultados foram claros e estatisticamente robustos. Os modelos de inteligência artificial concederam consistentemente pontuações mais altas a candidatos de universidades prestigiosas. Essa lacuna não foi uma pequena flutuação; foi uma tendência constante e mensurável. Em todos os diferentes modelos e campos profissionais, um candidato de uma universidade de primeira linha recebeu uma pontuação quase três décimos de ponto superior à de um candidato de uma universidade não classificada. No mundo das pontuações automatizadas, essa diferença é significativa. No entanto, quando os pesquisadores observaram os nomes nas candidaturas, a história mudou. Os modelos não mostraram uma preferência estatisticamente significativa por candidatos com nomes anglo-saxões sobre aqueles com nomes latinos ou árabes. As pontuações para esses diferentes grupos de nomes eram tão próximas que a diferença poderia ser atribuída ao acaso. Isso sugere que, embora os modelos tenham sido treinados com sucesso para ignorar nomes étnicos, eles não foram treinados para ignorar o status da escola em um currículo.
Para entender se esse viés vinha da reputação da escola ou do país em que ela estava, os pesquisadores realizaram um segundo conjunto de experimentos. Compararam uma universidade altamente classificada no México com uma universidade de baixo nível ou não classificada nos Estados Unidos. Se os modelos fossem simplesmente tendenciosos contra nações em desenvolvimento, deveriam ter preferido a escola americana. Em vez disso, os modelos tenderam a favorecer a universidade mexicana, embora fosse menos famosa que as principais escolas americanas, mas mais famosa que a pequena escola americana. Isso provou que os modelos estavam reagindo ao prestígio da própria instituição, não apenas à geografia. O viés era sobre a marca da universidade, não sobre o passaporte do candidato.
A descoberta mais surpreendente veio quando os pesquisadores introduziram uma terceira variável: o periódico onde o candidato havia publicado sua pesquisa. Eles compararam candidatos que haviam publicado no periódico científico mais famoso do mundo com aqueles que haviam publicado em um periódico menor e de acesso aberto. A diferença nas pontuações foi enorme. O prestígio do periódico importava muito mais do que o prestígio da universidade. Um candidato de uma universidade menos famosa que havia publicado no principal periódico recebeu uma pontuação muito maior do que um candidato de uma universidade de primeira linha que havia publicado no periódico menor. Na verdade, o impulso de um periódico famoso foi quase seis vezes mais forte do que o impulso de uma universidade famosa. Isso criou um "efeito de resgate", onde publicar em um periódico de topo compensou completamente a falta de prestígio institucional. Os modelos pareciam ver uma publicação de alto nível como um sinal de qualidade tão forte que isso sobrepunha o viés contra a escola.
Os pesquisadores também observaram quão consistentes os modelos eram em suas pontuações. Eles descobriram que, ao avaliar candidatos de instituições menos famosas, os modelos eram mais inconsistentes. Uma vez, o modelo poderia dar uma pontuação baixa a um candidato de uma universidade menor e, na próxima vez, poderia dar uma pontuação ligeiramente mais alta para o mesmo perfil exato. Essa inconsistência não ocorria com tanta frequência com candidatos de universidades de elite. Isso sugere que os modelos são menos certos sobre como julgar pessoas de instituições que conhecem menos, levando a uma dupla desvantagem: pontuações médias mais baixas e avaliações mais imprevisíveis.
Em última análise, este estudo revela que, embora a inteligência artificial tenha progredido em evitar algumas formas de discriminação, ela herdou um viés profundo em relação ao status. Os modelos agem como amplificadores de hierarquias sociais existentes, recompensando o familiar e o prestigioso, enquanto penalizam o desconhecido. Eles não parecem se importar tanto com o país de origem quanto se importam com o nome da marca da escola. No entanto, o estudo também oferece um caminho a seguir. Ele mostra que o trabalho de alta qualidade, quando publicado nos lugares certos, pode romper essas barreiras. Para pesquisadores de instituições menos famosas, o caminho para uma avaliação justa por esses juízes digitais não reside em mudar seus nomes ou seus países, mas no peso incontestável de seu trabalho publicado. As máquinas estão aprendendo a valorizar o trabalho, mas apenas quando ele é apresentado no palco mais prestigioso.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.