Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
À travers trois expériences factorielles impliquant 4 320 appels d'API à travers quatre grands modèles de langage, cette étude démontre que le prestige institutionnel et le lieu de publication exercent des effets discriminatoires significativement plus forts sur les évaluations des candidats que l'ethnie du nom de l'administrateur ou l'origine géographique, avec un « effet de sauvetage » montrant que les publications à fort impact peuvent compenser de manière disproportionnée un faible prestige institutionnel.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne, l'intelligence artificielle est devenue discrètement un gardien. Ces programmes informatiques, connus sous le nom de grands modèles de langage, sont de plus en plus sollicités pour prendre des décisions qui façonnent des vies humaines. Ils aident à décider qui obtient un emploi, qui reçoit une bourse de recherche et qui est éligible à un prêt. Ils font cela en lisant des candidatures et en attribuant des scores, agissant comme des juges automatisés. Depuis des années, les scientifiques craignent que ces juges numériques ne portent les mêmes préjugés que les humains qui les ont construits. Nous savons qu'ils peuvent être biaisés contre les personnes en fonction de leur nom, de leur genre ou de leur race. Mais une question plus récente et plus subtile a émergé : ces modèles favorisent-ils également les candidats simplement en raison de l'endroit où ils ont fait leurs études ? Il ne s'agit pas de la qualité du travail accompli par une personne, mais de la réputation de l'institution sur son curriculum vitae. Si un programme informatique attribue un score plus élevé à un scientifique issu d'une université célèbre qu'à un scientifique tout aussi qualifié issu d'une université moins célèbre, il n'est pas neutre ; il renforce les hiérarchies existantes.
Une équipe de chercheurs s'est donné pour mission de tester ce type spécifique de biais en utilisant quatre modèles d'intelligence artificielle différents. Ils voulaient savoir si les modèles réagissaient au prestige d'une université ou simplement au pays où cette université était située. Pour trouver la réponse, ils ont créé des milliers de fausses candidatures pour des emplois et des bourses. Ils ont gardé les compétences et l'expérience du candidat exactement identiques dans chaque scénario. Les seules choses qu'ils ont modifiées étaient le nom de l'université fréquentée par le candidat et, dans certains cas, le nom de la revue où le candidat avait publié ses travaux. Ils ont testé des candidats issus d'universités américaines de premier rang, d'institutions respectées du Chili et de Colombie, ainsi que d'une université en Équateur qui n'apparaît pas dans les classements mondiaux. Ils ont également varié les noms sur les candidatures pour inclure des origines anglo, latines et arabes afin de voir si les modèles conservaient les vieux stéréotypes.
Les résultats étaient clairs et statistiquement robustes. Les modèles d'intelligence artificielle accordaient systématiquement des scores plus élevés aux candidats issus d'universités prestigieuses. Cet écart n'était pas une petite fluctuation ; c'était une tendance constante et mesurable. À travers les différents modèles et domaines professionnels, un candidat issu d'une université de haut rang recevait un score près de trois dixièmes de point supérieur à celui d'un candidat issu d'une université non classée. Dans le monde de la notation automatisée, cette différence est significative. Cependant, lorsque les chercheurs ont examiné les noms sur les candidatures, l'histoire a changé. Les modèles n'ont pas montré de préférence statistiquement significative pour les candidats ayant des noms anglo par rapport à ceux ayant des noms latinos ou arabes. Les scores pour ces différents groupes de noms étaient si proches que la différence pouvait être attribuée au hasard. Cela suggère que, bien que les modèles aient été entraînés avec succès pour ignorer les noms ethniques, ils n'ont pas été entraînés pour ignorer le statut de l'école sur un CV.
Pour comprendre si ce biais provenait de la réputation de l'école ou du pays, les chercheurs ont mené une seconde série d'expériences. Ils ont comparé une université hautement classée au Mexique avec une université peu classée ou non classée aux États-Unis. Si les modèles étaient simplement biaisés contre les pays en développement, ils auraient dû préférer l'école américaine. Au lieu de cela, les modèles avaient tendance à favoriser l'université mexicaine, même si elle était moins célèbre que les grandes écoles américaines, mais plus célèbre que la petite école américaine. Cela a prouvé que les modèles réagissaient au prestige de l'institution elle-même, et non seulement à la géographie. Le biais concernait la marque de l'université, et non le passeport du candidat.
La découverte la plus surprenante est survenue lorsque les chercheurs ont introduit une troisième variable : la revue où le candidat avait publié ses recherches. Ils ont comparé des candidats ayant publié dans la revue scientifique la plus célèbre au monde à ceux ayant publié dans une revue plus petite et en libre accès. La différence de score était massive. Le prestige de la revue importait bien plus que le prestige de l'université. Un candidat d'une université moins célèbre ayant publié dans la revue de premier plan recevait un score bien plus élevé qu'un candidat d'une université de premier rang ayant publié dans la plus petite revue. En fait, le gain provenant d'une revue célèbre était presque six fois plus fort que le gain provenant d'une université célèbre. Cela a créé un « effet de sauvetage », où la publication dans une revue de premier rang compensait totalement le manque de prestige institutionnel. Les modèles semblaient considérer une publication de haut niveau comme un signal de qualité si fort qu'il supplantait le biais contre l'école.
Les chercheurs ont également observé la cohérence des modèles dans leur notation. Ils ont constaté que lors de l'évaluation de candidats issus d'institutions moins célèbres, les modèles étaient plus incohérents. Une fois, le modèle pouvait donner un score bas à un candidat d'une petite université, et la fois suivante, il pouvait donner un score légèrement plus élevé pour le profil exact. Cette incohérence n'arrivait pas aussi souvent avec les candidats des universités de premier rang. Cela suggère que les modèles sont moins certains de la manière de juger les personnes issues d'institutions qu'ils connaissent moins, ce qui mène à un double désavantage : des scores moyens plus bas et des évaluations plus imprévisibles.
En fin de compte, cette étude révèle que, bien que l'intelligence artificielle ait fait des progrès pour éviter certaines formes de discrimination, elle a hérité d'un biais profond envers le statut. Les modèles agissent comme des amplificateurs des hiérarchies sociales existantes, récompensant le familier et le prestigieux tout en pénalisant l'inconnu. Ils ne semblent pas se soucier du pays d'origine autant qu'ils se soucient de la marque de l'école. Cependant, l'étude offre également une voie de passage. Elle montre que le travail de haute qualité, lorsqu'il est publié dans les bons endroits, peut briser ces barrières. Pour les chercheurs issus d'institutions moins célèbres, la voie vers une évaluation équitable par ces juges numériques ne réside pas dans le changement de leur nom ou de leur pays, mais dans le poids indéniable de leurs travaux publiés. Les machines apprennent à valoriser le travail, mais seulement lorsqu'il est présenté sur la scène la plus prestigieuse.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.