Developing and assessing a scale for measuring human–AI alignment in hiring decisions

Dans le monde moderne, les gardiens de l'opportunité changent. Pendant des décennies, la décision d'embaucher quelqu'un pour un emploi reposait entièrement sur le jugement humain, un processus influencé par l'expérience, l'intuition et parfois des biais inconscients. Aujourd'hui, l'intelligence artificielle prend de plus en plus ce rôle, examinant des milliers de CV et effectuant des sélections initiales avant même qu'un nom ne soit vu par un humain. Ce changement soulève une question fondamentale : lorsqu'une machine prend une décision d'embauche, pense-t-elle comme une personne ? La réponse n'est pas aussi simple que de demander si l'ordinateur a raison ou tort. Au lieu de cela, les chercheurs se demandent à quel point les choix de la machine reflètent les manières désordonnées, variées et souvent incohérentes dont les humains décident réellement. Pour comprendre cela, les scientifiques ont commencé à traiter l'embauche non pas seulement comme une transaction économique, mais comme un test d'alignement, mesurant la distance entre le raisonnement humain et la logique algorithmique.

Une équipe de chercheurs s'est donné pour mission de mesurer cette distance avec une nouvelle approche qu'ils appellent un Test de Turing du Marché du Travail. Le test de Turing classique, proposé il y a des décennies, était conçu pour voir si une machine pouvait convaincre un humain qu'elle était aussi humaine. Cette nouvelle version inverse la donne. Au lieu de demander si une machine peut tromper une personne, elle demande à quel point les décisions d'une machine ressemblent à celles d'une personne. Les chercheurs n'ont pas simplement demandé à une IA de choisir le meilleur candidat. Ils ont créé une expérience contrôlée en Équateur impliquant 277 recruteurs professionnels humains. Ces personnes réelles ont été engagées pour examiner des paires de candidats pour dix types d'emplois différents, allant d'assistants d'entrepôt à développeurs de logiciels. Pour garantir que le test soit équitable et centré sur le style de décision plutôt que sur les qualifications spécifiques, les candidats de chaque paire ont été appariés selon leurs compétences, leur éducation et leur expérience. Les seules différences entre eux étaient des marqueurs d'identité, tels que le genre, l'orientation sexuelle ou le statut d'immigration — des facteurs qui ne devraient logiquement pas influencer qui est embauché pour le poste.

Les recruteurs humains ont fait leurs choix, puis les chercheurs ont construit un miroir numérique. Ils ont créé quatre équipes différentes d'agents d'intelligence artificielle, chacune alimentée par un modèle de langage étendu, pour effectuer exactement la même tâche. La première équipe, appelée « Robots », a reçu des instructions basiques pour choisir le meilleur candidat. La deuxième équipe, « Avatars », devait prétendre être des recruteurs humains spécifiques, imitant leurs traits de personnalité, leur éducation et leur parcours professionnel. La troisième équipe, « Clones », est allée plus loin ; on ne leur a pas seulement dit de prétendre être un humain spécifique, mais ils ont également été restreints à ne voir que les mêmes informations que l'humain, dans le même ordre exact. La dernière équipe, « Randomistas », faisait ses choix en lançant une pièce numérique, servant de base de référence pour un hasard pur. L'objectif était de voir quelle équipe d'IA prenait des décisions qui ressemblaient le plus aux recruteurs humains.

Pour mesurer les résultats, les chercheurs ont développé une échelle pour placer chaque recruteur, humain et machine, sur une seule ligne. À une extrémité de la ligne se trouve un point de référence appelé « Skynet », qui représente le choix moyen fait par l'équipe de base des Robots. Il ne s'agit pas d'une mesure de l'équité, mais d'une mesure de la cohérence algorithmique pure. Un recruteur qui est toujours en accord avec Skynet agit de manière très semblable à une machine. Un recruteur qui est souvent en désaccord agit de manière plus humaine. L'étude a révélé que le recruteur humain moyen était significativement différent de la machine moyenne. En fait, les choix humains étaient environ 1,73 écart-type éloignés du comportement typique de la machine. Cela signifie que, en moyenne, les humains sont beaucoup moins prévisibles et moins cohérents que l'IA de base.

Les chercheurs ont découvert que plus ils essayaient de faire agir l'IA comme un humain, plus elle se rapprochait de la moyenne humaine, mais qu'elle n'y arrivait jamais tout à fait. Même les « Clones », qui étaient programmés pour imiter des humains spécifiques et restreints aux mêmes informations qu'eux, produisaient encore un schéma de choix statistiquement différent des vraies personnes. La découverte la plus surprenante est venue des « Randomistas ». Les agents d'IA qui ont simplement lancé une pièce pour prendre leurs décisions ont en fait fini par avoir un schéma de choix plus proche de la moyenne humaine que n'importe laquelle des équipes d'IA sophistiquées. Cela suggère que la prise de décision humaine dans l'embauche contient un niveau de hasard ou d'incohérence que même l'IA la plus humaine a du mal à reproduire. Les humains ne prenaient pas seulement des choix rationnels et fondés sur des règles ; ils faisaient des choix qui incluaient un degré d'imprévisibilité que les machines, même lorsqu'on leur demandait d'être humaines, ne pouvaient pas pleinement capturer.

L'étude a également révélé que l'écart entre les humains et les machines s'élargissait en fonction de la complexité de l'emploi. Lorsque les recruteurs choisissaient entre des candidats pour des emplois simples, comme un concierge ou un travailleur d'entrepôt, les humains et les machines étaient d'accord plus souvent. Cependant, à mesure que les emplois devenaient plus exigeants, nécessitant des compétences spécialisées ou une éducation plus élevée, l'accord diminuait. Les machines et les humains commençaient à diverger plus nettement. De plus, lorsque les deux candidats d'une paire étaient très similaires, avec seulement de minuscules différences d'âge ou d'années d'expérience, les humains et les machines étaient en désaccord plus souvent. Les machines semblaient se focaliser sur ces détails infimes et prendre une décision basée sur eux, tandis que les humains étaient plus enclins à traiter les candidats comme étant essentiellement égaux. Cela indique que l'IA est hyper-vigilante face aux petites différences, tandis que les humains sont plus enclins à accepter l'ambiguïté.

Les chercheurs ont également cherché à savoir si on pouvait expliquer pourquoi certains humains étaient plus « machine-like » (semblables à une machine) que d'autres. Ils ont examiné les traits de personnalité des recruteurs, leurs scores aux tests cognitifs, leur éducation et leurs années d'expérience. Étonnamment, aucun de ces facteurs n'a fourni une explication claire. L'intelligence d'un recruteur ou ses années d'expérience dans le domaine ne permettaient pas de prédire s'il prendrait des décisions ressemblant à celles d'une machine. Les seuls traits montrant une faible connexion étaient liés à la personnalité : les recruteurs ayant une plus grande estime de soi avaient tendance à être légèrement plus semblables à une machine, tandis que ceux ayant une névrosisme plus élevé l'étaient légèrement moins. Mais même avec ces facteurs, la vaste majorité de la différence entre les choix humains et ceux des machines restait inexpliquée. Cela suggère que la façon dont les humains prennent ces décisions implique une dimension complexe et cachée qui ne peut être facilement mesurée par des enquêtes ou des tests standards.

En fin de compte, l'étude suggère que l'imitation parfaite du jugement humain nécessite de capturer non seulement la tendance moyenne à choisir un certain type de candidat, mais aussi toute la diversité du raisonnement humain, y compris ses incohérences. Les systèmes d'IA, même lorsqu'ils sont ajustés pour être semblables à l'humain, ont tendance à être plus cohérents et fondés sur des règles que les personnes qu'ils tentent d'imiter. Cela crée un paradoxe : plus un système d'IA essaie d'être parfaitement cohérent et rationnel, moins il ressemble à un humain. Les chercheurs soutiennent que cette différence est cruciale pour comprendre comment utiliser l'IA dans l'embauche. Si nous voulons que l'IA soit digne de confiance, nous devons comprendre qu'elle ne se comportera pas naturellement comme un humain. Elle n'adoptera pas naturellement le même niveau d'ambiguïté ou de hasard que les humains. L'étude conclut qu'avant de confier les clés de l'embauche aux algorithmes, nous devons reconnaître que ces systèmes ne sont pas seulement des humains plus rapides ; ils sont des décideurs fondamentalement différents, opérant sur une logique qui est stable et régie par des règles, mais souvent étrangère à la réalité désordonnée du choix humain.