AI Alignment Amplifies the Role of Race, Gender, and Disability in Hiring Decisions

Résumé technique : L'alignement de l'IA amplifie le rôle de la race, du genre et du handicap dans les décisions d'embauche

Énoncé du problème
À mesure que les modèles de langage (LM) participent de plus en plus à des décisions aux conséquences importantes, notamment en matière d'embauche, une question critique demeure : ces systèmes reproduisent-ils les schémas historiques de discrimination humaine ou en génèrent-ils de nouveaux ? Alors que les marchés du travail humains présentent des biais bien documentés contre les femmes, les minorités raciales (spécifiquement les candidats noirs) et les personnes en situation de handicap, il est incertain que les LM héritent de ces biais des données de pré-entraînement ou si les processus d'alignement post-entraînement les transforment. La littérature existante suggère que l'IA pourrait reproduire les biais cognitifs humains, mais les mécanismes spécifiques et les ampleurs des effets démographiques dans les LM par rapport aux employeurs humains ne sont pas entièrement compris.

Méthodologie
Les auteurs ont mené une étude d'audit à grande échelle impliquant 27 modèles de langage (19 modèles ajustés par instruction et 8 modèles de base pré-entraînés) couvrant 177 professions, représentant près de la moitié de l'emploi aux États-Unis.

• Conception expérimentale : L'étude a utilisé une conception d'appariement par paires. Pour chaque profession, des profils de candidats ont été générés par échantillonnage indépendant à partir de distributions spécifiques à la profession concernant les compétences, l'éducation, l'expérience professionnelle et la moyenne générale (GPA). Ces profils ont été convertis en CV en langage naturel.
• Contrefactuels démographiques : Chaque CV a été répliqué en huit variantes représentant toutes les combinaisons de genre (homme/femme), de race (blanc/noir) et de statut de handicap (handicapé/non handicapé). Tous les attributs pertinents pour la productivité sont restés constants ; seul le bloc d'informations démographiques variait.
• Tâche : Les modèles ont été invités à choisir le meilleur candidat entre deux profils appariés au hasard présentant des qualifications et des démographies différentes. Cette conception isole l'effet causal de l'identité démographique sur les décisions d'embauche.
• Analyse statistique : Les auteurs ont employé une régression logistique sur les log-odds de sélection d'un candidat par rapport à un autre, en régressant le résultat sur les différences démographiques et les différences de qualifications. Ils ont utilisé :
  • Paires appariées : Neuf ensembles de modèles partageant la même architecture mais différant par l'alignement (pré-entraînés vs ajustés par instruction) pour isoler l'effet causal de l'alignement.
  • Méta-analyse : Une méta-analyse à effets aléatoires pour agréger les estimations par modèle et les comparer aux références humaines dérivées d'une méta-analyse de 361 expériences de correspondance.
  • Tests de mécanismes : Des spécifications pour les « rendements différentiels » (testant si les qualifications produisent des rendements différents selon le groupe) et l'« asymétrie d'information » (testant si l'absence de signaux nuit de manière disproportionnée à des groupes spécifiques).

Contributions clés

1. Quantification des effets démographiques : L'étude fournit la première quantification à grande échelle et transversale des professions de la manière dont les LM traitent les candidates, les candidats noirs et les candidats en situation de handicap par rapport à leurs homologues, les qualifications étant maintenues constantes.
2. Rôle causal de l'alignement : En comparant des modèles pré-entraînés et ajustés par instruction appariés, l'article isole l'alignement post-entraînement comme le principal moteur des effets démographiques, démontrant que l'alignement amplifie significativement les biais existants plutôt que de simplement les hériter.
3. Divergence des schémas humains : La recherche établit que les LM ne reproduisent pas simplement la discrimination humaine ; ils inversent la direction de la discrimination raciale, atténuent la pénalité liée au handicap et amplifient l'avantage féminin par rapport aux employeurs humains.
4. Identification des mécanismes : L'article identifie que les LM opèrent via des mécanismes de discrimination statistique (rendements différentiels et asymétrie d'information), mais que l'alignement modifie l'ampleur et la direction de ces effets de manière asymétrique selon les groupes.

Résultats

• Effets démographiques : Parmi les modèles ajustés par instruction, les candidates et les candidats noirs reçoivent des avantages en matière d'embauche, tandis que les candidats en situation de handicap subissent une pénalité.
  • Ampleur : L'avantage féminin correspond à une augmentation d'environ 12 % des chances d'embauche, et l'avantage noir à une augmentation de 8 %. La pénalité liée au handicap correspond à une diminution de 6 %. Ces effets sont comparables à six mois à un an d'éducation supplémentaire.
  • Amplification par l'alignement : Par rapport aux modèles pré-entraînés, l'alignement amplifie l'avantage féminin de 325 % et l'avantage noir de 330 %. Inversement, il aggrave la pénalité liée au handicap de 171 %.
• Comparaison avec la discrimination humaine :
  • Race : Les employeurs humains montrent une pénalité de 32 % pour les candidats noirs ; les LM inversent cela, montrant un avantage d'environ 9 %.
  • Handicap : Les employeurs humains montrent une pénalité de 41 % ; les LM l'atténuent à environ 5 % mais ne l'inversent pas.
  • Genre : Les employeurs humains montrent un léger avantage de 4 % pour les femmes ; les LM l'amplifient à 13 %.
• Mécanismes :
  • Rendements différentiels : Les LM récompensent les mêmes qualifications plus généreusement pour les groupes marginalisés (rendements plus élevés des compétences générales pour les trois groupes ; rendements plus élevés de l'expérience professionnelle pour les candidates et les candidats noirs, mais une pénalité pour les candidats en situation de handicap).
  • Asymétrie d'information : Lorsque les signaux de qualification (expérience professionnelle) sont absents, les LM imposent des pénalités supplémentaires aux groupes marginalisés. Cette pénalité est la plus forte pour les candidats en situation de handicap. L'alignement amplifie causalement ces pénalités d'asymétrie d'information pour les trois groupes.
• Variation selon les professions : Les avantages pour les femmes et les personnes noires sont plus importants dans les professions à salaire élevé. La pénalité liée au handicap est la plus sévère dans les professions où les travailleurs en situation de handicap sont les plus nombreux.

Importance et affirmations
L'article affirme que l'IA ne reproduit pas simplement la discrimination humaine historique mais produit un schéma de résultats fondamentalement différent. Les auteurs soutiennent que le rôle de la race, du genre et du handicap dans l'embauche pilotée par l'IA est comparable à des différentiels éducatifs significatifs (6 à 12 mois d'éducation).

Crucialement, l'étude remet en question l'hypothèse sous-jacente aux réglementations actuelles (telles que l'AI Act de l'UE et la loi locale 144 de New York) selon laquelle l'IA reproduira simplement les biais historiques. Au contraire, les résultats suggèrent que l'alignement post-entraînement façonne activement le traitement relatif des groupes marginalisés. Les auteurs concluent que la question politique n'est plus de savoir si l'IA discrimine les groupes marginalisés, mais comment l'alignement transforme le traitement relatif entre eux, notant que si l'alignement bénéficie aux candidates et aux candidats noirs dans ce contexte, il exacerbe les désavantages pour les candidats en situation de handicap.