Applied and Filtered: An End-to-End Algorithmic Fairness Audit of A Public Employment Agency
Cet article présente le premier audit d'équité indépendant de bout en bout du système de recrutement semi-automatisé de Barcelona Activa, révélant que si une parité de genre globale existe, des disparités significatives persistent à travers les niveaux de salaire, les groupes d'âge et les identités de genre en raison d'interactions complexes entre le traitement automatisé, la discrétion humaine et l'opacité des fournisseurs qui sont invisibles pour les évaluations traditionnelles au niveau du modèle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de trouver un emploi, mais au lieu de remettre votre CV à une personne, vous entrez dans un labyrinthe géant et de haute technologie. C'est le monde de l'équité algorithmique, un domaine scientifique qui pose une question simple mais complexe : Lorsque les ordinateurs aident à prendre de grandes décisions comme l'embauche, traitent-ils tout le monde de la même manière, ou poussent-ils accidentellement certaines personnes vers des impasses ? Pendant longtemps, les experts ont principalement vérifié le « cerveau » de l'ordinateur — le code lui-même — pour voir s'il était biaisé. Mais cet article soutient que vérifier uniquement le cerveau revient à vérifier le moteur d'une voiture tout en ignorant le conducteur, les conditions de la route et les règles de circulation. Il se trouve que même si le moteur est parfait, la voiture peut quand même s'écraser si le conducteur est distrait ou si la carte est erronée. Cela importe à tout le monde car les algorithmes de recrutement deviennent les gardiens de nos moyens de subsistance, et s'ils sont défaillants, ils peuvent silencieusement bloquer l'accès aux opportunités sans que personne ne s'en aperçoive.
Cet article est une histoire de détective sur un véritable labyrinthe de l'emploi à Barcelone, en Espagne. Les chercheurs, agissant en tant qu'auditeurs indépendants, n'ont pas seulement regardé le code informatique ; ils ont suivi 497 000 demandeurs d'emploi à travers chaque étape d'un parcours de cinq ans (de 2017 à 2022) pour voir où le système a manqué le coche. Ils ont examiné un système semi-automatisé où un analyste humain utilise un logiciel tiers appelé « TalentClue » pour trouver des candidats pour les employeurs. Voyez cela comme une course de relais en sept étapes : l'employeur publie un poste, l'analyste humain choisit les mots-clés, l'ordinateur filtre la liste, l'humain choisit une liste restreinte, et enfin, l'employeur embauche quelqu'un.
Le rebondissement le plus surprenant de l'histoire ? Si l'on ne regardait que la ligne d'arrivée finale, la course semblait équitable. Le nombre d'hommes et de femmes embauchés était presque exactement le même. C'était comme voir deux équipes avec le même score final et supposer que le jeu était parfaitement équilibré. Mais lorsque les auditeurs ont remonté la bande et examiné chaque étape de la course, ils ont découvert une autre histoire. Le score final « équitable » cachait en réalité beaucoup d'iniquités tout au long du processus.
C'est ici que le système a commencé à faire trébucher les gens :
- Le piège salarial : Bien que les femmes et les hommes soient embauchés à des taux similaires globalement, les femmes étaient beaucoup moins susceptibles d'être présélectionnées pour des emplois à salaire moyen (entre 15 000 € et 24 000 €). En fait, pour ces emplois spécifiques, les femmes étaient présélectionnées à un taux de seulement 7,43 % contre 9,45 % pour les hommes. C'est comme si le système avait une règle cachée qui disait : « Vous pouvez avoir le job, mais peut-être pas le meilleur job. »
- Le mur de l'âge : Le système semblait avoir un angle mort pour les travailleurs plus âgés. Les personnes âgées de 55 ans et plus représentaient 15,6 % de la main-d'œuvre locale, mais elles étaient totalement absentes du pipeline de recrutement. C'était comme si le labyrinthe avait un mur que personne de plus de 55 ans ne pouvait voir, et encore moins franchir.
- Le problème de l'« Autre » : Pour les candidats s'identifiant comme non-binaires (ni strictement homme ni femme), les chances étaient incroyablement minces. Ils étaient présélectionnés à moins d'un tiers du taux des hommes. Cependant, les chercheurs notent qu'il y avait très peu de ces candidats dans les données (seulement 285), donc bien que la disparité soit claire, ils ne peuvent pas encore dire avec précision quelle est l'ampleur du problème pour l'ensemble de la population.
- Le paradoxe de l'éducation : Curieusement, les personnes ayant un niveau d'études supérieures étaient moins susceptibles d'être présélectionnées que celles ayant seulement un diplôme d'études secondaires. Comme les femmes ont tendance à avoir des diplômes d'études supérieures dans cet ensemble de données, cette règle a accidentellement nui davantage aux chances des femmes.
L'article souligne également une rupture majeure de communication. Les personnes gérant l'agence de recrutement (Barcelona Activa) ne savaient pas réellement comment le logiciel informatique (TalentClue) décidait de qui leur montrer. C'était comme embaucher un chef mais ne pas être autorisé à voir la recette ou les ingrédients. L'agence ne pouvait pas vérifier si l'ordinateur était biaisé parce que la société de logiciels gardait la « sauce secrète » cachée.
Enfin, les chercheurs ont découvert que le système n'était pas statique ; il changeait au fil du temps. L'écart entre les hommes et les femmes dans la présélection s'est réduit de 2017 à 2022, mais seulement parce que moins de personnes, quel que soit leur genre, étaient présélectionnées globalement. C'est comme une course où l'écart entre les coureurs rétrécit parce que tout le monde court plus lentement, et non parce que la piste est devenue plus équitable.
La grande conclusion est que l'on ne peut pas simplement vérifier le code d'un ordinateur une fois et déclarer qu'il est « équitable ». Il faut surveiller l'ensemble du processus — les humains, les données, le logiciel et le temps nécessaire. Si vous ne regardez que le résultat final, vous pourriez manquer le fait que le système oriente discrètement certains groupes loin des meilleures opportunités. L'auteur suggère qu'au lieu de faire une simple vérification ponctuelle, les entreprises doivent maintenir une surveillance constante de leurs systèmes de recrutement, comme un phare surveillant les vagues, pour s'assurer que le chemin vers un emploi reste ouvert pour tous, chaque jour.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.