Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants
Ce document de position soutient que la recherche sur l'équité algorithmique doit dépasser la simple focalisation sur les attributs sensibles pour quantifier l'injustice structurelle à travers les déterminants sociaux, démontrant que les stratégies d'atténuation actuelles échouent souvent à traiter les inégalités systémiques et peuvent même les exacerber.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée centrale : Regarder l'image globale, pas seulement la personne
Imaginez que vous êtes un juge essayant de décider qui peut entrer dans un club spécial. Pendant longtemps, le manuel de règles sur l'« équité » vous a dit de regarder uniquement la personne assise devant vous. Vous vérifiez sa race, son genre ou son âge. Si vous voyez deux personnes ayant la même race et le même genre, le manuel de règles dit que vous devez les traiter exactement de la même manière.
Les auteurs de cet article soutiennent que cette approche revient à juger un poisson sur sa capacité à grimper à un arbre. Cela fait passer à côté de la partie la plus importante de l'histoire : l'environnement.
Ils affirment que nous devons cesser de regarder uniquement les « attributs sensibles » (comme la race ou le genre) et commencer à mesurer les Déterminants Sociaux. Considérez-les comme le « sol » dans lequel la personne pousse. Le sol est-il riche et plein de nutriments (bonnes écoles, air pur, rues sûres) ? Ou est-il rocheux et sec (écoles pauvres, pollution, manque de médecins) ?
L'article soutient que l'injustice n'est pas seulement une question de la façon dont les individus sont traités ; c'est une question d'injustice structurelle intégrée dans les quartiers et les systèmes dans lesquels ils vivent.
Le problème : Le « Bruit » vs le « Signal »
Dans la recherche actuelle sur l'équité en apprentissage automatique (IA), lorsque les scientifiques de données voient des variables liées au quartier ou à l'environnement d'une personne, ils les traitent souvent comme du « bruit » — un encombrement statique en arrière-plan qu'ils tentent de filtrer ou d'ignorer pour rendre le modèle « propre ».
Les auteurs affirment que c'est une erreur. Ils soutiennent que ces facteurs environnementaux sont en réalité le « signal ». Ils sont la véritable histoire.
L'analogie :
Imaginez que vous participez à une course.
- L'approche actuelle : Vous regardez deux coureurs. L'un porte un t-shirt rouge, l'autre un bleu. Vous voyez que le coureur au t-shirt rouge est plus lent. Vous supposez que le t-shirt rouge est le problème et essayez de réparer les chaussures du coureur.
- L'approche de l'article : Vous réalisez que le coureur au t-shirt rouge court sur un chemin boueux et en montée, tandis que le coureur au t-shirt bleu est sur une piste lisse et plate. Le « t-shirt rouge » (l'attribut sensible) n'est pas la cause de la lenteur ; la boue et la colline (les déterminants sociaux) le sont. Si vous ne faites que réparer les chaussures mais que vous laissez la boue, le coureur perdra quand même.
Pourquoi l'ancienne méthode échoue (Le piège du « Quota »)
L'article utilise une expérience de pensée sur l'admission à l'université pour montrer pourquoi se concentrer uniquement sur les attributs sensibles peut en réalité aggraver les choses.
Le scénario :
Imaginez qu'une université veuille être équitable envers les « Minorités Sous-représentées » (MSU). Elle décide de réserver un nombre spécifique de places (un quota) pour les étudiants issus de ces minorités.
- L'intention : Cela semble équitable. Cela aide le groupe qui a été historiquement laissé de côté.
- La conséquence imprévue : Les auteurs montrent que cette stratégie aide souvent le plus les étudiants issus de ces minorités les plus aisés, tout en nuisant aux étudiants non-MSU les plus pauvres.
La métaphore :
Imaginez un canot de sauvetage qui ne peut contenir que 10 personnes.
- Ancienne notion d'équité : « Nous sauverons 5 personnes du Groupe A et 5 personnes du Groupe B. »
- La réalité : Le Groupe A a 5 personnes sur un navire qui coule (zone riche) et 5 personnes dans un marécage (zone pauvre). Le Groupe B a 5 personnes sur un navire qui coule et 5 dans un marécage.
- Si vous ne regardez que l'étiquette « Groupe », vous pourriez sauver les 5 personnes du Groupe A qui sont sur le navire qui coule. Mais vous laissez les 5 personnes du Groupe B qui sont dans le marécage se noyer, même si elles sont en autant de danger.
- Le résultat : En vous concentrant uniquement sur l'étiquette du « Groupe », vous ignorez accidentellement le fait que les personnes dans le marécage (peu importe leur groupe) ont le plus besoin d'aide. Vous créez un nouveau type d'injustice.
Preuve dans le monde réel : L'exemple des « Femmes Noires »
Les auteurs n'ont pas utilisé que la théorie ; ils ont examiné des données réelles.
- Revenu : Ils ont observé les femmes noires dans différents quartiers. Bien qu'elles soient toutes des « femmes noires » (mêmes attributs sensibles), leurs revenus étaient radicalement différents selon l'endroit où elles vivaient. Dans les quartiers pauvres (forte « Privation de la zone »), leurs revenus étaient beaucoup plus bas que dans les quartiers riches. L'étiquette « femme noire » ne racontait pas toute l'histoire ; le quartier, lui, le faisait.
- Santé : Ils ont étudié le dépistage du cancer du sein. Même parmi les femmes blanches au sein du même système de santé, celles vivant dans des quartiers pauvres attendaient beaucoup plus longtemps pour leur premier dépistage que celles des quartiers riches. Les médecins suivaient les mêmes règles pour tout le monde, mais l'environnement (transport, temps de congé, accès) créait l'écart.
La solution : Une nouvelle boîte à outils
L'article appelle à trois changements majeurs dans la façon dont nous construisons et testons l'IA :
- Gouvernance des données (La Carte) : Nous devons commencer à cartographier le « sol ». Au lieu de simplement collecter des données sur les gens, nous devons collecter des données sur leurs quartiers, le financement de leurs écoles et les niveaux de pollution. Nous devons traiter ces données comme une partie cruciale du puzzle, et non comme un « bruit » à supprimer.
- Nouvelles mesures (La Règle) : Nous avons besoin de nouvelles façons de mesurer l'équité. Au lieu de simplement demander : « Les résultats sont-ils égaux pour le Groupe A et le Groupe B ? », nous devrions demander : « Les résultats sont-ils égaux pour les personnes vivant dans un Sol Riche par rapport à un Sol Pauvre ? »
- Modèles causaux (Le Mécanicien) : Nous devons construire une IA qui comprenne la cause et l'effet. Elle ne doit pas seulement voir que « Vivre dans une zone pauvre » mène à des « Résultats moins bons ». Elle doit comprendre pourquoi (ex: manque de médecins, mauvaises routes) afin que nous puissions corriger la cause profonde, et non seulement le symptôme.
L'essentiel
L'article conclut que nous ne pouvons pas atteindre une véritable équité en ignorant simplement les attributs sensibles ou en essayant de les équilibrer parfaitement. Nous devons d'abord auditer l'injustice structurelle.
Pensez à la réparation d'un toit qui fuit. Si vous vous contentez d'éponger le sol (corriger la discrimination individuelle), la maison finira par pourrir. Vous devez réparer le toit (les déterminants sociaux) pour empêcher l'eau d'entrer dès le départ. Les auteurs veulent que l'apprentissage automatique cesse d'éponger le sol pour commencer à réparer le toit.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.