Résumé technique : MESD – Une métrique sensible au risque pour l'équité des explications à travers les sous-groupes intersectionnels

Énoncé du problème

L'évaluation actuelle de l'équité en apprentissage automatique est principalement orientée vers les résultats, s'appuyant sur des métriques telles que la parité démographique et les chances égales pour assurer une cohérence statistique des prédictions entre les groupes protégés. Cependant, ces métriques échouent à détecter les injustices procédurales : des situations où un modèle produit des résultats statistiquement équitables mais utilise des processus de raisonnement systématiquement différents, instables ou biaisés pour différents groupes démographiques.

Ce problème est exacerbé par l'intersectionnalité. Les modèles peuvent sembler équitables lorsqu'ils sont évalués sur des attributs uniques (par exemple, la race ou le genre indépendamment) tout en présentant des disparités significatives pour les sous-groupes intersectionnels (par exemple, les femmes noires), un phénomène connu sous le nom de gerrymandering de l'équité. De plus, les métriques existantes d'équité procédurale reposent souvent sur des comparaisons contrefactuelles ou des attributs protégés uniques, échouant à traiter la stabilité des explications sous perturbation à travers des intersections complexes de sous-groupes multidimensionnels.

Méthodologie

L'article propose la Disparité de Stabilité des Explications Multi-catégories (MESD), une métrique d'équité procédurale conçue pour quantifier les disparités dans la qualité des explications à travers les sous-groupes intersectionnels. MESD est intégrée dans un cadre d'optimisation multi-objectif appelé UEF (Utilité, Explicabilité et Équité).

1. La métrique MESD

MESD fonctionne selon une procédure robuste en trois étapes :

• Construction de sous-groupes intersectionnels : La métrique construit des sous-groupes via le produit cartésien de plusieurs attributs protégés ($G = A_1 \times A_2 \times \dots \times A_m$). Cela capture les expériences uniques des individus multi-marginalisés.
• Évaluation de la stabilité par perturbation : Pour mesurer la cohérence des explications, la méthode génère des versions perturbées des instances d'entrée en utilisant un cadre hybride de bruit gaussien et de masquage stochastique des caractéristiques. Elle calcule un vecteur d'attribution d'ensemble (combinant plusieurs explicateurs tels que SHAP et LIME) pour les entrées originales et perturbées. La stabilité est quantifiée par l'inverse de la distance euclidienne entre ces explications ; une explication stable produit un score proche de 1, tandis que les incohérentes tendent vers 0.
• Agrégation consciente des étiquettes avec rétrécissement Bayésien Empirique : Pour éviter des estimations de disparité trompeuses causées par de petites tailles d'échantillon dans les groupes intersectionnels, MESD agrège les scores de stabilité conditionnellement à l'étiquette vraie ($y$). Elle utilise un rétrécissement Bayésien Empirique (EB) pour tirer les estimations instables des petits groupes vers la moyenne par étiquette, réduisant la variance sans masquer les véritables disparités.
• Mesure de risque pondérée par la CVaR : Pour traiter le gerrymandering de l'équité, MESD utilise la Valeur à Risque Conditionnelle (CVaR). Au lieu de moyenner les disparités, elle se concentre sur la queue « pire cas » de la distribution des disparités. Elle calcule les disparités de stabilité par paires ($D_{ij}$) et attribue des poids plus élevés aux paires impliquant des groupes à faible équité procédurale (risque élevé), assurant ainsi que la métrique est sensible à l'instabilité extrême des sous-groupes.

2. Le cadre d'optimisation UEF

Pour générer des modèles équitables tant dans leurs résultats que dans leur procédure, les auteurs introduisent UEF, un cadre d'optimisation multi-objectif utilisant NSGA-II (Algorithme Génétique de Tri Non-Dominé II). UEF optimise simultanément trois objectifs :

1. Utilité ($F_{perf}$) : Performance prédictive (AUC maximisé).
2. Équité des résultats ($F_{out}$) : Écart de parité démographique minimisé à travers les groupes intersectionnels.
3. Équité procédurale ($F_{proc}$) : Score MESD minimisé.

Une scalarisation de Tchebychev est appliquée après l'optimisation pour sélectionner un modèle unique parmi le front de Pareto qui équilibre ces objectifs concurrents.

Contributions clés

1. Métrique MESD : L'introduction d'une métrique d'équité procédurale combinant explicitement l'analyse des sous-groupes intersectionnels, la stabilité des explications (robustesse à la perturbation) et l'agrégation sensible au risque (CVaR) pour détecter le gerrymandering de l'équité.
2. Cadre UEF : Une approche d'optimisation multi-objectif qui optimise conjointement l'utilité, l'équité des résultats et l'équité procédurale, démontrant que ces dimensions peuvent être équilibrées plutôt que traitées comme mutuellement exclusives.
3. Validation complète : Des preuves empiriques montrant que l'équité orientée vers les résultats ne garantit pas l'équité procédurale, et que l'optimisation pour MESD révèle des disparités invisibles pour les métriques standard.

Résultats expérimentaux

Les auteurs ont évalué MESD et UEF sur trois jeux de données de référence (Revenu Adulte, Récidive, Crédit Allemand) par rapport à quatre lignes de base : Minimisation du Risque Empirique (ERM), Repondération (RW), Réductions (RD) et Débiaisage Adversarial (ADL).

• Performance équilibrée : UEF a constamment atteint la performance la plus équilibrée sur les trois objectifs. Sur le jeu de données Revenu Adulte (le plus complexe avec trois attributs protégés), UEF a obtenu les scores AUC et F1 les plus élevés tout en atteignant simultanément les scores de Parité Démographique (DP) et MESD les plus bas.
• Efficacité de Pareto : UEF a produit 12 solutions non dominées sur 15 sur tous les jeux de données et plis. Notamment, c'était la seule méthode à atteindre des solutions non dominées sur les 5 plis du jeu de données Revenu Adulte, où le gerrymandering de l'équité intersectionnelle est le plus prévalent.
• Détection de disparités cachées : Les méthodes de base optimisées pour l'équité des résultats (comme RD) ont souvent atteint de faibles écarts DP mais des scores MESD élevés, confirmant qu'elles n'assuraient pas un raisonnement cohérent entre les groupes.
• Études d'ablation :
  • CVaR : Le retrait du pondération CVaR (utilisant la variance ou l'écart maximal à la place) masquait les disparités pires cas dans les petits sous-groupes.
  • Rétrécissement EB : Sans rétrécissement, les petits groupes intersectionnels présentaient des scores de stabilité artificiellement bas en raison d'une variance élevée ; le rétrécissement régularisait ces estimations.
  • Hyperparamètres : MESD s'est révélée robuste aux lignes de base de perturbation et se stabilise avec un nombre suffisant de perturbations ($K \ge 20$).

Importance et revendications

L'article positionne MESD comme un composant nécessaire pour la justice procédurale en IA, fondé sur la distinction théorique entre justice distributive (résultats) et justice procédurale (processus). Les auteurs affirment que :

• L'équité procédurale est distincte : Un modèle peut être statistiquement équitable tout en étant procéduralement injuste s'il repose sur des raisonnements différents et instables pour différents groupes. Cette divergence sape la légitimité du système de décision.
• L'intersectionnalité est cruciale : L'analyse de l'équité sur un seul axe obscurcit les expériences des individus multi-marginalisés. MESD fait partie des premières métriques à traiter explicitement la stabilité des explications à l'intersection de plusieurs attributs protégés.
• Compromis d'optimisation : L'optimisation conjointe de l'utilité, de l'équité des résultats et de l'équité procédurale produit des modèles supérieurs à ceux optimisés pour des objectifs uniques, en particulier dans des paysages d'équité complexes et de haute dimension.
• Pertinence réglementaire : Ce travail soutient la conformité avec les cadres réglementaires émergents (par exemple, l'AI Act de l'UE) en fournissant un mécanisme pour auditer le processus de prise de décision, et non seulement le résultat.

Les auteurs reconnaissent des limites, notant que MESD repose sur des explicateurs a posteriori (qui sont des approximations) et est actuellement limitée aux données tabulaires avec des attributs protégés binaires. Ils suggèrent que les travaux futurs devraient explorer l'explicabilité en cours de traitement et des extensions vers des modalités continues ou non tabulaires.