Résumé Technique : GESD – Au-delà de l'Équité Orientée Résultat

Énoncé du Problème

Les algorithmes d'apprentissage automatique (ML) sont de plus en plus déployés dans des domaines à haut risque tels que le recrutement, l'approbation de prêts et la justice pénale. Bien que les métriques d'équité existantes (par exemple, la parité statistique, les chances égales) quantifient efficacement les disparités dans les résultats des modèles, elles échouent à traiter les biais inhérents à la procédure de prise de décision ou à la stabilité des explications du modèle. Les méthodes actuelles reposent fortement sur les statistiques de prédiction, risquant ainsi de négliger des scénarios où un modèle produit des résultats équitables mais s'appuie sur un raisonnement interne discriminatoire ou instable. Il existe une lacune critique dans la mesure de savoir si les membres de différents sous-groupes protégés reçoivent des explications de qualité, de stabilité et de robustesse comparables.

Méthodologie

1. Disparité de Stabilité des Explications au Niveau du Groupe (GESD)

Les auteurs proposent le GESD, une métrique d'équité orientée procédure conçue pour quantifier les disparités dans la stabilité, la robustesse et la sensibilité des explications du modèle à travers les sous-groupes protégés. Contrairement aux mesures antérieures qui comparent l'importance moyenne des caractéristiques, le GESD évalue la fiabilité des explications sous des perturbations d'entrée.

Le calcul implique cinq étapes :

• Agrégation des Explications : Pour assurer la robustesse face aux incohérences individuelles des explicateurs, la méthode agrège les explications SHAP et LIME en un seul vecteur : $E_{agg}(f, x) = \frac{1}{2}(E_{SHAP} + E_{LIME})$.
• Perturbation : Pour chaque point de données, des versions perturbées sont générées en utilisant du bruit gaussien et un masquage de caractéristiques (remplacement des caractéristiques par des valeurs de base). Cela simule les fluctuations naturelles des entrées et les données manquantes.
• Mesure de Stabilité : La distance entre l'explication originale et l'explication de l'entrée perturbée est calculée en utilisant la norme $L_1$. Une distance plus faible indique une stabilité plus élevée. Cela est converti en un score de stabilité $S(x)$ (par exemple, $1/(1+\Delta(x))$).
• Agrégation par Groupe : Les scores de stabilité sont moyennés pour chaque groupe sensible (par exemple, genre, race).
• Calcul de la Disparité :
  • Pour deux groupes ($K=2$), le GESD est la différence absolue entre les scores de stabilité moyens des groupes : $|S_0 - S_1|$.
  • Pour $K > 2$ groupes, il s'agit de la variance des scores de stabilité des groupes autour de la moyenne globale.

2. Cadre d'Optimisation FEU

Pour aborder la nature multi-objectif de l'équilibre entre utilité, équité des résultats et équité des explications, les auteurs introduisent le cadre Équité–Explicabilité–Utilité (FEU).

• Fonction Objectif : Le problème est formulé comme une minimisation sans contrainte à trois objectifs :
  1. Équité ($L_f$) : Minimisation de la différence de Parité Démographique (DP).
  2. Explicabilité ($L_e$) : Minimisation du GESD.
  3. Utilité ($L_u$) : Maximisation de la Surface sous la Courbe (AUC), convertie en minimisation par négation.
• Algorithme : Le cadre utilise l'algorithme génétique de tri non dominé II (NSGA-II) pour faire évoluer une population de configurations de modèles (hyperparamètres tels que le taux d'apprentissage, les époques et les seuils de décision).
• Sélection : À partir de l'ensemble Pareto-optimal résultant, un modèle final est sélectionné en utilisant la scalarisation de Tchebychev pour assurer des performances équilibrées sur les trois objectifs sans dégradation extrême d'une seule métrique.

Contributions Clés

1. Formulation du GESD : L'article définit une nouvelle métrique orientée procédure qui quantifie les disparités au niveau du groupe en matière de robustesse, de stabilité et de sensibilité des explications, indépendamment des résultats du modèle.
2. Cadre FEU : Les auteurs proposent un cadre d'optimisation multi-objectif évolutionnaire qui optimise conjointement l'utilité, l'équité basée sur les résultats et l'équité basée sur les explications.
3. Validation Empirique : L'étude démontre que le GESD peut détecter des biais cachés au niveau du groupe dans les explications, tant dans les modèles linéaires que non linéaires, que les métriques basées sur les résultats manquent.
4. Compromis de Performance : Le travail montre que le FEU atteint des compromis supérieurs entre utilité et équité par rapport aux bases de référence les plus avancées (Apprentissage Adversaire, Réduction et Repondération).

Résultats Expérimentaux

Des expériences ont été menées sur quatre ensembles de données de référence : German Credit, Recidivism, Math et Portuguese. La méthode FEU proposée a été comparée à l'Apprentissage Adversaire (ADL), à la Réduction (Red) et au Repondération (RW).

• Utilité et Équité des Résultats : Le FEU a généralement surpassé ou resté compétitif par rapport aux bases de référence en termes de scores AUC et F1. Il a également obtenu des résultats compétitifs sur les métriques d'équité orientées résultats (DP et EOD), surpassant souvent les bases de référence sur les ensembles de données German Credit et Recidivism.
• Équité Procédurale (GESD) : Bien que le FEU ait montré des valeurs de GESD légèrement plus élevées que les bases de référence linéaires (Red, RW) sur certains ensembles de données, cela a été attribué à la complexité des modèles de réseaux de neurones utilisés. Crucialement, les résultats ont mis en évidence que des modèles à haute utilité et équité des résultats peuvent toujours présenter des disparités d'explication significatives.
• Sensibilité du Modèle : L'étude a révélé que les modèles non linéaires (comme FEU et ADL) tendent à générer des explications moins stables à travers les sous-groupes par rapport aux modèles linéaires. De plus, le choix de l'explicateur (SHAP vs LIME) a eu un impact significatif sur la détection des biais ; l'agrégation des deux explicateurs (comme fait dans le GESD) était nécessaire pour capturer de manière robuste les disparités que les explicateurs uniques pourraient manquer.
• Optimalité de Pareto : Sur l'ensemble de données German Credit, le FEU a généré des solutions non dominées, équilibrant efficacement les trois objectifs, tandis que les bases de référence linéaires sacrifiaient souvent une utilité significative pour des gains d'équité marginaux.

Importance et Revendications

L'article affirme que le GESD offre un outil complet pour diagnostiquer les biais en comblant le fossé entre l'équité basée sur les résultats et l'équité basée sur les explications. Son importance principale réside dans :

• Insight Procédural : Il expose les biais procéduraux que les métriques traditionnelles négligent, garantissant que le raisonnement derrière les décisions est aussi équitable que les résultats.
• Utilité Indépendante du Modèle : Le GESD est compatible avec divers algorithmes d'apprentissage et méthodes d'interprétabilité a posteriori.
• Optimisation Holistique : Le cadre FEU démontre qu'il est possible d'optimiser simultanément l'utilité, l'équité et l'explicabilité, offrant une vision plus holistique de la modélisation équitable.

Les auteurs notent que, bien que le FEU fonctionne bien, il manque actuellement d'interventions spécifiques d'atténuation des biais (comme le débiaisage adversaire) pour les ensembles de données extrêmement biaisés, ce qui est identifié comme une direction pour les travaux futurs. De plus, ils proposent d'étendre le GESD pour gérer plusieurs catégories protégées (intersectionnalité) et de passer à des algorithmes d'optimisation à nombreux objectifs (par exemple, NSGA-III) pour gérer la complexité accrue.