Procedural Fairness in Machine Learning

Cet article définit la justice procédurale dans l'apprentissage automatique, propose une nouvelle métrique d'évaluation basée sur l'explication par attribution de caractéristiques, et présente des méthodes pour identifier et corriger les biais procéduraux tout en améliorant la justice distributive.

L'essentiel

Imaginez que vous postulez pour un emploi ou que vous demandez un prêt bancaire. Un algorithme (un "robot décideur") analyse votre dossier et vous dit "Oui" ou "Non".

Jusqu'à présent, les experts en intelligence artificielle se sont surtout inquiétés du résultat : est-ce que le robot a donné le même nombre de "Oui" aux hommes et aux femmes ? C'est ce qu'on appelle la justice distributive (le résultat est-il juste ?).

Mais ce papier pose une question différente, plus subtile : le robot a-t-il utilisé la même logique pour prendre sa décision, peu importe qui vous êtes ? C'est ce qu'on appelle la justice procédurale (le processus est-il juste ?).

1. Le Problème : Le "Cerveau" du Robot est un Mystère

Le problème, c'est que les robots sont souvent des "boîtes noires". On voit l'entrée (votre dossier) et la sortie (la réponse), mais on ne sait pas comment ils ont pensé.

Les chercheurs disent : "Même si le robot donne des résultats égaux, il pourrait être injuste dans sa façon de penser. Par exemple, il pourrait rejeter une femme parce qu'elle est femme, mais accepter un homme pour la même raison, même si au final, il accepte autant d'hommes que de femmes par hasard."

2. La Solution : La "Loupe" Explicative (FAE)

Pour voir à l'intérieur de la boîte noire, les auteurs utilisent une technique appelée FAE (Explication par Attribution de Caractéristiques).

L'analogie de la recette de cuisine :
Imaginez que le robot est un chef cuisinier qui prépare un plat (la décision).

• La justice distributive, c'est de vérifier si le plat final a le même goût pour tout le monde.
• La justice procédurale, c'est de regarder la recette que le chef a utilisée.

Si le chef utilise beaucoup de sel pour les clients riches et beaucoup de poivre pour les clients pauvres, même si le plat final a le même goût, la procédure est injuste.

Les chercheurs utilisent la "loupe" (FAE) pour voir quels ingrédients (les données comme l'âge, le sexe, le salaire) le robot a mis en avant pour prendre sa décision.

3. Le Nouveau Mètre-Ruban : GPFFAE

Les auteurs ont créé un nouvel outil de mesure, qu'ils appellent GPFFAE.

L'analogie du jumeau :
Imaginez que vous prenez deux jumeaux parfaits (même âge, même salaire, même expérience), sauf qu'ils sont de sexes différents (ou de races différentes).

• Vous les faites passer devant le robot.
• Le robot sort sa "recette" pour chacun.
• Si la justice procédurale est respectée : Les deux jumeaux doivent avoir reçu exactement la même recette (les mêmes ingrédients mis en avant).
• Si la justice procédurale est brisée : Le robot a utilisé une recette différente pour l'un et l'autre (par exemple, il a regardé le sexe de l'un, mais pas celui de l'autre).

Le GPFFAE mesure simplement : "À quel point les recettes sont-elles différentes entre les deux groupes ?" Si elles sont très différentes, le robot est injuste dans son processus.

4. La Découverte Surprenante

En testant leur méthode sur 9 jeux de données (comme des dossiers de prêt, des jugements criminels, etc.), ils ont découvert quelque chose d'intéressant :

• Un robot peut être juste dans ses résultats (distributif) mais injuste dans sa logique (procédural).
• Inversement, un robot peut avoir une logique très juste, mais donner des résultats inégaux à cause des données qu'on lui a données.

C'est comme un juge qui applique la même loi pour tout le monde (procédure juste), mais qui donne des peines très différentes parce que les lois elles-mêmes sont biaisées (résultat injuste).

5. Comment Réparer le Robot ?

Une fois qu'ils ont repéré que le robot était injuste dans sa logique, ils ont proposé deux méthodes pour le corriger :

• Méthode 1 : La Chirurgie (Réentraînement)
  On retire purement et simplement les ingrédients "toxiques" (les données qui causent l'injustice, comme le sexe ou des proxies du sexe) de la recette, et on force le robot à réapprendre à cuisiner sans eux.

  • Avantage : Très efficace, le robot devient très juste.
  • Inconvénient : Il faut le réentraîner de zéro, ce qui prend du temps et peut légèrement changer son "goût" (sa précision globale).

• Méthode 2 : L'Éducation (Modification)
  On garde le robot tel quel, mais on lui donne un "cours de rattrapage". On lui dit : "Attention, tu accordes trop d'importance à ce facteur. Réduis son importance dans ta recette, mais garde le reste."

  • Avantage : Le robot reste fidèle à sa logique originale, on ne change pas tout.
  • Inconvénient : C'est un peu plus difficile à faire parfaitement, et la précision peut baisser un tout petit peu.

En Résumé

Ce papier nous dit : Ne regardez pas seulement le résultat final. Pour qu'une intelligence artificielle soit vraiment juste, il faut aussi s'assurer qu'elle utilise la même logique pour tout le monde.

Les auteurs ont créé un outil pour vérifier cette logique et deux méthodes pour la réparer, assurant ainsi que nos robots décideurs ne soient pas seulement efficaces, mais aussi équitables dans leur façon de penser.

Résumé technique

1. Problématique et Contexte

L'équité dans l'apprentissage automatique (ML) a fait l'objet de nombreuses recherches, mais celles-ci se sont principalement concentrées sur l'équité distributive (ou équité des résultats), qui évalue si les prédictions finales sont équitables entre différents groupes (par exemple, des taux de faux positifs égaux).

Cependant, une dimension cruciale, l'équité procédurale, reste négligée. L'équité procédurale se concentre sur la justesse du processus de décision lui-même, plutôt que sur le résultat final. Dans les sciences humaines, un processus est considéré comme équitable s'il est transparent, cohérent et sans préjugés, indépendamment du résultat.

Le problème identifié par les auteurs :

• Il existe un manque de définition formelle et de métriques quantitatives pour l'équité procédurale en ML.
• Une définition antérieure (Grgić-Hlača et al., 2018) se basait uniquement sur l'équité intrinsèque des features (variables) utilisées, ce qui est insuffisant. Un modèle peut utiliser des features sensibles sans que son processus de décision interne ne soit biaisé, et inversement.
• Il est difficile d'évaluer la « logique » interne d'un modèle (souvent une boîte noire) pour détecter des biais procéduraux.

2. Méthodologie Proposée

Les auteurs proposent une approche systématique comprenant une définition formelle, une nouvelle métrique d'évaluation et des méthodes d'atténuation.

A. Définition Formelle de l'Équité Procédurale

En s'inspirant de la philosophie et de la psychologie, les auteurs définissent l'équité procédurale comme l'absence de préjugés dans le processus décisionnel interne du modèle.

• Équité procédurale individuelle : Deux individus similaires doivent suivre des processus de décision similaires.
• Équité procédurale de groupe : Des individus similaires appartenant à des groupes différents (définis par un attribut sensible comme le genre ou la race) doivent subir des processus de décision similaires.

B. La Métrique GPFFAE (Feature Attribution-Based Group Procedural Fairness)

Pour quantifier cette équité, les auteurs utilisent des techniques d'IA explicable (XAI), spécifiquement les explications par attribution de features (FAE) comme SHAP, Gradient*Input ou Integrated Gradients.

• Principe : Au lieu de comparer les prédictions (sorties), on compare les explications (importances des features) générées pour des individus similaires de deux groupes différents.
• Algorithme :
  1. Sélectionner $n$ paires de points de données similaires (un de chaque groupe) en minimisant la distance entre leurs features d'entrée.
  2. Générer les vecteurs d'attribution (explications) pour chaque point.
  3. Calculer la différence de distribution entre les deux ensembles d'explications ($E_1$ et $E_2$) en utilisant la Discrépance Maximale de Moyenne (MMD) avec un noyau exponentiel.
  4. La métrique GPFFAE est la valeur $p$ d'un test de permutation sur cette distance. Une valeur élevée indique une équité procédurale (distributions similaires), tandis qu'une valeur faible indique un biais procédural.

C. Identification des Sources de Biais et Atténuation

Une fois un modèle jugé procéduralement injuste, les auteurs proposent :

1. Identification des Features Injustes (UFs) : Détection des features spécifiques dont les distributions d'attribution diffèrent significativement entre les groupes.
2. Méthode 1 : Réentraînement (Retraining) : Suppression directe des features identifiées comme injustes et réentraînement du modèle.
3. Méthode 2 : Modification du Modèle (Fine-tuning) : Ajout d'un terme de pénalité (« explanation loss ») à la fonction de perte lors de l'entraînement. Ce terme force le modèle à réduire l'importance (le gradient) des features injustes dans ses décisions, sans nécessairement les supprimer, tout en maintenant la fidélité au modèle original.

3. Résultats Expérimentaux

Les auteurs ont validé leur approche sur 9 jeux de données (1 synthétique et 8 réels : Adult, COMPAS, German, etc.) en utilisant des réseaux de neurones artificiels (ANN) et des régressions logistiques.

• Validation de la métrique GPFFAE :

  • La métrique distingue avec précision les modèles procéduralement équitables (valeur proche de 1,0) des modèles injustes (valeur proche de 0,0).
  • Elle est robuste et fonctionne avec différentes méthodes d'explication (SHAP, GI, IG).
  • Relation Équité Procédurale vs Distributive : Les résultats montrent que les deux formes d'équité ne sont pas toujours corrélées. Un modèle peut avoir des résultats équitables (distributifs) mais un processus biaisé, ou inversement (ex: dataset COMPAS où le processus est équilibré malgré des résultats biaisés).

• Efficacité des méthodes d'atténuation :

  • Identification : Les méthodes identifient avec précision les features sensibles et leurs proxies (ex: « relation » comme proxy du genre).
  • Amélioration : Les deux méthodes (suppression et modification) améliorent significativement l'équité procédurale (GPFFAE augmente) et l'équité distributive (DP, EO, EOD diminuent).
  • Coût de performance :
    • La suppression de features entraîne une baisse de précision moyenne de 0,8 %.
    • La modification du modèle entraîne une baisse de précision moyenne de 1,8 %.
  • La méthode de modification offre un compromis flexible via le paramètre de poids $\alpha$, permettant de contrôler le trade-off entre performance et équité.

4. Contributions Clés

1. Définition Formelle : Première définition rigoureuse de l'équité procédurale en ML, distinguant clairement les processus des résultats, et définissant les équités individuelles et de groupe.
2. Nouvelle Métrique (GPFFAE) : Introduction d'une métrique quantitative basée sur les explications XAI pour évaluer l'équité du processus décisionnel, comblant le vide laissé par les métriques existantes axées sur les résultats.
3. Cadre d'Atténuation : Développement d'un pipeline complet pour détecter les sources de biais procéduraux et proposer deux stratégies efficaces pour les corriger, tout en préservant la performance du modèle.
4. Analyse Empirique : Démonstration que l'équité procédurale et distributive sont des dimensions distinctes et parfois conflictuelles, nécessitant une attention séparée.

5. Signification et Impact

Ce travail est significatif car il déplace le focus de l'équité en IA de la simple « égalité des résultats » vers la « justice du processus ».

• Confiance et Transparence : En s'assurant que les modèles traitent les groupes de manière cohérente dans leur logique interne, la confiance des utilisateurs et des régulateurs est renforcée.
• Conformité Réglementaire : L'approche s'aligne sur des cadres émergents comme l'AI Act de l'UE, qui exigent une transparence et une équité des processus, au-delà des simples statistiques de sortie.
• Limites et Perspectives : L'article reconnaît la difficulté d'application sur les petits jeux de données (manque de points similaires) et propose l'utilisation de données contrefactuelles générées comme solution. Les travaux futurs visent à intégrer ces métriques directement dans l'entraînement et à étendre le concept à des tâches séquentielles.

En résumé, cette recherche fournit les outils théoriques et pratiques nécessaires pour auditer et améliorer la « boîte noire » des algorithmes, garantissant non seulement qu'ils prennent de bonnes décisions, mais qu'ils le font de manière juste et cohérente.