Towards Provably Fair Machine Learning: Bayesian Approaches For Consistent and Transparent Predictions

Cet article présente le classificateur bayésien équitable, une méthode qui garantit des prédictions cohérentes et transparentes pour tous les sous-groupes démographiques en imposant une cohérence statistique et un déterminisme, remédiant ainsi aux lacunes de fiabilité des approches fréquentistes qui affectent de manière disproportionnée les populations minoritaires tout en maintenant ou en améliorant la précision globale.

L'essentiel

Imaginez que vous êtes un juge dans une salle d'audience, mais au lieu de juger des personnes, vous jugez des groupes de personnes en vous basant sur un immense registre de cas passés. Votre objectif est de faire une prédiction : « Cette personne va-t-elle réussir ? » ou « Cette personne va-t-elle récidiver ? »

Le document que vous avez fourni, « Towards Provably Fair Machine Learning » (Vers un apprentissage automatique prouvablement équitable), soutient que la plupart des programmes informatiques modernes (modèles d'apprentissage automatique) sont de mauvais juges lorsqu'il s'agit de petits groupes spécifiques de personnes. Ils font souvent des suppositions confiantes qui contredisent les preuves réelles présentées devant eux.

Voici la décomposition de l'argument du document, utilisant des analogies simples.

1. Le problème : Le « Fou Confiant »

Les modèles d'apprentissage automatique standards sont comme un étudiant qui a mémorisé les réponses d'un grand examen mais qui n'en comprend pas la logique.

• Le problème : Lorsque les données sont massives (comme la population d'une ville), ces modèles fonctionnent bien. Mais lorsqu'ils examinent un groupe minuscule et spécifique (comme « des femmes gauchères, rousses, travaillant de nuit »), il peut n'y avoir que 5 personnes de ce groupe dans toute la base de données.
• L'erreur : Les modèles standards essaient de deviner quand même. Ils « lissent » souvent les détails pour faciliter les calculs mathématiques. C'est comme un enseignant qui ignorerait les difficultés spécifiques d'un petit groupe d'élèves pour que la moyenne de la classe paraisse bonne.
• Le résultat : Le modèle fait une prédiction qui est statistiquement impossible compte tenu des preuves. Par exemple, si un groupe de 100 personnes identiques présente exactement 50 % de réussite, le modèle pourrait affirmer avec assurance « 100 % vont réussir » ou « 0 % vont réussir ». Les deux sont faux, mais le modèle l'affirme quand même parce qu'il cherche à être décisif.

2. La solution : L'« Enquêteur Honnête »

Les auteurs proposent une nouvelle méthode appelée le Classificateur Bayésien Équitable (FB - Fair Bayesian). Voyez cela non pas comme un étudiant cherchant à obtenir un « A », mais comme un enquêteur honnête qui refuse de deviner à moins que les preuves ne soient absolument solides.

Cet enquêteur suit deux règles strictes :

1. La règle des jumeaux (Déterminisme) : Si deux personnes ont exactement les mêmes détails (même métier, même âge, même passé), elles doivent recevoir exactement la même prédiction. On ne peut pas traiter des jumeaux identiques de manière différente.
2. La règle de la preuve (Cohérence statistique) : L'enquêteur ne fera une prédiction que si les données prouvent qu'elle est probable. Si les preuves sont trop faibles, ou si les preuves démontrent que « Oui » et « Non » sont tous deux faux, l'enquêteur refusera de deviner.

3. Le tour de magie : « L'Abstention »

C'est la partie la plus unique du document. Dans le monde réel, nous pensons généralement qu'un ordinateur doit toujours donner une réponse. Mais ce document soutient que parfois, la seule réponse équitable est « Je ne sais pas. »

• L'analogie : Imaginez un lancer de pièce. Si vous lancez une pièce 3 fois et obtenez 2 faces, vous pourriez deviner que le prochain lancer sera face. Mais si vous lancez une pièce 1 000 fois et obtenez exactement 500 faces et 500 piles, vous savez que la pièce est équilibrée. Si vous êtes forcé de deviner « Face » pour le prochain lancer, vous ne faites que deviner. Si vous êtes forcé de deviner « Face » pour tous les 1 000 lancers, vous mentez.
• L'approche du document : Le classificateur Bayésien Équitable examine un groupe. Si les données montrent que prédire « Oui » est faux, et que prédire « Non » est également faux (parce que le groupe est divisé à 50/50 et que l'échantillon est suffisamment large pour en être sûr), le modèle s'abstient. Il dit : « Je ne peux pas faire de prédiction équitable et cohérente pour ce groupe spécifique. »

4. Pourquoi cela est important pour l'équité

Le document souligne une ironie cruelle de l'IA actuelle :

• Les minorités se trouvent souvent dans des groupes restreints. Parce qu'elles sont rares, elles se retrouvent dans ces petits « sous-groupes » où les modèles standards font le plus d'erreurs.
• Les modèles standards nuisent aux minorités. Pour corriger les mathématiques, les modèles standards regroupent souvent ces petits groupes dans des groupes plus larges et génériques. Cela efface leur histoire unique et les force dans une prédiction qui ne leur correspond pas.
• La correction du Bayésien Équitable : En examinant chaque petit groupe individuellement et en refusant de deviner lorsque les preuves sont fragiles, cette nouvelle méthode protège les personnes de ces petits groupes vulnérables. Elle admet qu'elle n'a pas assez d'informations plutôt que d'inventer une histoire qui leur nuirait.

5. Les résultats : « Zéro erreur » sur les règles

Les auteurs ont testé leur « Enquêteur Honnête » par rapport à des modèles standards (comme les arbres de décision et les réseaux de neurones) sur trois jeux de données célèbres (concernant le revenu, la justice pénale et le marketing bancaire).

• Les modèles standards : Ils ont fait des prédictions qui contredisaient les données réelles pour un grand nombre de petits groupes. Ils étaient « sûrs d'eux, mais dans l'erreur ».
• Le modèle Bayésien Équitable :
  • Il a fait zéro prédiction qui contredisait les données.
  • Il était en réalité plus précis que les autres sur les groupes pour lesquels il a effectivement fait une prédiction.
  • Il a signalé les groupes où il ne pouvait pas décider (les groupes du « Je ne sais pas »), ce qui est une fonctionnalité, et non un défaut.

Résumé

Le document affirme que la véritable équité ne consiste pas seulement à faire la bonne supposition ; il s'agit de faire une supposition que les preuves soutiennent réellement.

Si les preuves sont trop ténues, ou si les preuves démontrent qu'une simple réponse par « Oui/Non » est impossible, un système équitable doit s'arrêter et dire : « J'ai besoin de plus d'informations. » Les auteurs ont construit un système qui fait précisément cela, garantissant que personne n'est jugé par une prédiction que les données elles-mêmes déclarent impossible.

Résumé technique

Résumé Technique : Vers un apprentissage automatique prouvablement équitable : Approches bayésiennes pour des prédictions cohérentes et transparentes

1. Énoncé du problème

Les modèles d'apprentissage automatique déployés dans des domaines à enjeux élevés (finance, justice pénale, santé) produisent souvent des prédictions qui sont systématiquement incohérentes avec les données observées, particulièrement pour les sous-groupes granulaires définis par l'intersection de plusieurs caractéristiques. Cette incohérence provient du fait que les approches fréquentistes standards traitent les proportions d'échantillons observés comme des estimations fiables des probabilités réelles, quel que soit la taille de l'échantillon. Dans les grands ensembles de données, bien que le volume total de données soit élevé, les données à la résolution la plus fine (individus partageant des valeurs identiques pour toutes les caractéristiques) consistent souvent en de petits sous-groupes.

Deux problèmes primaires exacerbent cette situation :

1. Échec de l'inférence à petit échantillon : Les modèles standards ne parvordent pas à rendre compte de la grande incertitude associée aux petits sous-groupes, menant à des prédictions surconfiantes mais statistiquement non étayées.
2. Biais de régularisation : Pour prévenir le surapprentissage, les techniques de ML standard (ex: élagage des arbres de décision, régularisation dans les réseaux de neurones) regroupent les petits sous-groupes en agrégats plus larges. Cela affecte de manière disproportionnée les minorités démographiques, qui sont souvent concentrées dans ces petits sous-groupes intersectionnels, effaçant ainsi leurs schémas comportementaux distincts.
3. Absence de mécanisme d'abstention principielle : Les modèles actuels, y compris ceux conçus pour l'équité, sont contraints d'émettre une prédiction pour chaque entrée. Ils manquent d'un mécanisme pour s'abstenir lorsque les preuves sont soit trop rares pour soutenir une prédiction confiante, soit, inversement, assez fortes pour exclure toutes les prédictions déterministes (par exemple, un groupe où le taux cible est exactement de 50 % avec un échantillon important).

Les approches d'équité existantes (équité de groupe, multicalibrage) reposent souvent sur des groupes protégés pré-spécifiés, ne parviennent pas à passer à l'échelle pour toutes les intersections possibles et ne traitent pas l'incohérence statistique fondamentale entre les prédictions et les preuves observées.

2. Méthodologie : Le classificateur Bayésien Équitable (FB)

Les auteurs proposent le classificateur Bayésien Équitable (FB), un cadre qui traite la classification comme une question de justification statistique plutôt que d'optimisation de la précision agrégée. La méthode repose sur l'inférence bayésienne classique appliquée aux probabilités de population plutôt qu'aux paramètres du modèle.

Exigences fondamentales

Le cadre impose deux exigences strictes pour toute prédiction :

1. Déterminisme : Des individus identiques (partageant toutes les valeurs de caractéristiques) doivent recevoir des prédictions identiques.
2. Cohérence Statistique : Une prédiction pour un sous-groupe doit être statistiquement cohérente avec la distribution cible inférée à partir de l'échantillon observé, évaluée via un test d'hypothèse à un niveau de signification $\alpha$.

Cadre technique

• Définition des sous-groupes : Les données sont partitionnées en $d$-nœuds (groupes ayant des valeurs identiques pour toutes les $m$ attributs) et $v$-nœuds (groupes définis par un sous-ensemble d'attributs, laissant les autres non spécifiés).
• Inférence Bayésienne : Pour chaque $d$-nœud, la probabilité de population inconnue $p$ est modélisée par une distribution a posteriori Beta (avec un a priori Beta(1,1) uniforme). La distribution prédictive pour les observations futures suit une distribution Beta-Binomiale.
• Test de Cohérence : Pour un $d$-nœud donné avec $N_d$ observations et $T_d$ cibles positives, une prédiction déterministe (soit "tout positif", soit "tout négatif") est testée contre la distribution prédictive Beta-Binomiale.
  • Si les données observées excluent la prédiction "tout positif" au niveau $\alpha$, celle-ci est rejetée.
  • Si les données excluent la prédiction "tout négatif", celle-ci est rejetée.
  • Catégorisation des nœuds :
    • $d_0$ : Seul le "tout négatif" est cohérent.
    • $d_1$ : Seul le "tout positif" est cohérent.
    • $d_{amb}$ : Les deux sont cohérents (ambiguïté) ; la résolution dépend des contraintes du $v$-nœud parent.
    • $d_{nf}$ (No Fair / Pas d'équité) : Ni la prédiction déterministe positive, ni la négative ne sont cohérentes (ex: un groupe important avec un taux cible de 50 %).
• Mécanisme d'abstention : Contrairement à l'abstention basée sur la confiance, le classificateur FB s'abstient sur les nœuds $d_{nf}$ car les preuves excluent positivement les deux options déterministes ; il s'agit d'une protection contre l'émission de prédictions manifestement incohérentes.
• Cohérence Globale ($v$-nœuds) : Les prédictions doivent également satisfaire aux contraintes de cohérence pour tous les $v$-nœuds (agrégations de $d$-nœuds). Comme les distributions des $v$-nœuds ne peuvent pas être calculées sous forme fermée en raison de l'hétérogénéité, les auteurs les approchent en échantillonnant à partir des distributions des $d$-nœuds enfants.
• Satisfaction de Contraintes : Le problème est formulé comme un problème de satisfaction de contraintes où la somme des prédictions des $d$-nœuds enfants doit tomber dans les limites $[V_{min}, V_{max}]$ du $v$-nœud parent. Les auteurs utilisent l'optimiseur Gurobi pour trouver une affectation réalisable qui maximise un objectif linéaire basé sur le log-odds a posteriori, suivi d'une étape de score secondaire utilisant les log-vraisemblances des $v$-nœuds pour sélectionner la meilleure solution parmi l'ensemble des solutions réalisables.
• Gestion de l'Hétérogénéité : Pour prévenir la surconfiance dans les grands ensembles de données pouvant contenir une variation temporelle ou de source non observée, un plancher de variance ($\tau = 10^{-5}$) est appliqué à la distribution a posteriori Beta, plafonnant la taille effective de l'échantillon.

3. Contributions Clés

1. Cadre pour la cohérence des prédictions : Une définition formelle de la cohérence statistique basée sur l'inférence bayésienne qui est appliquée de manière exhaustive à chaque sous-groupe possible (intersection de toute combinaison de caractéristiques), et non seulement à des groupes protégés pré-spécifiés.
2. Le Classificateur Bayésien Équitable : Un classificateur qui garantit la cohérence avec les preuves observées et implémente une abstention principielle. Il s'abstient uniquement lorsque les données excluent toutes les prédictions déterministes, plutôt que lorsque la confiance du modèle est faible.
3. Preuve Empirique d'Incohérence : Démonstration que les modèles standards (Arbres de Décision, Réseaux de Neurones) et les post-processeurs sensibles à l'équité (Multicalibrage Proportionnel) produisent des prédictions statistiquement incohérentes pour une proportion substantielle de sous-groupes, même sur les données sur lesquelles ils ont été entraînés.
4. Résultats de Performance : Le classificateur FB atteint une erreur de cohérence nulle par construction et dépasse la précision des modèles de référence sur tous les ensembles de données testés (Adult, COMPAS, Bank Marketing) sur les sous-groupes où il émet des prédictions. Il obtient également un multicalibrage compétitif comme effet secondaire de l'imposition de la cohérence.

4. Résultats

Les auteurs ont évalué le classificateur FB par rapport à un Arbre de Décision (DT), un Réseau de Neurones (NN) et le Multicalibrage Proportionnel (PMC) sur trois ensembles de données de référence :

• Erreur de Cohérence : Les modèles standards ont produit des prédictions statistiquement incohérentes pour des portions significatives de sous-groupes. Par exemple, sur le jeu de données Bank Marketing, le PMC a montré une erreur de cohérence $d_0/d_1$ de 16,97 % et une erreur de cohérence $v$-nœud de 43,46 %. Le classificateur FB a atteint 0,00 % d'erreur sur tous les indicateurs par conception.
• Abstention : Le classificateur FB s'est abstenu sur les nœuds $d_{nf}$. Dans le jeu de données Adult, 50,4 % des instances sont tombées dans des nœuds $d_{nf}$, soulignant que pour la moitié de la population, aucune prédiction déterministe cohérente n'était possible compte tenu des caractéristiques disponibles.
• Précision : Sur le sous-ensemble de données où le classificateur FB a fait des prédictions (en excluant les nœuds $d_{nf}$), il a surpassé tous les modèles de référence. Notamment, sur COMPAS, le FB a atteint 77,6 % de précision contre environ 68 % pour les modèles de référence.
• Multicalibrage : Le classificateur FB a obtenu des scores de multicalibrage compétitifs sans être explicitement optimisé pour cela, suggérant que la cohérence statistique est un puissant indicateur du calibrage à travers les sous-groupes granulaires.

5. Signification et Revendications

L'article soutient que la cohérence statistique fournit un fondement principiel à la qualité des prédictions avec des implications directes pour l'équité algorithmique. Les auteurs affirment que :

• Les minorités démographiques sont proportionnellement concentrées dans de petits sous-groupes où l'inférence fréquentiste est la moins fiable. Adresser ce problème d'inférence est une étape nécessaire vers un apprentissage automatique équitable.
• En imposant la cohérence bayésienne au niveau de la finesse de résolution supportée par les données, une équité de sous-groupe exhaustive avec une abstention principielle est réalisable en pratique.
• La capacité d'identifier les cas où aucune prédiction déterministe équitable n'est possible (via les nœuds $d_{nf}$) est un garde-fou critique, empêchant les systèmes d'émettre des prédictions qui contredisent les preuves.
• L'approche déplace le paradigre de "apprendre des associations et ajuster l'équité a posteriori" vers une "classification comme justification statistique", garantissant que chaque prédiction est transparentement dérivée des preuves disponibles pour ce sous-groupe spécifique.

Les auteurs notent que bien que le cadre soit coûteux en termes de calcul en raison de la croissance exponentielle des sous-groupes, il est traitable pour les ensembles de données de référence actuels et offre une alternative rigoureuse aux ajustements d'équité heuristiques. Ils reconnaissent que la gestion des données non vues (instances de test dans de nouveaux $d$-nœuds) nécessite des développements supplémentaires, bien qu'un mécanisme préliminaire soit proposé.