Résumé Technique : FairBED : Une approche de conception expérimentale bayésienne pour la collecte de données plus équitables

1. Énoncé du problème

Les cadres actuels visant à assurer l'équité dans l'apprentissage automatique se concentrent principalement sur l'apprentissage de modèles équitables à partir de jeux de données préexistants et pré-collectés. Cependant, cette approche est souvent fondamentalement limitée car les données elles-mêmes peuvent déjà encoder des biais sociétaux et des corrélations indésirables. Les interventions telles que le repondérage des données, l'optimisation sous contraintes ou le « nettoyage de données » (data repair) en amont tentent d'atténuer ces problèmes en aval, mais ne peuvent pas surmonter pleinement l'iniquité inhérente aux données sources.

Les auteurs soutiennent que le processus d'acquisition des données lui-même devrait être modifié pour collecter des données intrinsèquement plus adaptées à l'entraînement de prédicteurs équitables. Le défi central consiste à concevoir une stratégie d'acquisition de données qui équilibre deux objectifs concurrents :

1. L'informativité : Les données doivent rester hautement informatives sur les variables cibles d'intérêt afin de garantir une prédiction et une généralisation efficaces en aval.
2. L'équité : Les données doivent être peu informatives sur les attributs sensibles (par exemple, le genre, la race, la pigmentation de la peau) afin d'empêcher les modèles en aval d'exploiter ces attributs, améliorant ainsi naturellement l'équité.

2. Méthodologie

2.1 Cadre conceptuel : « Mondes équitables » (Fair Worlds)

Le papier introduit le concept de « monde équitable » où les attributs sensibles (notés $\phi$) sont causalement indépendants des variables cibles (notées $\theta$). Dans un tel monde, un prédicteur équitable n'aurait pas besoin d'utiliser $\phi$ pour estimer $\theta$. Les auteurs proposent de mesurer l'iniquité d'un jeu de données en quantifiant à quel point il viole cette indépendance. Plus précisément, si un jeu de données permet un transfert d'information entre $\theta$ et $\phi$, il est considéré comme inéquitable. L'objectif est de guider le processus de conception expérimentale pour collecter des données qui minimisent ce transfert d'information tout en maintenant l'utilité pour $\theta$.

2.2 Métriques d'équité pour les données

Les auteurs définissent deux nouvelles métriques pour quantifier l'équité d'un jeu de données $D$ en fonction de l'information qu'il révèle sur les attributs sensibles :

• Équité inconditionnelle ($F_u$) : Définie comme l'opposé du Gain d'Information Attendu (EIG) concernant $\phi$. Elle mesure à quel point les données révèlent $\phi$ de manière marginale.
  $$F_u(\pi_d) = -\max_{m \in \mathcal{M}} \text{EIG}^m_\phi(\pi_d)$$
• Équité conditionnelle ($F_c$) : Définie comme l'opposé de l'EIG conditionnel concernant $\phi$ étant donné $\theta$. Il s'agit d'une métrique plus stricte qui garantit que les données ne révèlent pas $\phi$ pour toute valeur spécifique de la cible $\theta$, protégeant ainsi contre les effets d'« explication par élimination » (explaining away) où $\phi$ devient récupérable une fois $\theta$ connu.
  $$F_c(\pi_d) = -\max_{m \in \mathcal{M}} \mathbb{E}_{p(\theta)}[\text{EIG}^m_{\phi|\theta}(\pi_d)]$$

Ici, $\pi_d$ représente une politique de conception et la maximisation sur un ensemble de modèles $\mathcal{M}$ assure la robustesse contre les défaillances des modèles.

2.3 L'objectif FairBED

Pour équilibrer le besoin de données informatives et le besoin d'équité, les auteurs construisent deux objectifs FairBED. Ces objectifs maximisent le Gain d'Information Attendu (EIG) sur la cible $\theta$ tout en pénalisant l'EIG sur l'attribut sensible $\phi$ (ou $\phi|\theta$).

• Unconditional FairBED ($R_u$) :
  $$R_u(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \text{EIG}_\phi(\pi_d)$$
• Conditional FairBED ($R_c$) :
  $$R_c(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \mathbb{E}_{p(\theta)}[\text{EIG}_{\phi|\theta}(\pi_d)]$$

Dans ces équations, $\beta > 0$ est un hyperparamètre contrôlant la force de l'application de l'équité. Les auteurs notent que ces objectifs sont définis sous un modèle conjoint mais peuvent être optimisés à l'aide de modèles marginaux pour des raisons pratiques. Crucialement, les auteurs soutiennent que collecter des données informatives sur $\theta$ est nécessaire pour l'équité dans le monde réel afin d'éviter les écarts de généralisation qui pourraient se manifester sous forme d'iniquité indirecte.

2.4 Application à l'Apprentissage Actif (Active Learning)

Le cadre est adapté aux contextes d'Apprentissage Actif (AL). Dans ce contexte, la cible $\theta$ correspond à la paire des entrées au moment du test et des étiquettes cibles $(x^*, y^*_\theta)$, tandis que l'attribut sensible $\phi$ correspond à $(x'^*, y^*_\phi)$. L'objectif devient une modification du Gain d'Information Prédictive Attendu (EPIG) :
$$R_{\text{FairEPIG}}(x) = I(y_\theta; (x^*, y^*_\theta) | x) - \beta I(y_\phi; (x'^*, y^*_\phi) | x)$$
Cela permet la sélection de points de requête qui améliorent les prédictions pour la tâche cible tout en limitant délibérément l'apprenabilité de l'attribut sensible.

3. Contributions Clés

1. Nouvelle formulation de l'équité des données : Le papier déplace l'attention de l'équité d'un modèle vers l'équité du jeu de données lui-même, définissant l'équité comme l'absence de fuite d'information concernant les attributs sensibles.
2. Objectifs FairBED : L'introduction d'objectifs de Conception Expérimentale Bayésienne (BED) pratiques qui arbitrent explicitement entre l'informativité de la cible et l'informativité de l'attribut sensible.
3. Lien théorique avec la Parité Démographique : Les auteurs prouvent que si la métrique d'équité conditionnelle $F_c(\pi_d) = 0$ (c'est-à-dire que les données ne transmettent aucune information sur $\phi$ étant donné $\theta$), alors les prédicteurs en aval entraînés sur ces données atteignent la Parité Démographique (DP) sous l'hypothèse que le processus a priori sur $\theta$ et $\phi$ est séparable et que le modèle en aval ne prend pas $\phi$ comme entrée.
4. Validation Empirique : Démonstration que FairBED atteint systématiquement des compromis équité-précision supérieurs à l'acquisition aléatoire et à la BED conventionnelle sur plusieurs jeux de données et architectures de modèles.

4. Résultats Expérimentaux

Les auteurs ont évalué FairBED sur trois tâches distinctes :

1. Localisation de source (Source Location Finding) : Un benchmark de BED synthétique où l'objectif est d'inférer une coordonnée cible ($\theta$) tout en évitant d'apprendre une coordonnée sensible ($\phi$). Les résultats ont montré que les conceptions FairBED se propagent le long de l'axe cible tout en s'effondrant vers la moyenne a priori de l'axe sensible, supprimant ainsi efficacement l'apprentissage de $\phi$ avec une perte minimale de l'apprentissage de $\theta$.
2. Prédiction de l'obtention du diplôme (Student Graduation Prediction) : Une tâche de classification binaire prédisant le statut d'obtention du diplôme ($y_\theta$) en traitant le genre ($y_\phi$) comme un attribut sensible.
3. Prédiction de revenu du recensement (Census Income Prediction) : Prédire les niveaux de revenus ($>50k$) en traitant le genre comme sensible.
4. CelebA : Un large jeu de données d'images prédisant le fait de « Sourire » (Smiling) en traitant le « Genre » (Gender) comme sensible.

Principaux résultats :

• Compromis Équité-Précision : FairBED a atteint des fronts de Pareto optimaux qui dominent l'acquisition aléatoire et l'EPIG standard. Il a considérablement réduit la prédictibilité de l'attribut sensible tout en maintenant une précision élevée sur la tâche cible.
• Équité au niveau du jeu de données : Les expériences entraînant divers modèles en aval (Random Forest, XGBoost, MLP, SVM) sur le même jeu de données acquis via FairBED ont montré des améliorations constantes des ratios de Parité Démographique (DP) et d'Égalité des Chances (Equalized Odds - EO). Cela confirme que l'amélioration de l'équité est une propriété des données acquises, et non un artefact d'un modèle spécifique.
• Complémentarité : Le papier démontre que FairBED peut être combiné avec des interventions d'équité en aval (par exemple, les Représentations Équitables Apprises ou la Classification par Option de Rejet). La combinaison de FairBED et des méthodes en aval a donné de meilleurs résultats que l'une ou l'autre méthode seule, suggérant qu'elles sont additives plutôt que substitutives.
• Robustesse : Les bénéfices de FairBED se sont généralisés à travers différentes architectures de modèles et budgets d'étiquettes.

5. Signification et Revendications

Le papier affirme que FairBED offre une nouvelle perspective sur l'équité algorithmique en s'attaquant à la cause profonde du biais : le processus d'acquisition des données. En formalisant l'utilité des données pour inclure une pénalité pour l'information de l'attribut sensible, FairBED propose une approche rigoureuse pour collecter des données intrinsèquement plus équitables.

Les auteurs soulignent que :

• L'intervention en amont est critique : Les stratégies d'atténuation en aval sont souvent compromises par les biais déjà présents dans les données. FairBED traite cela à la source.
• Généralisation : Les améliorations de l'équité sont intrinsèques au jeu de données, ce qui signifie que tout modèle entraîné sur ces données (même sans contraintes d'équité spécifiques) présentera naturellement de meilleures propriétés d'équité.
• Praticité : L'approche est compatible avec les cadres standards de la Conception Expérimentale Bayésienne (BED) et de l'Apprentissage Actif (Active Learning), ne nécessitant que la spécification de modèles marginaux pour les attributs cibles et sensibles, qui peuvent être pré-entraînés ou créés manuellement même sans étiquettes sensibles durant la phase d'acquisition.

Ce travail ouvre de nouvelles directions de recherche pour l'acquisition de données respectueuses de l'équité, suggérant que le chemin vers des systèmes d'IA plus équitables commence par la manière dont les données sont collectées, et non seulement par la manière dont elles sont modélisées.