Résumé technique : Régression équitable par contrefactuel via le transport optimal

Énoncé du problème

L'article aborde le défi d'apprendre un régresseur équitable par contrefactuel dans des domaines à haut risque (par exemple, les admissions universitaires) où les prédictions doivent être invariantes aux interventions sur les attributs sensibles (par exemple, le genre, la race). Contrairement aux notions d'équité standard comme la parité démographique (DP), qui ne requièrent qu'une égalité de distribution marginale entre les groupes, l'équité par contrefactuel (CF) exige que les prédictions restent inchangées si l'attribut sensible était modifié, en maintenant constante la « capacité » latente de l'individu.

Un obstacle majeur au déploiement de la CF est l'exigence de modèles causaux structurels (SCM) complets, qui sont rarement disponibles en pratique. Les auteurs adoptent une perspective d'« incertitude causale » (spécifiquement le niveau 2 de Kusner et al.), où le graphe causal complet est inconnu, mais un proxy mesurable de la variable de capacité latente $V$ (noté $\psi(X, S)$) est accessible. L'objectif est de construire un estimateur de post-traitement qui recalibre un prédicteur « boîte noire » pré-entraîné sans réentraînement, fournissant des garanties statistiques rigoureuses à échantillon fini.

Méthodologie

1. Réduction théorique : de la CF à la DP conditionnelle

L'insight théorique central est que, dans le cadre de l'incertitude causale avec un bruit rééchantillonné, l'équité par contrefactuel est équivalente à la parité démographique conditionnelle à la variable latente $V$.

• Définition : Un prédicteur est équitable par contrefactuel si, pour toute capacité latente fixe $v$, la distribution des prédictions est identique entre tous les groupes sensibles $s$.
• Implication : Cela réduit le problème contrefactuel complexe à un problème de transport optimal conditionnel. Les auteurs montrent que le prédicteur équitable optimal minimise le risque sous la contrainte que les distributions de prédiction conditionnelles $\mu_{f|v,s}$ coïncident pour tout $s$.

2. Solution en forme close via le transport optimal

En utilisant la théorie du transport optimal (OT), les auteurs dérivent une expression en forme close pour le régresseur équitable optimal $f^*_0$.

• Application barycentrique des quantiles : Le prédicteur optimal mappe la prédiction originale $f^*(x, s)$ vers un barycentre de Wasserstein-2 des distributions conditionnelles aux groupes.
• Formule :
  $$f^*_0(x, s) = \left( \sum_{s'=1}^K w_{s'} F^{-1}_{f^*|v, s'} \right) \circ F_{f^*|v, s}(f^*(x, s))$$
  où $v = \psi(x, s)$, $w_s$ sont les poids des groupes, et $F^{-1}$ désigne la fonction de quantile. Cette opération aligne efficacement les distributions de prédiction de différents groupes au sein d'un même niveau de capacité latente.

3. Estimateur de post-traitement discrétisé

Puisque $V$ est continu, les auteurs proposent un algorithme de post-traitement discrétisé pratique :

• Discrétisation : L'espace latent $V$ est partitionné en $L$ intervalles.
• Estimation locale : Dans chaque intervalle, les fonctions de répartition conditionnelles (CDF) et les fonctions de quantile sont estimées à partir des données.
• Estimateur plug-in : L'application barycentrique en forme close est appliquée localement dans chaque intervalle en utilisant des estimations empiriques.
• Division de l'échantillon : Pour assurer l'indépendance statistique entre l'estimation des CDF et l'application de la carte de transport, les données sont divisées (folding).

4. Équité par contrefactuel relâchée

Reconnaissant que l'équité exacte peut être inatteignable ou indésirable, l'article étend le cadre à la CF relâchée.

• Arbitrage : Les auteurs définissent un problème relâché où l'inéquité est bornée par un budget $\alpha U(f^*)$.
• Combinaison convexe : Le prédicteur relâché optimal est montré comme étant une combinaison convexe du prédicteur boîte noire original et du prédicteur équitable optimal :
  $$f^*_\alpha = \sqrt{\alpha} f^* + (1-\sqrt{\alpha}) f^*_0$$
• Réglage : Une règle explicite est fournie pour sélectionner $\alpha$ afin de respecter un budget d'inéquité prescrit tout en tenant compte de l'erreur d'estimation.

Contributions clés

1. Réduction de la CF : L'article établit que, sous incertitude et conscience causales, l'équité par contrefactuel est équivalente à la parité démographique conditionnelle à la capacité latente $V$. Cela relie la CF aux méthodologies DP existantes.
2. Régresseur optimal en forme close : Il dérive la forme exacte du prédicteur équitable optimal en utilisant une construction barycentrique de quantiles, fournissant une solution constructive plutôt qu'une preuve d'existence abstraite.
3. Garanties à échantillon fini : Les auteurs proposent une méthode de post-traitement agnostique au modèle et prouvent des garanties statistiques à échantillon fini à haute probabilité.
   • Tanto l'inéquité que le risque excédentaire décroissent à un taux de $\tilde{O}(n^{-1/3})$.
   • Ils établissent une borne inférieure correspondante, prouvant que ce taux est fondamental pour le problème d'estimation de régresseurs équitables dans ces conditions, et non simplement un artefact de la discrétisation.
4. Équité relâchée avec réglage : Le travail s'étend à la CF relâchée, fournissant des règles de réglage explicites pour naviguer dans l'arbitrage risque-inéquité.

Résultats

Données synthétiques

• Validation de la théorie : Les expériences confirment que l'inéquité diminue lorsque le niveau de discrétisation $L$ augmente, se stabilisant près de la valeur optimale théorique $L^*$.
• Arbitrage : La méthode domine les lignes de base sur le front de la CF. Tandis que les méthodes causales strictes (Fair K) atteignent une équité parfaite en rejetant les caractéristiques observables (entraînant une erreur élevée), et que les méthodes DP globales (WFR) atteignent une faible erreur mais échouent en CF, la méthode proposée atteint une CF quasi parfaite avec une erreur significativement plus faible que Fair K.

Données réelles (Jeu de données sur les écoles de droit)

• Performance : Appliquée au jeu de données LSAC (prédiction des notes de première année), la méthode comble le fossé entre précision et équité.
  • Comparée à Fair K (référence causale), la méthode proposée maintient une précision similaire (RMSE $\approx$ 1,054 contre 1,086) tout en réduisant l'inéquité conditionnelle d'un ordre de grandeur.
  • Comparée à WFR (référence DP globale), elle atteint une inéquité conditionnelle significativement plus faible (0,009 contre 0,088) avec une précision comparable.
• Robustesse à l'estimation du proxy : L'article évalue l'impact de l'estimation du proxy latent $V$ en utilisant des modèles causaux structurels (SCM) par rapport aux auto-encodeurs variationnels (VAE). Il met en évidence que la « fuite du proxy » (où $V$ conserve des informations sur $S$) dégrade l'équité, mais que la méthode reste robuste lorsqu'elle utilise un « VAE équitable » qui désenchevêtre explicitement $V$ de $S$.

Importance et affirmations

L'article affirme fournir le premier cadre de post-traitement agnostique au modèle pour l'équité par contrefactuel offrant des garanties statistiques rigoureuses à échantillon fini sans nécessiter de réentraînement ni l'accès au graphe causal complet.

• Profondeur théorique : En prouvant que le taux de convergence $n^{-1/3}$ est une borne inférieure fondamentale (via le lemme d'Assouad), les auteurs soutiennent que la convergence lente est le « prix de l'équité » intrinsèque dans les cadres non paramétriques, et non une limitation de leur algorithme spécifique.
• Utilité pratique : L'approche est conçue pour des scénarios où les modèles sont propriétaires ou tiers, ou où les données d'entraînement ne sont pas disponibles, la rendant hautement applicable au déploiement réel.
• Équité nuancée : Le travail va au-delà du débat sur la suffisance de la DP globale pour la CF en montrant que la DP conditionnelle (sur la variable latente) est la réduction structurelle correcte, offrant une nouvelle perspective sur la relation entre ces notions d'équité.

Les auteurs concluent que leur méthode équilibre avec succès l'arbitrage entre l'utilité prédictive et l'équité par contrefactuel, offrant une approche calibrée pour respecter des budgets d'équité spécifiques tout en maintenant la validité statistique.