Résumé Technique : Approche de Double Régression pour l'Équité des Sous-groupes

1. Énoncé du Problème

L'article traite du défi consistant à atteindre l'équité des sous-groupes (subgroup fairness) en apprentissage automatique lorsque plusieurs attributs sensibles (par exemple, le genre, la race, l'âge) sont présents. Bien que l'équité marginale (équité par attribut individuel) soit bien étudiée, elle ne parvient pas à empêcher le « gerrymandering de l'équité » (fairness gerrymandering), où une discrimination sévère persiste aux intersections de plusieurs attributs (Kearns et al., 2018a ; b).

Formellement, avec $q$ attributs sensibles binaires, il existe $2^q$ sous-groupes. Imposer une équité distributionnelle à travers tous ces sous-groupes se heurte à deux barrières critiques :

1. Rareté des données (Data Sparsity) : À mesure que $q$ augmente, de nombreux sous-groupes ne contiennent que très peu d'échantillons, ce qui conduit à une estimation instable du modèle et à des garanties d'équité inexactes (Molina & Loiseau, 2023).
2. Charge computationnelle : Le nombre de contraintes d'équité croît exponentiellement avec $q$. Les approches adverses existantes qui tentent de mesurer l'équité pour tous les sous-groupes deviennent informatiquement intratables.

De plus, les méthodes existantes échouent souvent à garantir simultanément l'équité marginale (équité sur chaque attribut individuel) et l'équité des sous-groupes, ou reposent sur des notions d'équité plus faibles (par exemple, la Parité Démographique) qui ne garantissent pas l'équité distributionnelle.

2. Méthodologie

2.1 Équité des Sous-groupes-Sous-ensembles (Subgroup-Subset Fairness)

Pour résoudre la rareté des données, les auteurs proposent de se concentrer uniquement sur les « sous-groupes actifs » — ceux possédant des tailles d'échantillons suffisantes — tout en incluant explicitement les sous-groupes marginaux (sous-groupes définis par des attributs sensibles uniques) pour assurer l'équité marginale.

Ils formalisent l'équité des sous-groupes-sous-ensembles, où un « sous-groupe-sous-ensemble » $W$ est l'union de sous-groupes spécifiques. L'objectif est d'imposer une équité distributionnelle sur une collection sélectionnée de sous-groupes-sous-ensembles $\mathcal{W}$ dont les tailles d'échantillons ne sont pas trop faibles.

2.2 Métrique de Probabilité Intégrale de Supremum (supIPM)

Les auteurs introduisent une mesure d'équité distributionnelle appelée la métrique de probabilité intégrale de supremum (supIPM). Pour une collection de sous-groupes-sous-ensembles $\mathcal{W}$, l'écart d'équité est défini comme :
$$\Delta_{\psi, \mathcal{W}}(f) = \sup_{W \in \mathcal{W}} \psi(P_{f,W}, P_{f,W^c})$$
où $\psi$ est une mesure de déviance (spécifiquement l'IPM). Les auteurs prouvent que l'erreur d'estimation de la supIPM empirique dépend de la taille d'échantillon minimale au sein des sous-ensembles ($n_W$) plutôt que du nombre total de sous-ensembles $|\mathcal{W}|$, justifiant ainsi la focalisation sur les sous-ensembles actifs.

2.3 Apprentissage Adversaire par Double Régression (DRAF)

L'optimisation directe de la supIPM est coûteuse en termes de calcul car elle nécessite de trouver un discriminateur distinct pour chaque $W \in \mathcal{W}$. Pour surmonter cela, les auteurs proposent un écart d'équité de substitution basé sur le Coefficient de Détermination de Double Régression ($R^2$ de DR).

• Fondement Théorique : Ils établissent une relation entre l'IPM et le coefficient de détermination ($R^2$) dans un contexte de régression où l'entrée est la prédiction du modèle et la sortie est une étiquette indiquant l'appartenance au sous-ensemble.
• La Substitution : Ils définissent une mesure de Double Régression $R^2$, $DR^2(f, v, g)$, qui régresse simultanément la sortie du discriminateur $g(f(x))$ et une combinaison pondérée d'indicateurs de sous-ensemble $v^\top c_i$.
• Innovation Clé : L'algorithme proposé, DRAF (Doubly Regressing Adversarial learning for Fairness), optimise un écart de substitution défini par :
  $$DR_{n, \mathcal{W}, \mathcal{G}}(f) := \sup_{g \in \mathcal{G}, v \in S_M} \tilde{z}\text{-}DR^2(f, v, g)$$
  Crucialement, cette formulation ne nécessite qu'un seul discriminateur $g$ et un vecteur de poids $v$, quel que soit le nombre de sous-groupes-sous-ensembles $|\mathcal{W}|$. Cela réduit la complexité computationnelle d'une croissance exponentielle à une croissance linéaire par rapport au nombre de sous-ensembles.
• Optimisation : L'algorithme entraîne le prédicteur $f$ et le couple discriminateur/poids $(g, v)$ selon un mode min-max alterné. L'analyse théorique prouve que cet écart de substitution sert de borne supérieure pour la véritable supIPM.

3. Contributions Clés

1. Formalisation de l'Équité des Sous-groupes-Sous-ensembles : Une nouvelle notion d'équité qui équilibre le besoin d'équité intersectionnelle avec les contraintes pratiques de la rareté des données en se concentrant sur les sous-groupes-sous-ensembles actifs et les groupes marginaux.
2. Introduction de la supIPM : Une mesure d'équité distributionnelle pour les sous-groupes-sous-ensembles, accompagnée d'une borne théorique sur son erreur d'estimation.
3. Algorithme DRAF : Un algorithme d'apprentissage adversaire efficace qui utilise un seul discriminateur pour approximer la supIPM via un substitut de double régression $R^2$. Les auteurs prouvent que ce substitut est une borne supérieure de la métrique cible.
4. Validation Empirique : Démonstration que DRAF surpasse les méthodes de référence (Régularisation, GerryFair, Mapping Séquentiel), particulièrement dans les scénarios avec des attributs sensibles de haute dimension et des sous-groupes rares.

4. Résultats Expérimentaux

Les auteurs ont évalué DRAF sur quatre jeux de données de référence : ADULT, DUTCH, CIVILCOMMENTS et COMMUNITIES (ce dernier présentant $q=18$ et une rareté extrême).

• Performance sur les Données Rares : Sur le jeu de données COMMUNITIES, où la plupart des sous-groupes sont extrêmement petits, DRAF a nettement surpassé les méthodes de référence tant en matière d'équité des sous-groupes (SP) qu'en matière d'équité marginale de premier ordre (MP(1)). Les méthodes de référence comme GerryFair (axée sur la disparité du pire cas des sous-groupes) ou la Régularisation (axée sur la disparité marginale) n'ont pas réussi à atteindre les deux simultanément.
• Compromis Précision-Équité : DRAF a obtenu des compromis précision-équité compétitifs sur tous les jeux de données. Dans les jeux de données moins rares (ADULT, DUTCH), ses performances étaient comparables ou supérieures aux méthodes de référence.
• Analyse de Corrélation : Les expériences ont montré que DRAF contrôle efficacement l'équité des sous-groupes et l'équité marginale simultanément, alors que les méthodes se concentrant sur une seule dimension dégradent souvent l'autre.
• Robustesse : La méthode a démontré sa robustesse face aux attributs sensibles bruités (manquants), car elle peut appliquer les contraintes d'équité uniquement aux sous-groupes-sous-ensembles observables sans rejeter d'échantillons.
• Extensions : L'approche s'est avérée extensible à la classification multi-classe et aux contraintes d'équité d'Égalité des Chances (Equalized Odds - EO).

5. Signification et Revendications

L'article affirme que DRAF fournit une solution pratique à la « malédiction de la dimensionnalité » de l'équité des sous-groupes. En déplaçant l'attention de l'ensemble des $2^q$ sous-groupes vers un ensemble de sous-groupes-sous-ensembles actifs et en utilisant un substitut à discriminateur unique, la méthode résout les doubles problèmes de rareté des données et d'intraitabilité computationnelle.

Les auteurs soulignent que leur approche garantit l'équité distributionnelle (la notion d'équité la plus forte) sans recourir à des métriques plus faibles comme la Parité Démographique. Ils soutiennent que ignorer les petits sous-groupes est statistiquement fondé pour l'équité au niveau de la population, à condition que l'équité marginale soit explicitement imposée. Le travail conclut que DRAF permet le déploiement de modèles d'IA équitables dans des scénarios réels complexes comportant plusieurs attributs sensibles, là où les méthodes précédentes étaient soit trop coûteuses en calcul, soit statistiquement instables.