Optimal Fairness under Local Differential Privacy

Résumé Technique : Équité Optimale sous la Confidentialité Différentielle Locale

Énoncé du Problème
Les modèles d'apprentissage automatique s'appuient de plus en plus sur des attributs sensibles (par exemple, la race, le genre) pour des décisions à enjeux élevés, ce qui soulève des préoccupations concernant l'équité et la confidentialité. Bien que la Confidentialité Différentielle (DP) soit la norme pour la confidentialité, la DP centrale a montré qu'elle pouvait potentiellement exacerber l'iniquité. En revanche, la Confidentialité Différentielle Locale (LDP), où les données sont perturbées avant de quitter l'appareil de l'utilisateur, reste peu explorée concernant son interaction avec l'équité. Les approches existantes de l'équité basées sur la LDP reposent souvent sur des mécanismes spécifiques tels que la Réponse Aléatoire Généralisée (GRR) ou la Réponse Aléatoire (RR) et sont fréquemment limitées aux attributs sensibles binaires. Le problème central abordé est de savoir comment concevoir de manière optimale des mécanismes LDP qui minimisent l'iniquité des données pour les attributs sensibles binaires et multivalués tout en préservant une utilité non triviale, et d'établir théoriquement comment cette réduction de l'iniquité des données se traduit par une amélioration de l'équité de la classification.

Méthodologie
Les auteurs proposent un cadre de prétraitement où les attributs sensibles sont perturbés à l'aide d'un mécanisme LDP optimal avant l'entraînement du modèle. La méthodologie est divisée en dérivation théorique et validation empirique :

1. Dérivation du Mécanisme Optimal :

   • Attributs Binaires : Pour les attributs sensibles binaires ($A \in \{0, 1\}$), les auteurs dérivent une solution optimale sous forme close. Ils formulent le problème comme la minimisation du ratio de l'iniquité des données dans l'ensemble de données perturbé par rapport à l'ensemble de données original, sous un budget de confidentialité $\epsilon$ fixe. Le mécanisme optimal dépend de la distribution des données (spécifiquement les probabilités conditionnelles de l'étiquette étant donné l'attribut) et du paramètre de confidentialité. Contrairement au RR standard, le mécanisme optimal ne traite pas nécessairement les deux classes de manière symétrique ; il ajuste la probabilité de rapporter la valeur réelle en fonction de la classe la plus prévalente ou discriminatoire.
   • Attributs Non-Binaires : Pour les attributs multivalués ($A \in [k]$), le problème est reformulé comme un programme linéaire fractionnaire min-max. L'objectif est de minimiser une métrique d'iniquité des données (spécifiquement la Définition 1, $\Delta$) sous réserve de :
     • Contraintes de $\epsilon$-LDP.
     • Contraintes de stochasticité par ligne (les probabilités somment à 1).
     • Contraintes de véracité (la probabilité de rapporter la valeur correcte $\ge$ la probabilité de rapporter une valeur erronée).
     • Contraintes d'utilité (limitant la probabilité totale d'erreur à un seuil $\zeta$).
       Cette optimisation est résolue numériquement à l'aide de la méthode de branch-and-bound.

2. Lien Théorique avec l'Équité de la Classification :
   Le document établit une connexion théorique entre la minimisation de l'iniquité des données et la réduction de l'iniquité de la classification. Il introduit le concept de classificateurs optimaux Discrimination-Précision (DA) — des classificateurs qui ne sont pas strictement dominés par un autre classificateur en termes de précision et de discrimination. Les auteurs prouvent que pour les classificateurs DA-optimaux, l'entraînement sur des données présentant une plus faible iniquité (spécifiquement une $\Delta'$ plus faible) garantit une réduction de l'écart de parité statistique du classificateur résultant.

3. Validation Expérimentale :
   Le mécanisme optimal (OPT) proposé est évalué sur divers ensembles de données (Adult, LSAC, COMPAS, Bank, Student Performance, German Credit) en utilisant LightGBM et la Régression Logistique.

   • Lignes de Base (Baselines) : OPT est comparé aux mécanismes LDP standards (GRR/RR, Sélection de Sous-ensemble - SS) et aux interventions d'équité de pointe (FairProjection, FairBalance).
   • Métriques : La performance est mesurée via la Précision, la Parité Statistique ($\Delta_{SP}$), l'Égalité des Opportunités ($\Delta_{EO}$) et la Moyenne des Égalités des Chances ($\Delta_{MEO}$).

Contributions Clés

• Conception de Mécanisme Optimal : Le papier fournit le premier mécanisme LDP optimal en forme close pour les attributs binaires et un cadre numérique traitable pour les attributs non-binaires afin de minimiser l'iniquité des données.
• Justification Théorique : Il prouve que pour les classificateurs DA-optimaux, la réduction de l'iniquité des données via le prétraitement LDP conduit directement à une réduction de l'iniquité de la classification, comblant ainsi le fossé entre le prétraitement respectant la confidentialité et l'équité en aval.
• Supériorité Empirique : Le mécanisme OPT proposé surpasse systématiquement les mécanismes LDP existants (GRR, SS) pour réduire l'iniquité tout en maintenant une précision comparable aux lignes de base non privées.
• Meilleurs Compromis : Comparé aux méthodes d'équité de prétraitement (FairBalance) et de post-traitement (FairProjection), OPT atteint un compromis précision-équité plus favorable tout en préservant la confidentialité des attributs sensibles.

Résultats

• Attributs Binaires : Sur les ensembles de données Adult et LSAC, OPT réduit significativement les écarts de parité statistique et d'égalité des opportunités (par exemple, réduisant presque de moitié les écarts sur LSAC) tout en maintenant une précision comparable à RR et SS.
• Attributs Non-Binaires : Pour les attributs multivalués (ex: race, revenu familial), le mécanisme OPT résolu numériquement atteint des écarts d'équité plus faibles que GRR et SS, particulièrement à des budgets de confidentialité $\epsilon$ plus élevés, avec une perte de précision négligeable.
• Comparaison avec les Méthodes d'Équité : Comparé à FairProjection (post-traitement) et FairBalance (prétraitement) à niveaux de précision équivalents, OPT produit généralement des écarts d'équité plus faibles (par exemple, sur le jeu de données COMPAS, OPT a réduit $\Delta_{SP}$ de 26,8 % à 24,3 % par rapport à FairProjection). Sur le jeu de données Bank, OPT a obtenu une précision plus élevée (90,1 % contre 84,5 %) et un $\Delta_{EO}$ plus faible que FairBalance.
• Intégration : OPT remplace avec succès RR dans le cadre en deux étapes de [13], démontrant son adaptabilité dans les contextes où seuls les attributs sensibles privatisés sont disponibles.

Signification et Revendications
Le papier affirme que la Confidentialité Différentielle Locale sert d'intervention de prétraitement fondée et efficace pour améliorer l'équité. Contrairement à la DP centrale, qui peut être fondamentalement incompatible avec l'équité, la LDP offre un mécanisme où la randomisation inhérente à la préservation de la confidentialité peut activement atténuer l'iniquité des données. Les auteurs positionnent leur travail comme un lien direct entre le prétraitement respectant la confidentialité et l'équité de la classification, démontrant que la perturbation optimale des attributs sensibles est un outil simple mais puissant pour atténuer les biais sans sacrifier l'utilité du modèle. Les résultats suggèrent que la LDP n'est pas seulement un outil de confidentialité, mais une stratégie viable pour l'amplification de l'équité dans les pipelines d'apprentissage automatique.