Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

Résumé technique : Les données synthétiques peuvent-elles être équitables et privées ? Une étude comparative de la génération de données synthétiques et des algorithmes d'équité

Énoncé du problème
L'intégration croissante de l'apprentissage automatique (ML) dans l'analyse des apprentissages (LA) a rendu nécessaires des solutions robustes pour l'équité algorithmique et la protection des données. Bien que les générateurs de données synthétiques (SDG) aient émergé comme des outils à double vocation pour améliorer la confidentialité (en remplaçant les données réelles par des équivalents synthétiques) et renforcer l'équité (en équilibrant la représentation des groupes minoritaires), la littérature existante suggère une relation inverse entre ces deux objectifs. Les recherches antérieures se sont principalement concentrées sur les compromis entre confidentialité et utilité, ou entre équité et utilité, laissant un vide dans la compréhension de la relation triangulaire entre confidentialité, équité et utilité à travers un large spectre de SDG. De plus, bien que les algorithmes d'équité de prétraitement soient bien établis pour les données réelles, leur efficacité lorsqu'ils sont appliqués à des données synthétiques reste sous-explorée. Cette étude comble ces lacunes en examinant quels SDG équilibrent le mieux confidentialité et équité, et si les algorithmes d'équité de prétraitement peuvent encore améliorer l'équité des jeux de données synthétiques.

Méthodologie
L'étude adopte une conception expérimentale comparative utilisant trois jeux de données éducatives réels (Performance en mathématiques des élèves, Analyse des apprentissages de l'Open University, et données du Conseil d'admission aux écoles de droit) et quatre attributs sensibles (sexe, handicap, race).

1. Génération de données synthétiques : Cinq SDG distincts ont été évalués :

   • CTGAN : Un GAN tabulaire conditionnel axé sur l'utilité.
   • DistilGPT2 (DGPT) : Un modèle de langage de grande taille adapté à la génération de données tabulaires dans le cadre du framework GReaT.
   • ADSGAN : Une méthode basée sur les GAN utilisant la régularisation pour réduire le surapprentissage et les risques d'inférence d'appartenance.
   • PATE-GAN : Un GAN combiné au framework d'agrégation privée des ensembles d'enseignants pour fournir des garanties de confidentialité différentielle.
   • DECAF : Un modèle basé sur les GAN spécifiquement conçu pour générer des données synthétiques équitables en utilisant des techniques d'inférence causale pour pénaliser les résultats biaisés.

2. Métriques d'évaluation :

   • Confidentialité : Évaluée via quatre métriques : Distance moyenne de Jensen-Shannon (JSD), Distance de Wasserstein (WD), précision de l'attaque d'inférence d'appartenance (MIA) (utilisant BNAF), et scores de k-anonymité.
   • Équité : Évaluée à l'aide de trois métriques : Aire absolue entre la courbe caractéristique d'opération du récepteur (ABROCA), Différence des taux d'erreur (ERD), et Différence des taux de vrais positifs (TPRD). Ces métriques ont été agrégées en un score d'équité composite.
   • Utilité : Mesurée par la précision prédictive (AUC-ROC) de modèles ML en aval (Forêt aléatoire, Régression logistique, Naïve Bayes gaussien, XGBoost).

3. Déroulement expérimental :

   • RQ1 (Équilibre) : Des jeux de données synthétiques ont été générés et évalués pour leur confidentialité et leur équité. Des modèles ont été entraînés sur ces jeux de données et testés sur des données réelles (paradigme Même entraînement, Test réel) pour assurer une comparaison objective.
   • RQ2 (Amélioration) : Quatre algorithmes d'équité de prétraitement (Suppression, Suppression de corrélation, Suppression d'impact disparate, et Repondération) ont été appliqués aux données d'entraînement synthétiques. Les modèles résultants ont été réévalués pour mesurer les améliorations d'équité par rapport aux modèles de référence et aux modèles entraînés sur des données réelles avec le même prétraitement.

Résultats clés

• Compromis confidentialité-équité : L'étude confirme un compromis complexe où l'optimisation de l'un compromet souvent l'autre. DECAF s'est imposé comme l'algorithme offrant le meilleur équilibre entre confidentialité et équité sur tous les jeux de données. Cependant, cet équilibre s'est fait au prix d'une utilité significative ; DECAF a affiché la précision prédictive (AUC-ROC) la plus faible parmi tous les générateurs.
• Spécialisation algorithmique :
  • DGPT et CTGAN (axés sur l'utilité) ont montré des degrés variables de déséquilibre, DGPT penchant légèrement davantage vers l'équité et CTGAN présentant une disparité extrême entre les scores de confidentialité et d'équité.
  • PATE-GAN et ADSGAN (axés sur la confidentialité) ont priorisé la confidentialité, souvent au détriment de l'équité. PATE-GAN, en particulier, a montré les compromis les plus extrêmes, atteignant une haute confidentialité mais les scores d'équité les plus bas dans certains cas.
• Efficacité du prétraitement : L'application d'algorithmes d'équité de prétraitement aux données synthétiques a produit de meilleures améliorations en matière d'équité que leur application aux données réelles. Par exemple, la combinaison de CTGAN avec la repondération (RW) ou la suppression (SUP) a entraîné des gains significatifs en équité (jusqu'à 21,5 % d'amélioration sur le jeu de données C).
• Sensibilité algorithmique : L'efficacité des algorithmes de prétraitement n'était pas uniforme ; des techniques d'équité spécifiques ont mieux fonctionné avec des SDG spécifiques (par exemple, CTGAN a bien réagi à SUP et RW, tandis qu'ADSGAN a montré des résultats négatifs avec la suppression de corrélation sur le jeu de données A).

Importance et contributions
L'article apporte trois contributions principales au domaine de l'analyse des apprentissages et de l'éthique de l'IA :

1. Analyse de la relation triangulaire : Il fournit une étude empirique approfondie mettant en lumière la relation triangulaire entre confidentialité, équité et utilité. Les résultats suggèrent que si la confidentialité et l'équité peuvent être optimisées conjointement (comme observé avec DECAF), elles présentent souvent toutes deux une relation inverse avec l'utilité (précision prédictive).
2. Supériorité de la combinaison Données synthétiques + Prétraitement : L'étude démontre que la combinaison de la génération de données synthétiques avec des algorithmes d'équité de prétraitement aboutit à des prédictions plus équitables que l'application d'algorithmes d'équité aux seules données réelles. Cela remet en question l'idée que les données synthétiques héritent simplement des biais du monde réel sans offrir de voie unique pour l'atténuation de ces biais.
3. Lignes directrices pratiques : La recherche offre des recommandations exploitables pour les parties prenantes. Elle suggère que DECAF est optimal pour équilibrer confidentialité et équité lorsque l'utilité est secondaire, qu'ADSGAN convient aux scénarios où la confidentialité est critique, et que DGPT est préférable lorsque l'équité est l'objectif principal. De plus, elle préconise une approche hybride — génération de données synthétiques suivie d'interventions d'équité de prétraitement — comme stratégie robuste pour créer des modèles LA plus équitables.

Limites
Les auteurs reconnaissent des limites, notamment les contraintes computationnelles qui ont empêché plusieurs itérations de génération de données synthétiques (ce qui aurait pu réduire l'aléatoire), le focus sur un groupe restreint de SDG représentatifs plutôt que sur une liste exhaustive, et la restriction aux données tabulaires, excluant d'autres types de données LA comme les séries temporelles ou les images.