Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

Technische Zusammenfassung: Können synthetische Daten fair und privat sein? Eine vergleichende Studie zur Generierung synthetischer Daten und zu Fairness-Algorithmen

Problemstellung
Die zunehmende Integration von Machine Learning (ML) in Learning Analytics (LA) hat robuste Lösungen für algorithmische Fairness und Datenschutz erforderlich gemacht. Während Synthetic Data Generators (SDGs) als zweckdienliche Werkzeuge hervorgetreten sind, um die Privatsphäre zu stärken (durch den Ersatz realer Daten durch synthetische Gegenstücke) und die Fairness zu verbessern (durch den Ausgleich der Repräsentation von Minderheitengruppen), deutet die bestehende Literatur auf ein inverses Verhältnis zwischen diesen beiden Zielen hin. Die vorherige Forschung hat sich weitgehend auf die Zielkonflikte zwischen Privatsphäre und Nutzen oder zwischen Fairness und Nutzen konzentriert, wodurch eine Lücke im Verständnis der dreieckigen Beziehung zwischen Privatsphäre, Fairness und Nutzen über ein breites Spektrum von SDGs hinweg besteht. Darüber hinaus sind Vorverarbeitungs-Fairness-Algorithmen für reale Daten zwar gut etabliert, ihre Wirksamkeit bei der Anwendung auf synthetische Daten bleibt jedoch wenig erforscht. Diese Studie schließt diese Lücken, indem sie untersucht, welche SDGs Privatsphäre und Fairness am besten ausbalancieren und ob Vorverarbeitungs-Fairness-Algorithmen die Fairness synthetischer Datensätze weiter verbessern können.

Methodik
Die Studie verwendet ein vergleichendes experimentelles Design unter Einsatz von drei realen Bildungsdatensätzen (Leistung der Schüler in Mathematik, Learning Analytics der Open University und Daten des Law School Admission Council) sowie vier sensiblen Attributen (Geschlecht, Behinderung, ethnische Herkunft).

1. Generierung synthetischer Daten: Fünf verschiedene SDGs wurden evaluiert:

   • CTGAN: Ein Conditional Tabular GAN mit Fokus auf Nutzen.
   • DistilGPT2 (DGPT): Ein Large Language Model, das im Rahmen des GReaT-Rahmens für die Generierung tabellarischer Daten angepasst wurde.
   • ADSGAN: Eine GAN-basierte Methode unter Verwendung von Regularisierung, um Overfitting und Risiken von Membership-Inference-Angriffen zu reduzieren.
   • PATE-GAN: Eine GAN, kombiniert mit dem Framework „Private Aggregation of Teacher Ensembles", um Garantien für differential privacy zu bieten.
   • DECAF: Ein GAN-basiertes Modell, das speziell entwickelt wurde, um faire synthetische Daten unter Verwendung von Kausalitätsinferenz-Techniken zu generieren, um verzerrte Ergebnisse zu bestrafen.

2. Bewertungsmetriken:

   • Privatsphäre: Bewertet mittels vier Metriken: Durchschnittliche Jensen-Shannon-Distanz (JSD), Wasserstein-Distanz (WD), Genauigkeit von Membership-Inference-Angriffen (MIA, unter Verwendung von BNAF) und k-Anonymitäts-Scores.
   • Fairness: Evaluiert unter Verwendung von drei Metriken: Absolute Between Receiver Operating Characteristic curve Area (ABROCA), Unterschied der Fehlerrate (ERD) und Unterschied der True-Positive-Rate (TPRD). Diese wurden zu einem zusammengesetzten Fairness-Score aggregiert.
   • Nutzen: Gemessen durch die Vorhersagegenauigkeit (AUC-ROC) nachgelagerter ML-Modelle (Random Forest, Logistische Regression, Gaussian Naive Bayes, XGBoost).

3. Experimenteller Ablauf:

   • Forschungsfrage 1 (Ausgewogenheit): Synthetische Datensätze wurden generiert und auf Privatsphäre sowie Fairness bewertet. Modelle wurden auf diesen Datensätzen trainiert und auf realen Daten getestet (Paradigma „Same Train, Real Test"), um einen objektiven Vergleich sicherzustellen.
   • Forschungsfrage 2 (Verbesserung): Vier Vorverarbeitungs-Fairness-Algorithmen (Suppression, Correlation Remover, Disparate Impact Remover und Reweighing) wurden auf die synthetischen Trainingsdaten angewendet. Die resultierenden Modelle wurden erneut evaluiert, um Fairness-Verbesserungen im Vergleich zu Baseline-Modellen und Modellen zu messen, die auf realen Daten mit derselben Vorverarbeitung trainiert wurden.

Hauptergebnisse

• Zielkonflikt zwischen Privatsphäre und Fairness: Die Studie bestätigt einen komplexen Zielkonflikt, bei dem die Optimierung des einen oft das andere beeinträchtigt. DECAF erwies sich als der Algorithmus, der über alle Datensätze hinweg die beste Balance zwischen Privatsphäre und Fairness erreichte. Dieser Ausgleich ging jedoch mit erheblichen Kosten für den Nutzen einher; DECAF wies die niedrigste Vorhersagegenauigkeit (AUC-ROC) unter allen Generatoren auf.
• Algorithmische Spezialisierung:
  • DGPT und CTGAN (nutzenfokussiert) zeigten unterschiedliche Grade von Ungleichgewicht, wobei DGPT leicht stärker in Richtung Fairness tendierte und CTGAN eine extreme Diskrepanz zwischen den Werten für Privatsphäre und Fairness aufwies.
  • PATE-GAN und ADSGAN (privatsphärefokussiert) priorisierten die Privatsphäre, oft auf Kosten der Fairness. PATE-GAN zeigte insbesondere die extremsten Zielkonflikte und erreichte in einigen Fällen hohe Privatsphäre, aber die niedrigsten Fairness-Werte.
• Wirksamkeit der Vorverarbeitung: Die Anwendung von Vorverarbeitungs-Fairness-Algorithmen auf synthetische Daten erzielte größere Verbesserungen der Fairness als deren Anwendung auf reale Daten. Beispielsweise führte die Kombination von CTGAN mit Reweighing (RW) oder Suppression (SUP) zu signifikanten Fairness-Gewinnen (bis zu 21,5 % Verbesserung auf Datensatz C).
• Algorithmische Sensitivität: Die Wirksamkeit von Vorverarbeitungs-Algorithmen war nicht einheitlich; bestimmte Fairness-Techniken funktionierten besser mit spezifischen SDGs (z. B. reagierte CTGAN gut auf SUP und RW, während ADSGAN bei Anwendung von Correlation Remover auf Datensatz A negative Ergebnisse zeigte).

Bedeutung und Beiträge
Der Artikel leistet drei wesentliche Beiträge zum Bereich Learning Analytics und KI-Ethik:

1. Analyse der dreieckigen Beziehung: Er bietet eine umfassende empirische Studie, die die dreieckige Beziehung zwischen Privatsphäre, Fairness und Nutzen hervorhebt. Die Ergebnisse deuten darauf hin, dass Privatsphäre und Fairness gemeinsam optimiert werden können (wie bei DECAF zu sehen), beide jedoch oft ein inverses Verhältnis zum Nutzen (Vorhersagegenauigkeit) aufweisen.
2. Überlegenheit von Synthetisch + Vorverarbeitung: Die Studie zeigt, dass die Kombination von Generierung synthetischer Daten mit Vorverarbeitungs-Fairness-Algorithmen zu faireren Vorhersagen führt als die alleinige Anwendung von Fairness-Algorithmen auf reale Daten. Dies stellt die Annahme in Frage, dass synthetische Daten lediglich reale Vorurteile erben, ohne einen einzigartigen Weg zur Minderung von Verzerrungen zu bieten.
3. Praktische Leitlinien: Die Forschung bietet handlungsorientierte Empfehlungen für Stakeholder. Sie legt nahe, dass DECAF optimal ist, um Privatsphäre und Fairness auszubalancieren, wenn der Nutzen zweitrangig ist, ADSGAN für privatsphärekritische Szenarien geeignet ist und DGPT vorzuziehen ist, wenn Fairness das primäre Ziel ist. Darüber hinaus befürwortet sie einen hybriden Ansatz – Generierung synthetischer Daten gefolgt von Vorverarbeitungs-Fairness-Interventionen – als robuste Strategie zur Erstellung fairerer LA-Modelle.

Einschränkungen
Die Autoren erkennen Einschränkungen an, darunter die rechnerischen Beschränkungen, die mehrere Iterationen der Generierung synthetischer Daten verhinderten (was die Zufälligkeit hätte reduzieren können), der Fokus auf eine ausgewählte Gruppe repräsentativer SDGs anstelle einer erschöpfenden Liste sowie die Beschränkung auf tabellarische Daten, wodurch andere LA-Datentypen wie Zeitreihen oder Bilder ausgeschlossen wurden.