Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

Resumen Técnico: ¿Pueden los Datos Sintéticos ser Justos y Privados? Un Estudio Comparativo de la Generación de Datos Sintéticos y Algoritmos de Equidad

Planteamiento del Problema
La creciente integración del Aprendizaje Automático (ML) en el Análisis del Aprendizaje (LA) ha hecho necesarias soluciones robustas para la equidad algorítmica y la privacidad de los datos. Si bien los Generadores de Datos Sintéticos (SDG) han surgido como herramientas de doble propósito para mejorar la privacidad (sustituyendo datos reales por contrapartes sintéticas) y mejorar la equidad (equilibrando la representación de grupos minoritarios), la literatura existente sugiere una relación inversa entre estos dos objetivos. Investigaciones anteriores se han centrado mayoritariamente en las compensaciones entre privacidad y utilidad, o entre equidad y utilidad, dejando un vacío en la comprensión de la relación triangular entre privacidad, equidad y utilidad a través de un amplio espectro de SDG. Además, aunque los algoritmos de equidad de preprocesamiento están bien establecidos para datos del mundo real, su eficacia al aplicarse a datos sintéticos sigue siendo poco explorada. Este estudio aborda estas lagunas investigando qué SDG equilibran mejor la privacidad y la equidad, y si los algoritmos de equidad de preprocesamiento pueden mejorar aún más la equidad de los conjuntos de datos sintéticos.

Metodología
El estudio emplea un diseño experimental comparativo que utiliza tres conjuntos de datos educativos del mundo real (Rendimiento en Matemáticas de Estudiantes, Análisis del Aprendizaje de la Open University y datos del Consejo de Admisión a Escuelas de Derecho) y cuatro atributos sensibles (sexo, discapacidad, raza).

1. Generación de Datos Sintéticos: Se evaluaron cinco SDG distintos:

   • CTGAN: Una GAN Tabular Condicional centrada en la utilidad.
   • DistilGPT2 (DGPT): Un Modelo de Lenguaje Grande adaptado para la generación de datos tabulares bajo el marco GReaT.
   • ADSGAN: Un método basado en GAN que utiliza regularización para reducir el sobreajuste y los riesgos de inferencia de membresía.
   • PATE-GAN: Una GAN combinada con el marco de Agregación Privada de Ensembles de Profesores para proporcionar garantías de privacidad diferencial.
   • DECAF: Un modelo basado en GAN diseñado específicamente para generar datos sintéticos justos utilizando técnicas de inferencia causal para penalizar resultados sesgados.

2. Métricas de Evaluación:

   • Privacidad: Evaluada mediante cuatro métricas: Distancia Media de Jensen-Shannon (JSD), Distancia de Wasserstein (WD), precisión del Ataque de Inferencia de Membresía (MIA) (usando BNAF) y puntuaciones de k-anonimato.
   • Equidad: Evaluada utilizando tres métricas: Diferencia Absoluta entre el Área de la Curva Característica Operativa del Receptor (ABROCA), Diferencia en la Tasa de Error (ERD) y Diferencia en la Tasa de Verdaderos Positivos (TPRD). Estas se agregaron en una puntuación compuesta de equidad.
   • Utilidad: Medida por la precisión predictiva (AUC-ROC) de modelos de ML aguas abajo (Bosque Aleatorio, Regresión Logística, Bayes Ingenuo Gaussiano, XGBoost).

3. Flujo Experimental:

   • PQ1 (Equilibrio): Se generaron y evaluaron conjuntos de datos sintéticos en términos de privacidad y equidad. Se entrenaron modelos en estos conjuntos de datos y se probaron en datos reales (paradigma Entrenamiento Mismo, Prueba Real) para garantizar una comparación objetiva.
   • PQ2 (Mejora): Se aplicaron cuatro algoritmos de equidad de preprocesamiento (Supresión, Removedor de Correlación, Removedor de Impacto Disparado y Reponderación) a los datos de entrenamiento sintéticos. Los modelos resultantes se reevaluaron para medir las mejoras en equidad en comparación con los modelos base y los modelos entrenados en datos reales con el mismo preprocesamiento.

Resultados Clave

• Compensación Privacidad-Equidad: El estudio confirma una compensación compleja donde optimizar uno a menudo compromete al otro. DECAF surgió como el algoritmo que logra el mejor equilibrio entre privacidad y equidad en todos los conjuntos de datos. Sin embargo, este equilibrio conllevó un costo significativo para la utilidad; DECAF exhibió la menor precisión predictiva (AUC-ROC) entre todos los generadores.
• Especialización Algorítmica:
  • DGPT y CTGAN (centrados en la utilidad) mostraron diversos grados de desequilibrio, con DGPT inclinándose ligeramente más hacia la equidad y CTGAN mostrando una disparidad extrema entre las puntuaciones de privacidad y equidad.
  • PATE-GAN y ADSGAN (centrados en la privacidad) priorizaron la privacidad, a menudo a expensas de la equidad. PATE-GAN, en particular, mostró las compensaciones más extremas, logrando alta privacidad pero las puntuaciones de equidad más bajas en algunos casos.
• Eficacia del Preprocesamiento: Aplicar algoritmos de equidad de preprocesamiento a datos sintéticos produjo mejoras mayores en la equidad que aplicarlos a datos reales. Por ejemplo, la combinación de CTGAN con Reponderación (RW) o Supresión (SUP) resultó en ganancias significativas de equidad (hasta un 21,5% de mejora en el Conjunto de Datos C).
• Sensibilidad Algorítmica: La efectividad de los algoritmos de preprocesamiento no fue uniforme; técnicas de equidad específicas funcionaron mejor con SDG específicos (por ejemplo, CTGAN respondió bien a SUP y RW, mientras que ADSGAN mostró resultados negativos con el Removedor de Correlación en el Conjunto de Datos A).

Significado y Contribuciones
El artículo realiza tres contribuciones principales al campo del Análisis del Aprendizaje y la ética de la IA:

1. Análisis de la Relación Triangular: Proporciona un estudio empírico extenso que destaca la relación triangular entre privacidad, equidad y utilidad. Los hallazgos sugieren que, aunque la privacidad y la equidad pueden optimizarse conjuntamente (como se ve con DECAF), ambas a menudo exhiben una relación inversa con la utilidad (precisión predictiva).
2. Superioridad de Sintético + Preprocesamiento: El estudio demuestra que combinar la generación de datos sintéticos con algoritmos de equidad de preprocesamiento resulta en predicciones más justas que aplicar algoritmos de equidad a datos del mundo real por sí solos. Esto desafía la noción de que los datos sintéticos simplemente heredan sesgos del mundo real sin ofrecer una vía única para la mitigación de sesgos.
3. Directrices Prácticas: La investigación ofrece recomendaciones accionables para las partes interesadas. Sugiere que DECAF es óptimo para equilibrar privacidad y equidad cuando la utilidad es secundaria, ADSGAN es adecuado para escenarios críticos de privacidad, y DGPT es preferible cuando la equidad es el objetivo principal. Además, aboga por un enfoque híbrido: generar datos sintéticos seguido de intervenciones de equidad de preprocesamiento, como una estrategia robusta para crear modelos de LA más justos.

Limitaciones
Los autores reconocen limitaciones, incluidas las restricciones computacionales que impidieron múltiples iteraciones de generación de datos sintéticos (lo que podría haber reducido la aleatoriedad), el enfoque en un grupo selecto de SDG representativos en lugar de una lista exhaustiva, y la restricción a datos tabulares, excluyendo otros tipos de datos de LA como series temporales o imágenes.