Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

Resumo Técnico: Dados Sintéticos Podem Ser Justos e Privados? Um Estudo Comparativo de Geração de Dados Sintéticos e Algoritmos de Justiça

Declaração do Problema
A integração crescente de Aprendizado de Máquina (ML) em Análise de Aprendizagem (LA) tornou necessárias soluções robustas para justiça algorítmica e privacidade de dados. Embora os Geradores de Dados Sintéticos (SDGs) tenham surgido como ferramentas de dupla finalidade para aprimorar a privacidade (substituindo dados reais por contrapartes sintéticas) e melhorar a justiça (equilibrando a representação de grupos minoritários), a literatura existente sugere uma relação inversa entre esses dois objetivos. Pesquisas anteriores focaram amplamente nas compensações entre privacidade e utilidade ou entre justiça e utilidade, deixando uma lacuna na compreensão da relação triangular entre privacidade, justiça e utilidade em um amplo espectro de SDGs. Além disso, embora algoritmos de justiça de pré-processamento sejam bem estabelecidos para dados do mundo real, sua eficácia quando aplicados a dados sintéticos permanece pouco explorada. Este estudo aborda essas lacunas investigando quais SDGs equilibram melhor privacidade e justiça e se algoritmos de justiça de pré-processamento podem aprimorar ainda mais a justiça de conjuntos de dados sintéticos.

Metodologia
O estudo emprega um desenho experimental comparativo utilizando três conjuntos de dados educacionais do mundo real (Desempenho em Matemática de Estudantes, Análise de Aprendizagem da Open University e dados do Conselho de Admissão de Escolas de Direito) e quatro atributos sensíveis (sexo, deficiência, raça).

1. Geração de Dados Sintéticos: Cinco SDGs distintos foram avaliados:

   • CTGAN: Um GAN Tabular Condicional focado em utilidade.
   • DistilGPT2 (DGPT): Um Modelo de Linguagem de Grande Porte adaptado para geração de dados tabulares sob o framework GReaT.
   • ADSGAN: Um método baseado em GAN usando regularização para reduzir riscos de sobreajuste e inferência de associação.
   • PATE-GAN: Um GAN combinado com o framework de Agregação Privada de Ensembles de Professores para fornecer garantias de privacidade diferencial.
   • DECAF: Um modelo baseado em GAN projetado especificamente para gerar dados sintéticos justos usando técnicas de inferência causal para penalizar resultados enviesados.

2. Métricas de Avaliação:

   • Privacidade: Avaliada por meio de quatro métricas: Distância Média Jensen-Shannon (JSD), Distância de Wasserstein (WD), precisão de Ataque de Inferência de Associação (MIA) (usando BNAF) e pontuações de k-anonimato.
   • Justiça: Avaliada usando três métricas: Área Absoluta Entre a Curva Característica Operacional do Receptor (ABROCA), Diferença da Taxa de Erro (ERD) e Diferença da Taxa de Verdadeiros Positivos (TPRD). Estas foram agregadas em uma pontuação composta de justiça.
   • Utilidade: Medida pela precisão preditiva (AUC-ROC) de modelos de ML a jusante (Random Forest, Regressão Logística, Naive Bayes Gaussiano, XGBoost).

3. Fluxo Experimental:

   • PQ1 (Equilíbrio): Conjuntos de dados sintéticos foram gerados e avaliados quanto à privacidade e justiça. Modelos foram treinados nesses conjuntos de dados e testados em dados reais (paradigma Treino Mesmo, Teste Real) para garantir comparação objetiva.
   • PQ2 (Melhoria): Quatro algoritmos de justiça de pré-processamento (Supressão, Removedor de Correlação, Removedor de Impacto Disparatado e Reponderação) foram aplicados aos dados de treinamento sintéticos. Os modelos resultantes foram reavaliados para medir melhorias na justiça em comparação com modelos de linha de base e modelos treinados em dados reais com o mesmo pré-processamento.

Principais Resultados

• Compensação Privacidade-Justiça: O estudo confirma uma compensação complexa onde a otimização de um frequentemente compromete o outro. O DECAF emergiu como o algoritmo que alcança o melhor equilíbrio entre privacidade e justiça em todos os conjuntos de dados. No entanto, esse equilíbrio veio a um custo significativo para a utilidade; o DECAF exibiu a menor precisão preditiva (AUC-ROC) entre todos os geradores.
• Especialização Algorítmica:
  • DGPT e CTGAN (focados em utilidade) mostraram graus variados de desequilíbrio, com o DGPT inclinando-se ligeiramente mais para a justiça e o CTGAN mostrando disparidade extrema entre as pontuações de privacidade e justiça.
  • PATE-GAN e ADSGAN (focados em privacidade) priorizaram a privacidade, frequentemente às custas da justiça. O PATE-GAN, em particular, mostrou as compensações mais extremas, alcançando alta privacidade, mas as menores pontuações de justiça em alguns casos.
• Eficácia do Pré-processamento: A aplicação de algoritmos de justiça de pré-processamento a dados sintéticos produziu maiores melhorias na justiça do que aplicá-los a dados reais. Por exemplo, a combinação de CTGAN com Reponderação (RW) ou Supressão (SUP) resultou em ganhos significativos de justiça (até 21,5% de melhoria no Conjunto de Dados C).
• Sensibilidade Algorítmica: A eficácia dos algoritmos de pré-processamento não foi uniforme; técnicas específicas de justiça performaram melhor com SDGs específicos (por exemplo, o CTGAN respondeu bem a SUP e RW, enquanto o ADSGAN mostrou resultados negativos com o Removedor de Correlação no Conjunto de Dados A).

Significado e Contribuições
O artigo faz três contribuições primárias ao campo da Análise de Aprendizagem e ética da IA:

1. Análise da Relação Triangular: Fornece um estudo empírico extenso destacando a relação triangular entre privacidade, justiça e utilidade. As descobertas sugerem que, embora privacidade e justiça possam ser otimizadas conjuntamente (como visto com o DECAF), ambas frequentemente exibem uma relação inversa com a utilidade (precisão preditiva).
2. Superioridade de Sintético + Pré-processamento: O estudo demonstra que combinar geração de dados sintéticos com algoritmos de justiça de pré-processamento resulta em previsões mais justas do que aplicar algoritmos de justiça a dados do mundo real apenas. Isso desafia a noção de que dados sintéticos meramente herdam vieses do mundo real sem oferecer um caminho único para mitigação de viés.
3. Diretrizes Práticas: A pesquisa oferece recomendações acionáveis para partes interessadas. Sugere que o DECAF é ótimo para equilibrar privacidade e justiça quando a utilidade é secundária, o ADSGAN é adequado para cenários críticos de privacidade e o DGPT é preferível quando a justiça é o objetivo principal. Além disso, defende uma abordagem híbrida — gerar dados sintéticos seguidos por intervenções de justiça de pré-processamento — como uma estratégia robusta para criar modelos de LA mais justos.

Limitações
Os autores reconhecem limitações, incluindo as restrições computacionais que impediram múltiplas iterações de geração de dados sintéticos (o que poderia ter reduzido a aleatoriedade), o foco em um grupo selecionado de SDGs representativos em vez de uma lista exaustiva e a restrição a dados tabulares, excluindo outros tipos de dados de LA como séries temporais ou imagens.