Resumo Técnico: Geração Disjunta de Dados Sintéticos

Declaração do Problema

A geração de dados tabulares sintéticos de alta qualidade enfrenta um compromisso persistente entre utilidade (fidelidade à distribuição original e desempenho em tarefas downstream) e privacidade (proteção contra reidentificação). Fluxos de trabalho centralizados tradicionais, que agregam dados para treinar um único modelo generativo grande, frequentemente lutam para capturar estruturas de alta dimensão sem sofrer overfitting, ou falham em fornecer garantias empíricas de privacidade suficientes. Embora a Privacidade Diferencial (DP) ofereça garantias formais, ela frequentemente introduz ruído que degrada a utilidade. Além disso, as abordagens federadas ou distribuídas existentes geralmente alcançam um desempenho comparável aos seus equivalentes centralizados, mas raramente os superam.

Um desafio específico surge quando os dados são naturalmente particionados (por exemplo, fatias verticais sem identificadores compartilhados) ou quando restrições computacionais impedem o treinamento de um único modelo em todas as características. Os métodos atuais carecem de um framework robusto para gerar dados sintéticos de subconjuntos disjuntos de variáveis e remontá-los sem perder as dependências subjacentes entre as variáveis.

Metodologia: Modelos Generativos Disjuntos (DGMs)

Os autores propõem os Modelos Generativos Disjuntos (DGMs), um framework que aplica um paradigma de "dividir para conquistar" à geração de dados sintéticos. O procedimento central envolve três estágios:

1. Particionamento: O conjunto de dados de treinamento $X$ (uma matriz $n \times k$) é particionado por colunas em $n_p$ subconjuntos disjuntos de variáveis ($d_1, d_2, \dots, d_{n_p}$). Essas partições não contêm variáveis compartilhadas.
2. Geração Disjunta: Cada partição é alimentada em uma instância separada de um modelo generativo ($G_p$). Crucialmente, isso permite a geração de modelos mistos, onde diferentes arquiteturas de modelos (por exemplo, uma Rede Bayesiana para uma partição e uma GAN para outra) podem ser usadas simultaneamente com base nos pontos fortes dos subconjuntos de dados específicos.
3. Operação de Junção: As partições sintéticas independentes ($s_1, s_2, \dots, s_{n_p}$) são combinadas post-hoc. O artigo foca em uma estratégia de junção específica usando um Modelo Validador ($V$):
   • Treinamento do Validador: Um classificador binário (por exemplo, Random Forest) é treinado nos dados originais. A classe positiva consiste em linhas autênticas, enquanto a classe negativa consiste em linhas "falsas" criadas pela permutação aleatória e concatenação das partições disjuntas dos dados reais.
   • Inferência: As partições sintéticas são concatenadas aleatoriamente para formar linhas candidatas ($q$). O validador atribui uma pontuação ($z$) a cada candidata.
   • Seleção: Candidatas com pontuação acima de um limiar $\theta$ são aceitas no conjunto de dados sintético final $S$. As linhas aceitas são removidas do pool, e as partições restantes são permutadas para gerar novas candidatas. Este loop continua até que o tamanho alvo do conjunto de dados seja atingido ou os limites de iteração sejam alcançados.

Principais Contribuições

• Proposta de Framework: Introdução do framework DGM, que desafia a suposição de que um único modelo monolítico é sempre superior, demonstrando que o particionamento pode melhorar a viabilidade computacional e a privacidade.
• Síntese de Modelos Mistos: Uma capacidade inovadora de combinar diferentes tipos de modelos generativos (por exemplo, modelos de alta utilidade como TabDiff ou synthpop com modelos de alta privacidade como DPGAN) dentro de um único conjunto de dados sintéticos, aproveitando os pontos fortes de cada um para subconjuntos de variáveis específicos.
• Validador de Junção: Um mecanismo para remontar dados sintéticos disjuntos aprendendo as dependências entre as partições, em vez de depender de simples concatenação aleatória ou identificadores compartilhados.
• Avaliação Empírica: Um benchmark abrangente através de sete conjuntos de dados tabulares padrão (variando de 126 a 3.927 registros) e um conjunto de dados de alta dimensão (98 características), avaliando utilidade (PCA, correlação, F1, AUROC) e privacidade (risco de identificabilidade, recall de Ataque de Inferência de Membro).

Resultados

Os experimentos produzem as seguintes descobertas principais:

• Compromisso Privacidade-Utilidade: Aumentar o número de partições geralmente melhora as métricas de privacidade empírica (menor risco de identificabilidade e recall de MIA), mas degrada as métricas de utilidade (maior diferença na matriz de correlação, menor F1/AUROC).
• Papel do Validador: O uso do validador de junção mitiga significativamente a perda de utilidade associada ao particionamento em comparação com a concatenação aleatória. Embora a concatenação aleatória preserve bem as distribuições marginais, ela falha em capturar dependências entre partições, levando a um desempenho pobre em tarefas downstream. O validador restaura parte dessa utilidade com um custo leve na vantagem máxima de privacidade.
• Desempenho de Modelos Mistos: DGMs de modelos mistos (por exemplo, combinando synthpop e DPGAN) alcançam um equilíbrio superior. Eles frequentemente superam os baselines de modelo único em utilidade, mantendo níveis de privacidade comparáveis ou melhores que modelos únicos de alta privacidade. Por exemplo, uma combinação synthpop-DPGAN alcançou escores competitivos de AUROC e F1 enquanto reduzia o risco de reidentificação significativamente em comparação com baselines de alta utilidade.
• Estratégia de Particionamento: A eficácia do processo de junção depende fortemente da estrutura de correlação entre as partições. Alta correlação entre partições torna o trabalho do validador mais fácil e melhora a utilidade, enquanto baixa correlação favorece a concatenação simples, mas oferece menos benefício de privacidade do processo de junção.
• Eficiência Computacional: O particionamento reduz o tempo de treinamento para modelos que escalam mal com a dimensionalidade (por exemplo, Redes Bayesianas), tornando-os viáveis para conjuntos de dados de alta dimensão onde um único modelo seria computacionalmente proibitivo.

Significância e Alegações

O artigo posiciona os DGMs como uma alternativa prática para cenários onde os dados não podem ser agrupados ou onde um único modelo não consegue equilibrar efetivamente privacidade e utilidade. Os autores alegam que:

• Ganhos de Privacidade Empírica: O framework oferece um aumento tangível na privacidade empírica (medida pelo risco de reidentificação) sem a severa degradação de utilidade frequentemente vista em abordagens de DP formal.
• Flexibilidade: A capacidade de misturar modelos permite que os praticantes personalizem o processo de geração de acordo com as características específicas dos dados (por exemplo, usando modelos DP para colunas sensíveis e modelos de alta fidelidade para outras).
• Modéstia sobre Garantias: Os autores declaram explicitamente que as melhorias de privacidade são empíricas, não formais. O framework não fornece garantias de Privacidade Diferencial de ponta a ponta, pois o validador de junção é exposto a dados reais e as garantias de DP dos modelos constituintes podem ser anuladas pelo processo de remontagem.
• Direções Futuras: O trabalho abre caminhos para explorar mecanismos de junção alternativos (por exemplo, métodos Bayesianos, hashing), otimizar estratégias de particionamento e estender o framework para dados multimodais (imagens, texto, séries temporais).

O artigo conclui que, embora os DGMs não resolvam todos os desafios de privacidade, eles oferecem uma rota viável, flexível e computacionalmente eficiente para gerar dados tabulares sintéticos que equilibram melhor as demandas conflitantes de utilidade e privacidade.