Resumo Técnico: TabKDE

Declaração do Problema

A geração de dados tabulares visa produzir linhas sintéticas que repliquem a distribuição estatística de um conjunto de dados original — incluindo características numéricas, categóricas e ordinais — sem simplesmente copiar registros existentes. Embora avanços recentes em modelagem generativa (por exemplo, VAEs, GANs e modelos de Difusão) tenham mostrado promessa, eles frequentemente sofrem de limitações significativas:

• Escalabilidade: Métodos que dependem de codificação one-hot para características categóricas explodem em dimensionalidade, levando ao esgotamento de memória em conjuntos de dados com muitas categorias (por exemplo, o conjunto de dados IBM com ~37 mil categorias).
• Eficiência: O treinamento de modelos complexos como modelos de Difusão ou VAEs é computacionalmente caro, frequentemente exigindo horas ou dias e hardware especializado de GPU.
• Privacidade: Alguns métodos não paramétricos, como SMOTE, podem inadvertidamente replicar pontos de dados de treinamento muito de perto, apresentando riscos de vazamento de dados.
• Interpretabilidade: Transformações no espaço latente em modelos de aprendizado profundo frequentemente obscurecem a relação entre características originais e amostras geradas.

Metodologia: TabKDE

Os autores propõem o TabKDE, uma abordagem escalável e não paramétrica que evita completamente o treinamento de aprendizado profundo. O método segue um paradigma de três etapas aplicado a dados tabulares:

1. Codificação ($T \to E$)

O método converte todas as características em um formato numérico unificado, mantendo um mapeamento um para um entre colunas originais e dimensões latentes (evitando a explosão de dimensionalidade).

• Numéricas e Ordinais: Características numéricas são normalizadas por escore-z; características ordinais são mapeadas para inteiros preservando a ordem de classificação.
• Categóricas (Codificação Guiada por Componente Principal - PGE): Em vez de codificação one-hot, a PGE mapeia cada categoria categórica para um único valor escalar. Isso é alcançado por:
  1. Computar o primeiro componente principal (PC1) das características numéricas.
  2. Projetar todos os dados nesta direção PC1.
  3. Atribuir a cada categoria um valor igual à média do escore PC1 das linhas contendo aquela categoria.
     Isso preserva a dependência entre características categóricas e numéricas sem aumentar a dimensionalidade.

2. Transformação por Cópula ($E \to Z$)

Os dados codificados são mapeados para um espaço latente contínuo $Z \subset [0, 1]^d$ usando uma transformação de Cópula.

• Para cada característica $j$, uma Função de Distribuição Acumulada (CDF) empírica $F_j$ é construída.
• O valor de cada ponto de dados é transformado para $Z_{i,j} = F_j(E_{i,j})$, resultando em uma distribuição uniforme sobre $[0, 1]$ para cada marginal.
• Esta etapa desacopla distribuições marginais da estrutura de dependência e normaliza os dados em um hipercubo unitário.
• A covariância amostral $\Sigma$ de $Z$ é computada para capturar correlações de características.

3. Modelagem Generativa via KDE

Amostras sintéticas são geradas usando Estimativa de Densidade de Kernel (KDE) no espaço latente, guiadas por duas distribuições aprendidas chave:

• Distância ao Registro Mais Próximo (DCR): O método aprende a distribuição de distâncias entre pontos de dados e seus vizinhos mais próximos no conjunto de treinamento. Esta distribuição, modelada como uma mistura de Gaussianas, determina o "raio" de perturbação para novas amostras, garantindo que elas reflitam o espaçamento natural dos dados sem memorizar pontos específicos.
• Processo de Amostragem:
  1. Selecionar um ponto semente aleatório $z_i$ dos dados de treinamento em $Z$.
  2. Amosstrar um raio $r$ da distribuição DCR aprendida.
  3. Amosstrar um vetor de direção $u$ proporcional à covariância $\Sigma$.
  4. Gerar um ponto candidato $z' = z_i + r \cdot u$.
  5. Correção de Fronteira: Se $z'$ cair fora do hipercubo unitário $[0, 1]^d$, uma heurística iterativa de rejeição-amostragem ajusta as coordenadas fora dos limites para garantir validade.
• Decodificação: O ponto latente válido é invertido através da transformação de Cópula e do mapa de codificação para retornar ao formato tabular original.

Coresets para Eficiência

Os autores introduzem CORETABKDE e RANDCORETABKDE, que substituem o conjunto de dados completo por um pequeno subconjunto ponderado (coreset) de pontos para aproximar o KDE. Isso reduz significativamente os requisitos de armazenamento e o tamanho do modelo, mantendo a precisão.

Contribuições Principais

1. Escalabilidade: O TabKDE lida com conjuntos de dados com características categóricas de alta cardinalidade (por exemplo, 37 mil categorias) em laptops de consumidor padrão, enquanto métodos de difusão de última geração (como TABSYN) falham devido a restrições de memória decorrentes da codificação one-hot.
2. Eficiência: O método requer quase nenhum tempo de treinamento (segundos a minutos) comparado às horas necessárias para treinar modelos baseados em difusão ou VAE. Isso é alcançado usando ferramentas estatísticas clássicas (Cópulas, KDE) em vez de otimização iterativa de redes neurais.
3. Privacidade: Ao calibrar o raio de perturbação usando a distribuição DCR e evitando a replicação direta de pontos de treinamento, o TabKDE mitiga o vazamento de dados. Ele performa significativamente melhor que o SMOTE na prevenção da geração de quase-duplicatas de dados de treinamento.
4. Interpretabilidade: A codificação de uma dimensão por característica garante que cada coluna original corresponda a uma coordenada específica ao longo de todo o processo, aprimorando a interpretabilidade do modelo.
5. Integração de Coresets: O artigo apresenta a primeira aplicação de coresets especificamente para modelagem generativa de dados tabulares, permitindo armazenamento compacto do modelo.

Resultados Experimentais

Os autores avaliaram o TabKDE em seis conjuntos de dados UCI e um grande conjunto de dados de fraude com cartão de crédito IBM, comparando-o com baselines incluindo SMOTE, GReaT, CoDi, TabDDPM, TABSYN e TABDIFF.

• Precisão:
  • Alinhamento Marginal: O TabKDE alcança um erro de alinhamento marginal (média entre conjuntos de dados) de 1,70, quase igualando o estado da arte TABSYN (1,42) e superando significativamente o SMOTE (2,49) e o TabDDPM (14,52).
  • Correlação Pares: O TabKDE mostra forte alinhamento de correlação (erro médio 4,67), comparável ao SMOTE e significativamente melhor que a maioria dos modelos de difusão, embora ligeiramente superior ao TABSYN (2,21).
  • Distribuição Global (C2ST): O TabKDE alcança uma pontuação no Teste de Duas Amostras com Classificador (C2ST) de 0,938, indicando que classificadores têm dificuldade em distinguir dados sintéticos de dados reais, um resultado comparável ao SMOTE (0,933) e ligeiramente inferior ao TABSYN (0,970).
• Eficiência:
  • Em uma CPU de laptop padrão, o TabKDE treina em ~43 segundos e amostra em ~3 segundos em média. Em contraste, o TABSYN requer ~8,5 horas de treinamento.
  • No conjunto de dados IBM, o TabKDE completa em menos de 20 minutos (incluindo treinamento e amostragem), enquanto TABSYN e SMOTE esgotam a memória (OOM).
• Privacidade:
  • O TabKDE alcança uma pontuação de Distância ao Registro Mais Próximo (DCR) de 58,6% (mais próxima do ideal de 50% do que os 95,7% do SMOTE), indicando que pontos sintéticos não estão sistematicamente mais próximos dos dados de treinamento do que dos dados retidos.
  • A variante CORETABKDE melhora ainda mais a privacidade com uma pontuação DCR de 53%, pois não armazena pontos de treinamento exatos.

Significado e Alegações

O artigo alega que o TabKDE oferece um novo paradigma para geração de dados tabulares que prioriza escalabilidade e eficiência sem sacrificar precisão ou privacidade. Ao aproveitar transformações de cópula e estimativas de densidade de kernel, os autores demonstram que arquiteturas complexas de aprendizado profundo não são estritamente necessárias para síntese tabular de alta fidelidade.

Os autores enfatizam que o TabKDE é particularmente significativo para cenários que exigem iteração rápida em dados sensíveis (por exemplo, finanças e saúde), onde o custo computacional de treinar modelos de difusão é proibitivo e o risco de vazamento de dados de métodos como SMOTE é inaceitável. A capacidade de rodar em um laptop simples e lidar com espaços categóricos massivos torna o método acessível e prático para implantação no mundo real. Além disso, a introdução de coresets para modelagem generativa fornece um mecanismo novel para reduzir o armazenamento e a sobrecarga computacional em futuras aplicações.