Resumo Técnico: TDGT – Um Kit de Ferramentas para Geração de Dados Tabulares

Definição do Problema

A proliferação de sistemas impulsionados por IA em domínios regulamentados (saúde, finanças, cibersegurança) intensificou a demanda por dados tabulares sintéticos de alta qualidade para facilitar o compartilhamento de dados preservando a privacidade. Embora os dados sintéticos ofereçam uma alternativa robusta à anonimização tradicional ao gerar amostras inteiramente novas em vez de perturbar as existentes, as ferramentas atuais apresentam barreiras significativas à adoção para pesquisadores de domínio. As soluções existentes frequentemente exigem:

• Experiência em programação e fluência em scripting.
• Configuração manual de hiperparâmetros (ex: seleção do número de componentes de mistura ou dimensões latentes), o que demanda conhecimento profundo em modelagem generativa.
• Pipelines de avaliação díspares, carecendo de uma avaliação integrada e multimétrica de fidelidade estatística e risco de privacidade.

Consequentemente, existe um hiato entre os avanços metodológicos na modelagem generativa e a acessibilidade prática dessas ferramentas para profissionais que precisam de dados sintéticos, mas carecem de expertise especializada em modelagem.

Metodologia

O artigo apresenta o TDGT (Tabular Data Generation Toolkit), uma plataforma baseada na web, de ponta a ponta, que unifica geração, avaliação e visualização de dados. O kit de ferramentas implementa um pipeline modular de quatro estágios:

1. Ingestão de Dados e Detecção de Características: Classificação automatizada de colunas como categóricas, inteiras ou contínuas, com extração de metadados (registros de categorias, precisão, limites).
2. Geração de Dados Sintéticos: O TDGT suporta nove geradores, incluindo três baselines paramétricos (MVND, LogMVND, BGMM) e seis métodos avançados. As principais inovações metodológicas são:
   • Sintetizador de Mistura Bayesiana Adaptativa (ABMS): Um algoritmo inovador que determina autonomamente o número ideal de componentes de mistura Gaussiana ($k^*$) ao iterar através de contagens de clusters candidatas e otimizar um critério de qualidade de cluster (índice Silhouette ou Davies-Bouldin). Ele emprega uma prior de Dirichlet adaptativa para suprimir componentes espúrios, eliminando a configuração manual de hiperparâmetros.
   • VAE-ABMS: Uma arquitetura híbrida onde um Autoencoder Variacional (VAE) aprende uma representação latente compacta dos dados de entrada. O ABMS é então aplicado dentro deste espaço latente para sintetizar vetores, que são decodificados de volta para o espaço de características original. Isso aborda dependências não lineares que modelos de mistura rasos não conseguem capturar.
   • ABMS-CUDA: Uma variante do ABMS acelerada por GPU, utilizando agrupamento k-means baseado em CUDA e ajuste de mistura Gaussiana para conjuntos de dados de larga escala. Inclui um mecanismo de fallback para execução em CPU caso os recursos de GPU sejam insuficientes.
   • Modelos Generativos Profundos: O kit de ferramentas integra implementações customizadas de TabGAN (Wasserstein GAN com penalidade de gradiente), TabVAE (VAE com dimensionamento de lote adaptativo) e TabDiffusion (Modelo Probabilístico de Difusão de Denoising com embeddings temporais sinusoidais).
3. Aplicação de Restrições Pós-Geração: Um procedimento uniforme garante a validade estrutural ao remarpar valores categóricos para registros observados, converter inteiros, arredondar floats para a precisão original e limitar valores contínuos aos limites empíricos.
4. Avaliação Multimétrica: O kit de ferramentas avalia a fidelidade usando sete métricas estatísticas (KS, KL, JS, TVD, distância de Hellinger, distância de Wasserstein e diferença de correlação $\Delta C$) e dois indicadores de privacidade (k-anonimato e risco de divulgação). Os resultados são visualizados via gráficos interativos do Plotly.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Algoritmo ABMS: Uma abordagem baseada em dados para síntese de mistura Bayesiana que calibra automaticamente o número de componentes, removendo a necessidade de especificação manual de hiperparâmetros.
2. Arquitetura VAE-ABMS: Um modelo híbrido que combina o aprendizado de representação VAE com síntese de mistura adaptativa para lidar com distribuições tabulares complexas e não lineares.
3. ABMS-CUDA: Uma implementação escalável e acelerada por GPU do ABMS que reduz significativamente o tempo de treinamento para grandes conjuntos de dados, mantendo a semântica algorítmica.
4. Toolkit TDGT: Uma interface unificada baseada na web que integra esses métodos de geração com um conjunto abrangente de avaliação e visualizações em tempo real, exigindo nenhuma experiência de programação do usuário.

Resultados Experimentais

O kit de ferramentas foi testado em três conjuntos de dados: Wisconsin Breast Cancer (pequeno, alta dimensionalidade, contínuo), Bank Marketing (escala moderada, tipos mistos) e NSL-KDD (larga escala, heterogêneo, desbalanceado).

• Fidelidade: Modelos generativos profundos geralmente superaram as abordagens baseadas em mistura na preservação de correlações estruturais e distribuições marginais, particularmente em conjuntos de dados complexos.
  • TabDiffusion alcançou a melhor fidelidade estrutural (menor $\Delta C$) no Bank Marketing e NSL-KDD.
  • VAE-ABMS demonstrou fidelidade marginal superior (menores KS e JS) nos conjuntos de dados NSL-KDD e Wisconsin de alta dimensionalidade.
  • TabGAN destacou-se na preservação de correlação no conjunto de dados Wisconsin.
  • ABMS/ABMS-CUDA forneceram métricas de distribuição competitivas (JS), mas tiveram dificuldades na preservação de correlação estrutural ($\Delta C$) comparados aos modelos profundos, particularmente em dados de alta dimensionalidade.
• Desempenho e Escalabilidade:
  • ABMS foi o gerador mais rápido (segundos a minutos), tornando-o adequado para exploração rápida.
  • ABMS-CUDA alcançou acelerações de 3 a 4 vezes sobre o ABMS em CPU em conjuntos de dados com $N > 10.000$, embora tenha incorrido em uma leve penalidade de fidelidade no NSL-KDD de 42 características devido à projeção PCA necessária para estabilidade numérica.
  • TabGAN incorreu nos maiores custos de treinamento (até ~20 minutos para o Bank Marketing) devido ao seu loop de treinamento adversarial.
  • TabDiffusion ofereceu um trade-off favorável, alcançando alta fidelidade com tempos de treinamento significativamente menores que o TabGAN em grandes conjuntos de dados.

Significância e Alegações

O artigo posiciona o TDGT como uma ponte entre a pesquisa avançada de modelagem generativa e a aplicação prática em domínios regulamentados. Sua significância reside na:

• Acessibilidade: Ao automatizar a seleção de hiperparâmetros (via ABMS) e fornecer uma interface web sem código, o TDGT reduz a barreira de entrada para pesquisadores de domínio (ex: clínicos, analistas financeiros) que carecem de expertise em deep learning.
• Avaliação Integrada: Aborda a lacuna de reprodutibilidade ao oferecer um framework de avaliação unificado e multimétrico que avalia tanto a fidelidade estatística quanto o risco de privacidade, eliminando a necessidade de pipelines de avaliação díspares.
• Escalabilidade: A inclusão de variantes aceleradas por GPU (ABMS-CUDA) e modelos profundos eficientes (TabDiffusion) garante que o kit de ferramentas seja viável para conjuntos de dados que variam de pequenos coortes clínicos a grandes logs de tráfego de rede.
• Utilidade Regulatória: O kit de ferramentas é projetado para apoiar a colaboração preservando a privacidade em setores onde o acesso aos dados é estritamente restrito, permitindo a criação de conjuntos de dados substitutos que retêm propriedades estatísticas sem expor registros identificáveis.

Os autores concluem que, embora os modelos generativos profundos ofereçam fidelidade superior para dados complexos, as abordagens de mistura adaptativa (ABMS/VAE-ABMS) fornecem um equilíbrio crítico de velocidade, interpretabilidade e desempenho, tornando-os componentes essenciais de um kit de ferramentas de dados sintéticos abrangente.