Resumo Técnico: Uma Estrutura Unificada para Modelagem Generativa em Dados Tabulares

Declaração do Problema

Os modelos generativos profundos (DGMs) alcançaram sucesso significativo na síntese de dados estruturados, como imagens e texto. No entanto, sua aplicação a dados tabulares enfrenta desafios únicos que impedem a transferência direta de técnicas de outros domínios. Os dados tabulares caracterizam-se por variáveis contínuas e discretas mistas, interações não lineares complexas, desequilíbrios de classes e dependências estatísticas intrincadas.

As abordagens atuais sofrem com três limitações primárias ao longo do ciclo de vida da modelagem:

1. Treinamento: Os DGMs existentes frequentemente falham em preservar correlações de características e distribuições marginais, às vezes não conseguindo aproximar estatísticas básicas como média e variância, particularmente em cenários de dados limitados. Eles dependem frequentemente de objetivos de verossimilhança não guiados ou adversariais que não impõem explicitamente estatísticas-chave.
2. Ajuste de Hiperparâmetros: A Otimização Bayesiana Padrão (SBO) luta com a agregação de múltiplos objetivos. Combinar métricas heterogêneas (por exemplo, precisão de classificação e erro de regressão) com diferentes unidades e escalas via média simples frequentemente leva a seleções de parâmetros subótimas.
3. Avaliação: A avaliação rigorosa permanece fragmentada. Os métodos existentes frequentemente focam em subconjuntos estreitos de métricas, tornando difícil avaliar o desempenho do modelo em diversos conjuntos de dados e obscurecendo se as melhorias são genuínas ou artefatos de testes seletivos.

Há uma falta de uma estrutura unificada que integre treinamento, ajuste de hiperparâmetros e avaliação para abordar esses desafios interconectados.

Metodologia

Os autores propõem uma estrutura unificada composta por três componentes principais:

1. Função de Perda Consciente de Correlação e Distribuição

Para abordar a falha dos DGMs em capturar dependências estatísticas, os autores introduzem uma nova função de perda projetada como um termo de regularização auxiliar. Ela consiste em duas partes:

• Perda Consciente de Correlação ($L_{correlation}$): Este termo minimiza a diferença quadrática entre as matrizes de correlação de amostras dos dados reais e dos dados gerados. Utiliza estatísticas baseadas em variância (covariância diagonal) para garantir escalabilidade, evitando o custo computacional da estimativa completa da matriz de covariância, enquanto captura dependências pares.
• Perda Consciente de Distribuição ($L_{distribution}$): Este termo alinha a distribuição dos dados sintéticos com a dos dados reais, combinando momentos estatísticos (primeiro bruto, segundo central e momentos de ordem superior padronizados até a ordem $H$). Diferentemente de métricas baseadas em distância (por exemplo, Wasserstein), esta abordagem usa correspondência de momentos para eficiência computacional e estabilidade. Trata variáveis contínuas e discretas uniformemente normalizando os momentos.

Essas perdas são integradas aos objetivos primários de três arquiteturas de DGM:

• GANs: Adicionadas à perda do gerador.
• VAEs (especificamente TVAE): Adicionadas à perda de reconstrução e divergência KL.
• Modelos de Difusão (TabDDPM): Adaptados para lidar com características contínuas e discretas separadamente, com termos específicos para correlações de características discretas e distribuições de ruído de características contínuas.

Garantias Teóricas: O artigo fornece análise teórica estabelecendo que os gradientes dessas funções de perda são limitados sob suposições de cauda sub-Gaussiana, garantindo estabilidade durante a otimização estocástica.

2. Otimização Bayesiana de Refinamento Iterativo de Objetivo (IORBO)

Para resolver os desafios de agregar métricas heterogêneas no ajuste de hiperparâmetros, os autores propõem IORBO.

• Mecanismo: Diferentemente da SBO, que calcula um valor de objetivo estático para cada amostra baseado em uma função de agregação fixa, o IORBO usa uma estratégia de agregação baseada em classificação.
• Processo: Em cada iteração $p$, o valor de objetivo para uma amostra $u$ ($u \le p$) é atualizado com base na classificação de seu desempenho contra todas as amostras avaliadas até aquele ponto. O modelo substituto é reajustado com essas classificações revisadas.
• Benefício: Este refinamento iterativo permite que o processo de otimização ajuste dinamicamente a posição relativa das configurações de hiperparâmetros à medida que mais dados são coletados, mitigando vieses causados por métricas com diferentes escalas ou unidades.

3. Estrutura Abrangente de Benchmarking

Os autores estabelecem um pipeline de avaliação rigoroso envolvendo:

• Conjuntos de Dados: 20 conjuntos de dados tabulares do mundo real, variando de pequenos (768 linhas) a grandes (~277k linhas), cobrindo tarefas de regressão, classificação binária e classificação multiclasse.
• Baselines: 10 DGMs tabulares estabelecidos (incluindo CTGAN, TVAE, TabDDPM, CopulaGAN, etc.).
• Métricas de Avaliação:
  • Semelhança Estatística: Divergência KL, Qui-Quadrado de Pearson, teste de Kolmogorov–Smirnov e Probabilidade por Dimensão (DWP) para correspondência de distribuição; Pearson e V de Cramer para correlações.
  • Desempenho de ML (TSTR): Treinar-Sintético-Testar-Real, onde modelos treinados em dados sintéticos são testados em dados reais.
  • Desempenho de ML (Aumento): Modelos treinados em uma mistura de dados reais e sintéticos são comparados com aqueles treinados apenas em dados reais.
• Análise Estatística: Uso de testes de Friedman e testes post-hoc de Nemenyi para determinar significância estatística entre modelos e conjuntos de dados.

Principais Contribuições

1. Função de Perda Novel: Uma função de perda consciente de correlação e distribuição que atua como regularizador para DGMs, melhorando significativamente a fidelidade dos dados tabulares sintéticos e o desempenho downstream de ML.
2. Algoritmo IORBO: Uma nova estratégia de otimização multi-objetivo que usa refinamento iterativo baseado em classificação para lidar com métricas de avaliação heterogêneas de forma mais robusta do que a otimização bayesiana padrão.
3. Estrutura Unificada de Benchmarking: Uma estrutura de código aberto avaliando 10 DGMs em 20 conjuntos de dados usando uma suíte abrangente de métricas estatísticas e de desempenho de ML, fornecendo um protocolo padronizado para pesquisas futuras.

Resultados

A estrutura foi validada através de experimentos extensivos:

• Desempenho da Função de Perda: A função de perda proposta superou significativamente as funções de perda padrão em tarefas TSTR (Taxa de Vitória: 0,611) e Aumento (Taxa de Vitória: 0,551). Embora as métricas de semelhança estatística tenham mostrado resultados mistos (frequentemente estatisticamente indistinguíveis das padrão), a utilidade downstream de ML foi consistentemente melhorada.
  • Modelos como CTGAN, CopulaGAN e DP-CGANS mostraram ganhos altamente significativos.
  • CTAB-GAN foi uma exceção, mostrando uma diminuição estatisticamente significativa no desempenho com a perda proposta, sugerindo a necessidade de ajuste especializado para essa arquitetura.
• Desempenho de Otimização: IORBO superou consistentemente a SBO (usando agregação por média ou mediana) na seleção de hiperparâmetros, com taxas de vitória de 0,591 e 0,561, respectivamente. Demonstrou robustez superior no manuseio de métricas com diferentes unidades.
• Estudos de Ablação:
  • A perda de correlação foi identificada como o componente individual mais impactante.
  • A perda de distribuição proporcionou ganhos modestos sozinha, mas ofereceu benefícios complementares cruciais quando combinada com a perda de correlação, aumentando a robustez.
  • A combinação de IORBO e a função de perda completa (IOR-CD) alcançou o melhor desempenho geral, equilibrando altas taxas de vitória com generalização consistente.
• Custo Computacional: O IORBO incorreu em sobrecarga computacional adicional negligenciável em comparação com a SBO, com tempos por iteração permanecendo quase idênticos.

Significado e Alegações

O artigo alega avançar a modelagem generativa tabular ao ir além de melhorias de métodos isolados para um pipeline unificado. Ao acoplar estreitamente treinamento, ajuste e avaliação, a estrutura aborda a "cascata" de problemas onde falhas em uma etapa (por exemplo, captura pobre de correlação) minam a utilidade downstream.

Os autores enfatizam que sua abordagem:

• Aumenta a Fidelidade: A função de perda proposta garante que os dados sintéticos representem fielmente distribuições e correlações subjacentes, levando a melhor desempenho downstream de ML.
• Melhora a Otimização: O IORBO fornece uma maneira principial de navegar nas compensações complexas inerentes à avaliação de múltiplas métricas.
• Padroniza a Avaliação: A estrutura de benchmarking oferece uma ferramenta reprodutível e agnóstica ao domínio para avaliar modelos generativos, ajudando a distinguir avanços genuínos de artefatos de testes seletivos.

O trabalho é apresentado como um passo em direção a uma geração de dados sintéticos mais confiável e eficaz para dados tabulares, com o código disponibilizado para facilitar pesquisas futuras. Os autores notam limitações relacionadas à escala do conjunto de dados (até ~277k linhas) devido a restrições computacionais, mas argumentam que os métodos escalam linearmente com características e tamanho de lote, sugerindo robustez para escalas maiores em trabalhos futuros.