Resumo Técnico: Geração de Dados de Saúde de Referência Usando um Transformador de Difusão Tabular

Definição do Problema

A Geração de Dados Trans-Tabulares (CTDG - Cross-Tabular Data Generation) visa aprender um modelo generativo a partir de múltiplas tabelas heterogêneas para produzir novos conjuntos de dados tabulares sintéticos. Embora os métodos existentes de Geração de Dados Tabulares Sintéticos (STDG) tenham avançado significativamente, eles estão amplamente restritos a cenários de tabela de entrada única. Esses métodos têm dificuldade em lidar de forma eficaz com múltiplas tabelas heterogêneas com conjuntos de características, nomes de colunas e tipos de dados diversos. Consequentemente, não conseguem aprender um modelo generativo unificado capaz de capturar características estatísticas compartilhadas e padrões estruturais através de um domínio. Essa limitação dificulta a criação de conjuntos de dados de referência (benchmarks) diversos e realistas que reflitam a pluralidade dos dados do mundo real, particularmente na área da saúde, onde os dados são frequentemente distribuídos em tabelas não alinhadas. Os repositórios de referência atuais carecem de diversidade, dependem de seleção arbitrária de conjuntos de dados ou utilizam distribuições hipotéticas que não refletem as estruturas reais de dados de saúde.

Metodologia

Os autores propõem uma estrutura de duas etapas para CTDG que transforma tabelas brutas heterogêneas em uma representação homogênea, aprende uma distribuição unificada e reconstrói tabelas brutas sintéticas.

Estágio 1: Transformação para Tabelas Estatísticas

Para abordar a heterogeneidade, cada tabela bruta real ($X_i$) é convertida em uma "tabela estatística" padronizada. Este processo abstrai nomes de colunas e valores específicos, retendo apenas as propriedades estatísticas necessárias para a geração:

1. Estatísticas Marginais:
   • Características Categóricas: Elementos únicos são ordenados por frequência e mapeados para índices inteiros. Uma distribuição Beta-Binomial é ajustada a esses índices, gerando os parâmetros $(\alpha, \beta)$ e a cardinalidade da coluna.
   • Características Numéricas: Valores são discretizados em um número fixo de intervalos ($I_N = 100$). O mesmo procedimento de ordenação, mapeamento e ajuste Beta-Binomial é aplicado, resultando nos parâmetros $(\alpha, \beta)$ e uma cardinalidade igual a $I_N$.
   • Valores Ausentes: A taxa de valores ausentes para cada coluna é registrada.
   • Resultado: Cada coluna é representada por uma tupla $(\alpha, \beta, \text{cardinalidade}, \text{taxa de ausência})$.
2. Estrutura Correlacional:
   • Para preservar as dependências sem a intratabilidade computacional de amostrar de distribuições Beta-Binomial multivariadas, as colunas são transformadas para uma distribuição normal via transformada de integral de probabilidade.
   • Correlações pareadas são computadas nessas variáveis transformadas para formar uma matriz de correlação $\Sigma_i$.
   • Decomposição de Autovalores: Para lidar com contagens de colunas variáveis entre tabelas, $\Sigma_i$ é decomposta em $U\Lambda U^\top$. Os autores adotam um cenário sobre-parametrizado com uma dimensão fixa $K=256$. A matriz $A = U\Lambda^{1/2}$ serve como uma representação compacta onde cada vetor linha $\mathbf{a}_i$ corresponde aos parâmetros de correlação de uma coluna.
   • Representação Unificada: Cada coluna na tabela estatística é representada por uma tupla de $K+4$ parâmetros: $(\alpha, \beta, \text{cardinalidade}, \text{taxa de ausência}, \mathbf{a})$.
3. Reconstrução: As tabelas brutas são reconstruídas amostrando de uma distribuição Gaussiana multivariada usando a matriz de correlação recuperada, mapeando as amostras de volta para distribuições Beta-Binomial via transformada de integral de probabilidade inversa e introduzindo valores ausentes com base nas taxas registradas.

Estágio 2: Transformador de Difusão Tabular (TDT)

Um modelo de transformador de difusão é treinado no conjunto de tabelas estatísticas homogêneas para aprender sua distribuição conjunta.

• Arquitetura: O modelo utiliza um codificador Transformer padrão. Cada linha de uma tabela estatística é tratada como um embedding (análogo a um token em uma frase), e a tabela em si é uma sequência.
• Padronização: Como os parâmetros possuem escalas diversas (ex: $\alpha, \beta$ ilimitados vs. valores de correlação limitados), transformações de quantil global são aplicadas a cada uma das colunas de $K+4$ parâmetros em todas as tabelas para mapeá-las a uma distribuição normal padrão.
• Treinamento: O modelo segue o objetivo de Modelo Probabilístico de Difusão de Denoising (DDPM), aprendendo a reconstruir o ruído adicionado às tabelas estatísticas de entrada.
• Estratégia: Um método de pré-treinamento e ajuste fino (pretraining-finetuning) é empregado. O modelo é primeiro pré-treinado em 4.095 conjuntos de dados gerais do OpenML para aprender padrões estatísticos diversos, e então ajustado finamente em 144 conjuntos de dados relacionados à saúde (131 OpenML Health + 13 conjuntos de dados específicos de saúde).
• Geração: O modelo treinado gera tabelas estatísticas sintéticas através de um processo de denoising de $T$ passos. Estas são então reconstruídas em tabelas brutas sintéticas.

Principais Contribuições

1. Estrutura Cross-Tabular: A proposta de uma estrutura CTDG de dois estágios que permite a aprendizagem a partir de múltiplas tabelas heterogêneas, superando as limitações de tabela única dos métodos de STDG existentes.
2. Representação de Tabela Estatística: Um método inovador para converter tabelas brutas heterogêneas em tabelas estatísticas homogêneas usando ajuste marginal Beta-Binomial e decomposição espectral de matrizes de correlação, permitindo a modelagem unificada.
3. Transformador de Difusão Tabular: A adaptação de uma arquitetia de transformador de difusão para geração de dados tabulares, especificamente projetada para lidar com sequências de comprimentos variáveis de parâmetros estatísticos.
4. Geração de Benchmarks: A geração de 1.000 conjuntos de dados de saúde sintéticos (10.000 linhas cada, 10–256 colunas) destinados a serem usados como benchmarks realistas, abordando a falta de repositórios de benchmark diversos, pré-processados e específicos de domínio.

Resultados

O estudo avalia a estrutura em 144 conjuntos de dados relacionados à saúde usando Distância de Wasserstein Normalizada pela Dimensão (dNWD) e Distância de Wasserstein Mais Próxima (CWD).

1. Fidelidade de Reconstrução:

   • A reconstrução de tabelas brutas a partir de suas representações estatísticas extraídas rendeu uma dNWD média de 0,095 (DP 0,061).
   • Estudos de ablação confirmaram que a modelagem precisa da correlação é crítica. Remover as correlações (matriz identidade) aumentou a dNWD para 0,304, enquanto o uso de correlações aleatórias a aumentou para 0,636, demonstrando que a representação de correlação proposta é essencial para a fidelidade.

2. Avaliação Sintético-para-Real:

   • Usando validação cruzada de 5 dobras, as tabelas sintéticas geradas após o ajuste fino no domínio da saúde foram significativamente mais próximas dos dados reais de Saúde (CWD Médio: 0,72) do que de outros domínios: Economia (0,97), Estatística (0,98), Engenharia (1,35), Finanças (1,55), Jogos (1,75).
   • Testes estatísticos (testes de postos sinalizados de Wilcoxon combinados via método de Fisher) confirmaram que as tabelas de Saúde sintéticas são significativamente mais próximas das tabelas de Saúde reais do que de qualquer outro domínio ($p < 0,05$ após correção de Holm).
   • A hierarquia de distância sintético-para-real espelhou a hierarquia intrínseca real-para-real, indicando que o modelo preserva as características estruturais específicas do domínio e a proximidade relativa entre domínios.

3. Análise de Diversidade:

   • A diversidade foi medida pela "Razão Top-$k$", a proporção de tabelas reais únicas cobertas pelos vizinhos mais próximos das tabelas sintéticas.
   • Para $k=1$, 77% das tabelas reais foram cobertas; para $k=10$, a cobertura excedeu 95%. Isso indica que o modelo evita o colapso de modo (mode collapse) e gera tabelas amplamente distribuídas pelo domínio.

Significância e Alegações

O artigo afirma que a abordagem proposta consegue aprender com sucesso um modelo generativo unificado a partir de múltiplas tabelas heterogêneas, produzindo conjuntos de dados sintéticos que exibem tanto alta fidelidade aos dados de saúde reais quanto diversidade significativa. Os autores sustentam que este método fornece uma base para gerar conjuntos de dados de referência realistas que reflitam a pluralidade dos dados do mundo real, abordando questões de seleção arbitrária de conjuntos de dados e falta de padronização nos benchmarks atuais.

Em relação à privacidade, os autores observam que, como o modelo generativo é treinado em tabelas estatísticas agregadas (distribuições e correlações) e não em registros individuais, e porque não há um mapeamento um-para-um entre os registros de treinamento e os dados gerados, o risco de divulgação de membro ou de atributos é mitigado. Os conjuntos de dados gerados pretendem apoiar benchmarking reprodutível, estudos de simulação e testes de pipelines de aprendizado de máquina sem expor informações de saúde protegidas. Os autores reconhecem limitações, como o potencial de mascaramento de outliers extremos e um limite de 256 colunas, mas posicionam o trabalho como um passo significativo em direção à geração de dados sintéticos escalável e específica de domínio.