Resumo Técnico: Difusão Tabular com Consciência Geométrica (GATD)

Definição do Problema

Dados tabulares permanecem como o formato dominante em aplicações empresariais, de saúde e científicas, embora a síntese de dados tabulares realistas para compartilhamento preservando a privacidade e aumento de dados apresente desafios únicos. Diferente de imagens ou texto, os dados tabulares exibem tipos de colunas heterogêneos, dependências complexas entre colunas e distribuições marginais altamente não gaussianas. Embora os modelos de difusão tenham emergido como uma solução promissora (ex: TabDDPM, TabSyn, TabDiff), eles tipicamente dependem de mecanismos implícitos — como a autoatenção em arquiteturas transformer — para inferir relacionamentos entre colunas. Este artigo postula que deixar a estrutura relacional para ser inferida unicamente pelo objetivo de denoising é subótimo e questiona se uma estrutura relacional explícita pode ser fornecida como um sinal de supervisão auxiliar que se transfere através de diferentes arquiteturas de denoising.

Metodologia

Os autores introduzem o Geometry-Aware Tabular Diffusion (GATD), um framework que aumenta os denoisers de difusão tabular com características geométricas de pares explícitas computadas diretamente dos valores das colunas.

Representação de Características Geométricas

A inovação central envolve o mapeamento de todas as colunas (contínuas e categóricas) para um espaço normalizado unificado $v \in [-1, 1]$. A partir deste espaço, o modelo computa duas características de par para cada par de colunas $(i, j)$:

1. Ângulo de Par ($\theta_{ij}$): $\theta_{ij} = \arctan(v_j - v_i)$. Isso captura a relação direcional entre colunas, limitada dentro de $(-\pi/2, \pi/2)$.
2. Comprimento de Par ($\ell_{ij}$): $\ell_{ij} = \frac{1}{2} \log(1 + (v_j - v_i)^2)$. Isso captura a magnitude da diferença, com compressão logarítmica para grandes diferenças.

Arquitetura e Treinamento

O GATD é implementado como um módulo "drop-in" em três backbones de difusão distintos:

• MLP Residual: A instância primária, estendendo um MLP residual com entradas geométricas e cabeças auxiliares.
• GNN: Utiliza passagem de mensagens condicionada por arestas em um grafo de colunas completo, com características geométricas como atributos de aresta.
• Transformer: Utiliza um codificador transformer por coluna, com características geométricas projetadas e concatenadas à representação.

Entrada e Aumento:
O modelo recebe entradas concatenadas incluindo embeddings de tempo, dados com ruído e as características geométricas computadas ($\theta_{input}, \ell_{input}$). Crucialmente, a arquitetura inclui cabeças de predição auxiliares para ângulos e comprimentos.

• Treinamento: O modelo é treinado com uma função de perda composta:
  $$L = L_{cont} + L_{cat} + \lambda_\theta L_{angle} + \lambda_\ell L_{length} + \lambda_c L_{consistency}$$
  As perdas geométricas ($L_{angle}, L_{length}$) fornecem supervisão direta. Uma perda de consistência ($L_{consistency}$) garante que a geometria prevista corresponda ao output de denoising. Os autores observam que os termos geométricos representam aproximadamente 95% da perda total na convergência, uma inversão deliberada das hierarquias típicas de perda para forçar a rede a internalizar a estrutura entre colunas.
• Inferência: Durante a amostragem, as características geométricas são computadas a partir do estado atual e alimentadas como entradas. O ângulo previsto ($\hat{\theta}$) é concatenado com o estado oculto para formar uma representação aumentada ($h_{aug}$) que alimenta as cabeças de denoising. A cabeça de comprimento é desconectada durante a geração, servindo apenas como um regularizador de treinamento.

Principais Contribuições

1. Supervisão Geométrica Explícita: A introdução de características de ângulo e comprimento de par tanto como entradas quanto como alvos de predição auxiliares para a difusão tabular.
2. Ablação de Supervisão vs. Capacidade: Uma ablação pareada por arquitetura demonstrando que o ganho de desempenho é impulsionado pela supervisão, não meramente pela adição de entradas geométricas ou aumento da capacidade do modelo. Uma configuração "InputsOnly" (características geométricas presentes, mas sem perda geométrica) teve desempenho indistinguível de um baseline sem geometria ($d = -0.08$), enquanto a versão supervisionada mostrou um grande efeito ($d = 0.81$).
3. Portabilidade Cross-Arquitetura: O sinal geométrico atua como um viés indutivo portátil, melhorando o desempenho em backbones MLP, GNN e Transformer sem necessidade de ajuste específico da arquitetura.
4. Instanciação MLP Eficiente: Um MLP compacto do GATD que iguala ou supera o estado da arte TabDiff (baseado em Transformer) enquanto utiliza 3,5× menos parâmetros em média (até 25× menos para tarefas de classificação).
5. Orientação Prática: Descobertas empíricas sobre o ajuste de pesos de perda, passos de amostragem e o tratamento de tipos de dados mistos.

Resultados Experimentais

O método foi avaliado em 10 datasets de referência (5 classificação, 5 regressão) contra baselines incluindo TabDiff, TabDDPM e STaSy.

• Fidelidade: O GATD (instanciação MLP) venceu em 8/10 datasets em Shape (fidelidade da distribuição marginal) e em 7/10 em Trend (preservação de correlação) comparado ao TabDiff. Em todos os três backbones (MLP, GNN, Transformer), +GEOM venceu em 27/30 células de Shape e 25/30 de Trend.
• Utilidade Downstream: O método reduziu o erro de Shape em 27% e o erro de Trend em 20% em média comparado ao TabDiff. Ele fechou 58,2% da lacuna para o desempenho de dados reais para AUROC/R2 e 42,0% para F1/RMSE.
• Eficiência: Apesar de usar 2,5× mais épocas de treinamento (20.000 vs. 8.000) e 20× mais passos de amostragem (1000 vs. 50), o menor backbone MLP resultou em um tempo de treinamento end-to-end 1,7× mais rápido em média comparado ao TabDiff.
• Escalabilidade: Em um dataset de tabela larga (APS Failure, $d=171$), o GATD manteve desempenho competitivo, embora o uso de memória tenha escalado quadraticamente ($O(d^2)$), consistente com mecanismos de autoatenção.

Significância e Alegações

O artigo afirma que a supervisão relacional explícita é um viés indutivo portátil para a difusão tabular. Os autores argumentam que, embora os mecanismos de atenção possam aprender implicitamente os relacionamentos entre colunas, fornecer alvos geométricos explícitos reduz a carga sobre o denoiser e acelera o aprendizado.

As principais conclusões enfatizadas pelos autores incluem:

• Supervisão é Essencial: O ganho vem da tarefa de predição auxiliar que força a rede a internalizar a estrutura, não apenas das entradas geométricas em si.
• Complementaridade: A supervisão geométrica e a atenção são complementares, não mutuamente exclusivas; o sinal melhora os denoisers baseados em transformer tanto quanto melhora os MLPs.
• Modéstia sobre Privacidade: O artigo afirma explicitamente que a geração de dados sintéticos não fornece garantias formais de privacidade. Eles alertam contra o "privacy-washing" e incentivam o pareamento da geração sintética com frameworks formais como diferencial de privacidade (DPSGD).
• Limitações: O método incorre em um escalonamento computacional de $O(d^2)$ devido às características de par, o que se torna um gargalo de memória para tabelas muito largas, embora permaneça viável para os regimes avaliados. Os pesos de perda são heurísticos e podem exigir ajuste por dataset para resultados ótimos em regimes específicos (ex: datasets com predominância de dados contínuos).