Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features

1. Declaração do Problema

O artigo aborda o desafio de gerar dados sintéticos de alta fidelidade para conjuntos de dados tabulares heterogêneos. Esses conjuntos contêm uma mistura de:

• Recursos categóricos (estados discretos).
• Recursos numéricos contínuos.
• Recursos de tipo misto: Recursos numéricos que exibem tanto distribuições contínuas quanto massas pontuais discretas (por exemplo, valores inflacionados por zeros, inflacionados por uns ou valores ausentes).

Principais Desafios Identificados:

• Incompatibilidade Estrutural: Modelos de difusão e baseados em fluxo existentes frequentemente forçam um objetivo generativo unificado em todos os tipos de recursos. No entanto, dados categóricos e contínuos dependem de suposições estruturais diferentes (suporte discreto vs. densidade contínua, função de massa de probabilidade vs. função de densidade).
• Reponderação Implícita: Combinar esses tipos sob um único objetivo leva a uma reponderação implícita de recursos, onde um tipo domina o processo de aprendizado, degradando a qualidade do outro.
• Complexidade de Tipo Misto: Modelos padrão lutam para gerar recursos com resultados discretos (como valores ausentes ou zeros inflacionados) embutidos em uma distribuição contínua. Eles frequentemente falham em capturar a massa de probabilidade específica necessária para esses estados discretos.
• Equilíbrio de Perdas: Abordagens anteriores exigem ajuste manual dos pesos relativos de perda entre recursos categóricos e numéricos para evitar que um domine, o que é difícil de escalar e otimizar.

2. Metodologia: TabCascade

Os autores propõem o TabCascade, um novo framework de correspondência de fluxo em cascata que decompõe a tarefa de geração em estágios de baixa e alta resolução.

A. Framework Conceitual: Resolução em Dados Tabulares

Em vez de resolução visual (pixels), os autores definem resolução com base na granularidade dos recursos:

• Baixa Resolução ($x_{low}$): Compreende todos os recursos categóricos ($x_{cat}$) e uma representação discretizada, categórica ($z$) dos recursos numéricos ($x_{num}$).
• Alta Resolução ($x_{high}$): Os detalhes contínuos de alta granularidade dos recursos numéricos.

B. O Pipeline em Cascata

A distribuição conjunta é fatorada como:
$$p_\theta(x_{cat}, x_{num}) = \sum_{z} p_\theta^{high}(x_{num} | z, x_{cat}) \cdot p_\theta^{low}(z, x_{cat})$$

1. Modelo de Baixa Resolução ($p_\theta^{low}$):

   • Aprende a distribuição conjunta de recursos categóricos e os latentes numéricos discretizados ($z$).
   • Codificador: Utiliza uma Árvore de Regressão Distribucional (DT) (ou Modelo de Mistura Gaussiana) para mapear valores numéricos contínuos $x_{num}$ em categorias discretas $z$.
   • Tratamento de Tipos Mistos: A discretização $z$ codifica explicitamente estados especiais como "ausente" ($c_{miss}$) ou "inflacionado" ($c_{infl}$). Se $z$ indicar um estado ausente, o modelo de alta resolução produz deterministicamente um valor ausente, removendo a necessidade de aprender essa massa de probabilidade complexa durante a fase de alta resolução.
   • Escolha do Modelo: Os autores utilizam o CDTD (Continuous Diffusion for Mixed-Type Tabular Data) como gerador de baixa resolução.

2. Modelo de Alta Resolução ($p_\theta^{high}$):

   • Gera os valores numéricos detalhados $x_{num}$ condicionados à saída de baixa resolução ($x_{low} = (x_{cat}, z)$).
   • Mascaramento: Se $z$ indicar um estado discreto (por exemplo, ausente), a perda para aquele recurso específico é mascarada, permitindo que o modelo concentre capacidade no aprendizado dos detalhes contínuos dos recursos não discretos.
   • Correspondência de Fluxo: Utiliza Correspondência de Fluxo para aprender um campo vetorial que transforma uma distribuição fonte em uma distribuição alvo.

C. Inovações Técnicas Novas

Para melhorar a geração de alta resolução, o TabCascade introduz dois mecanismos chave:

1. Acoplamento Dependente de Dados:

   • Em vez de amostrar o ruído fonte $x_0$ de uma Gaussiana padrão $N(0, I)$, a fonte é condicionada a $z$.
   • $x_0 = \mu(z) + \sigma(z)\epsilon$, onde $\mu(z)$ e $\sigma(z)$ são a média e a variância do componente Gaussiano específico no codificador DT que gerou $z$.
   • Benefício: Isso move a distribuição fonte mais próxima da distribuição alvo no espaço latente, reduzindo significativamente o custo de transporte (a distância que o fluxo deve percorrer). Os autores provam formalmente que isso estreita o limite do custo de transporte em comparação com o acoplamento independente.

2. Caminho de Probabilidade Condicional Guiado:

   • Introduz cronogramas de tempo aprendíveis e específicos por recurso $\gamma_t(x_{low})$.
   • O caminho de probabilidade é definido como:
     $$x_t = \gamma_t(x_{low})x_1 + (1 - \gamma_t(x_{low}))[\mu(z) + \sigma(z)\epsilon]$$
   • Isso permite que o modelo aprenda trajetórias não lineares adaptadas a grupos específicos de recursos definidos pela informação de baixa resolução, em vez de usar um caminho linear fixo.

3. Principais Contribuições

1. Primeiro Modelo de Difusão em Cascata para Dados Tabulares: Propõe o primeiro framework para aplicar uma abordagem em cascata (de baixa para alta resolução) à geração de dados tabulares.
2. Geração de Recursos de Tipo Misto: O primeiro modelo de difusão explicitamente projetado para lidar com recursos de tipo misto (contínuo + massas pontuais discretas como valores ausentes/inflacionados) separando a geração de estados discretos do refinamento contínuo.
3. Garantia Teórica: Fornece uma prova formal de que o acoplamento dependente de dados proposto estreita o limite do custo de transporte, justificando teoricamente os ganhos de eficiência.
4. Equilíbrio sem Perdas: Ao separar as tarefas, o modelo evita a necessidade de ajuste de hiperparâmetros dos pesos relativos de perda entre tipos de recursos, pois o modelo de baixa resolução lida com a estrutura "fácil" categórica/discreta, e o modelo de alta resolução foca exclusivamente nos detalhes numéricos.

4. Resultados Experimentais

O modelo foi avaliado em 12 conjuntos de dados diversos (incluindo Adult, Airlines, Diabetes, etc.) contra baselines de última geração (CTGAN, TVAE, TabDDPM, TabSyn, TabDiff, CDTD).

• Pontuação de Detecção (Métrica Principal): O TabCascade alcançou uma melhoria de 51,9% na pontuação de detecção em comparação com a melhor baseline (CDTD). Essa métrica mede o quão bem um classificador pode distinguir dados reais de sintéticos; uma pontuação mais alta indica que os dados sintéticos são indistinguíveis dos reais.
• Fidelidade Distribucional:
  • Recursos Numéricos: Melhorias significativas na Distância de Wasserstein (WD) e nas pontuações de Forma para recursos numéricos, indicando melhor captura de distribuições contínuas e estruturas de tipo misto.
  • Recursos Categóricos: O desempenho permaneceu competitivo com o CDTD, confirmando que o modelo de baixa resolução lida efetivamente com dados categóricos.
• Dependências de Recursos: Melhoria nas pontuações de Tendência (mista), demonstrando que a abordagem em cascata captura com sucesso dependências entre recursos categóricos e numéricos sem a penalidade de "dividir e conquistar" frequentemente observada em modelos sequenciais.
• Utilidade em Tarefas Posteriores: Alcançou uma pontuação de Eficiência de Aprendizado de Máquina (MLE) 30% menor, significando que modelos treinados com dados sintéticos do TabCascade performaram mais próximos de modelos treinados com dados reais em tarefas posteriores.
• Estudos de Ablação: Confirmaram que tanto o acoplamento dependente de dados quanto os caminhos não lineares são críticos para o desempenho. O codificador de Árvore de Regressão Distribucional (DT) superou o codificador de Modelo de Mistura Gaussiana (GMM) devido a uma granularidade mais fina e menos sobreposição em clusters.

5. Significado e Impacto

• Realismo: O TabCascade estabelece um novo estado da arte para a geração de dados tabulares sintéticos realistas, particularmente para conjuntos de dados complexos contendo valores ausentes, zeros ou outras anomalias discretas em colunas numéricas.
• Eficiência: Ao decompor o problema, o modelo aprende os "detalhes" difíceis (distribuições numéricas) de forma mais eficiente, pois não desperdiça capacidade tentando aprender estruturas categóricas grosseiras simultaneamente.
• Generalizabilidade: O framework é modular; o componente de baixa resolução pode ser substituído por outros geradores categóricos (por exemplo, ARF), e a abordagem generaliza para estruturas de tipo misto arbitrárias.
• Compromisso de Privacidade: O artigo observa que maior fidelidade (melhores pontuações de detecção) traz naturalmente amostras mais próximas da distribuição de dados original, o que pode aumentar os riscos de privacidade (medidos via Ataques de Inferência de Associação). No entanto, os autores enfatizam que o modelo em si é uma ferramenta de geração, e garantias de privacidade exigiriam mecanismos adicionais como privacidade diferencial.

Em resumo, o TabCascade representa uma mudança de paradigma na modelagem generativa tabular ao tratar a geração de dados como um processo hierárquico, aproveitando informações estruturais de baixa resolução para guiar a geração de detalhes de alta resolução, resolvendo assim o problema de longa data da geração de recursos de tipo misto.