Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

Resumo Técnico: Avaliação de Relações Lógicas Intercolunas na Geração de Dados Tabulares Sintéticos

Declaração do Problema
As avaliações atuais de dados tabulares sintéticos focam predominantemente na modelagem de distribuições conjuntas e na avaliação de estatísticas de baixa ordem (por exemplo, estimativa de densidade, escores de correlação) ou estatísticas de alta ordem (por exemplo, $\alpha$-Precisão, $\beta$-Recall). No entanto, essas métricas frequentemente negligenciam a preservação de sequências de eventos realistas e relações coerentes entre entidades através das colunas. Os dados tabulares são inerentemente heterogêneos, apresentando diversos tipos de variáveis e interdependências complexas (Wang et al., 2024). Modelos generativos existentes, incluindo GANs (por exemplo, CTGAN), modelos de difusão (por exemplo, TabDDPM, TabSyn) e modelos autoregressivos (por exemplo, GReaT), lutam para capturar explicitamente dependências condicionais específicas, como $P(x_1 | x_2)$. Por exemplo, modelos de difusão frequentemente assumem adição de ruído isotrópico, o que falha em levar em conta as dependências semânticas não lineares e não ordenadas encontradas em dados tabulares, ao contrário das correlações espaciais em imagens. Da mesma forma, embora Modelos de Linguagem de Grande Escala (LLMs) aproveitem conhecimento pré-treinado, eles podem não modelar explicitamente distribuições marginais, levando a amostragem enviesada. Consequentemente, há uma falta de métricas de avaliação de contexto sensível e de granularidade fina para avaliar se os dados sintéticos preservam relações lógicas críticas, como estruturas hierárquicas (por exemplo, cidade $\to$ país) ou dependências matemáticas/temporais.

Metodologia
Para abordar a lacuna na avaliação da consistência lógica, os autores propõem três novas métricas de avaliação projetadas para quantificar relações intercolunas:

1. Escore de Consistência Hierárquica (HCS): Esta métrica quantifica a preservação de relações hierárquicas através das colunas. É definida como a razão de linhas onde tuplas de atributos dentro de um grupo específico $G_k$ (por exemplo, cidade, estado, país) pertencem a um conjunto de combinações válidas $C_{k,j}$.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   onde $M$ é o número de linhas, $N$ é o número de grupos de consistência e $\mathbb{1}(\cdot)$ é a função indicadora.

2. Índice de Dependência Multivariada (MDI): Este índice avalia dependências multivariadas, incluindo relações temporais ou matemáticas. Ele mede a proporção de linhas onde os atributos satisfazem uma função de dependência Booleana específica $F$ em relação a outros atributos em um grupo de dependência $G_g$.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   onde $D_{g,j}$ representa a condição de que os atributos no grupo $G_g$ satisfazem a função de dependência $F$.

3. Índice de Similaridade Distribucional (DSI): Para capturar relações não lineares onde regras explícitas são difíceis de definir, o DSI compara as log-verossimilhanças de Modelos de Mistura Gaussiana (GMM) ajustados a linhas de dados sintéticos versus reais. Ele calcula a diferença relativa nas log-verossimilhanças para refletir diferenças distribucionais de granularidade fina.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

Configuração Experimental e Resultados
O estudo avaliou cinco métodos de geração representativos no conjunto de dados DataCo, um conjunto de dados industrial real em grande escala contendo aproximadamente 140.000 amostras com características complexas de alta dimensionalidade e diversas relações intercolunas. Os métodos avaliados incluíram:

• Baseados em Interpolação: SMOTE
• Baseados em Representação de Espaço Latente: CTGAN, TabDDPM, TabSyn
• Baseados em LLM: GReaT

Cada método gerou 140.000 amostras, e as avaliações foram repetidas dez vezes para garantir robustez.

Principais Descobertas:

• Métricas Estatísticas: SMOTE e TabSyn alcançaram o melhor desempenho em precisões estatísticas de baixa ordem (por exemplo, Estimativa de Densidade, Escore de Correlação, $\alpha$-Precisão). TabSyn se destacou na modelagem de distribuições conjuntas, enquanto SMOTE superou os outros no equilíbrio de categorias de dados ($\beta$-Recall).
• Consistência Lógica (HCS): SMOTE (98,09%) e GReaT (98,01%) superaram significativamente os métodos baseados em espaço latente (CTGAN: 39,23%, TabDDPM: 16,07%) na preservação da consistência hierárquica.
• Dependências Multivariadas (MDI): GReaT alcançou a maior precisão (97,37%) na captura de dependências temporais e matemáticas, seguido por SMOTE (87,03%). Métodos baseados em espaço latente lutaram significativamente, com TabDDPM pontuando 59,08% e CTGAN 38,87%.
• Similaridade Distribucional (DSI): GReaT (85,55%) e TabSyn (83,62%) tiveram o melhor desempenho, enquanto CTGAN (11,10%) mostrou um alinhamento distribucional pobre.
• Análise Qualitativa: Inspeção detalhada das amostras geradas revelou que CTGAN e TabDDPM frequentemente produziram erros lógicos (por exemplo, hierarquias geográficas incorretas, sequências temporais violadas e fórmulas matemáticas quebradas). Em contraste, GReaT e SMOTE mantiveram consistência lógica quase perfeita, embora GReaT ocasionalmente gerasse valores de atributo nunca vistos (por exemplo, nomes de cidades incorretos), indicando problemas potenciais com controlabilidade.

Significado e Contribuições
A principal contribuição deste trabalho é a introdução de HCS, MDI e DSI como métricas especializadas para avaliar a preservação de relações lógicas em dados tabulares sintéticos, indo além da fidelidade distribucional padrão. Os resultados experimentais demonstram que os métodos existentes de última geração, particularmente aqueles baseados em representações de espaço latente, frequentemente falham em manter rigorosamente a consistência hierárquica e as dependências multivariadas, que são cruciais para o realismo de granularidade fina de dados do mundo real.

O artigo conclui que, embora os métodos atuais possam modelar distribuições gerais, eles carecem de mecanismos explícitos para impor restrições lógicas. Os caminhos futuros sugeridos pelos autores incluem:

• Para métodos baseados em LLM: Utilizar grafos de conhecimento ou redes bayesianas para reordenar sequências de tokenização ou reestruturar a serialização de colunas para aproveitar conhecimento prévio.
• Para métodos baseados em espaço latente: Empregar raciocínio de LLM para analisar nomes e descrições de colunas para relações semânticas, ou agrupar dados por relações lógicas antes de incorporá-los em um espaço latente compartilhado.
• Abordagens híbridas: Incorporar técnicas de interpolação como SMOTE para equilibrar classes de dados, particularmente para aprender relações lógicas minoritárias.

Os autores enfatizam que essas direções são necessárias para projetar modelos generativos que capturem efetivamente relações lógicas intercolunas, um passo crítico para avançar a geração de dados tabulares sintéticos.