Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

Resumen Técnico: Evaluación de las Relaciones Lógicas Intercolumna en la Generación de Datos Tabulares Sintéticos

Enunciado del Problema
Las evaluaciones actuales de datos tabulares sintéticos se centran predominantemente en el modelado de distribuciones conjuntas y en la evaluación de estadísticas de bajo orden (por ejemplo, estimación de densidad, puntuaciones de correlación) o de alto orden (por ejemplo, Precisión-$\alpha$, Recuperación-$\beta$). Sin embargo, estas métricas a menudo pasan por alto la preservación de secuencias de eventos realistas y relaciones coherentes entre entidades a través de las columnas. Los datos tabulares son inherentemente heterogéneos, presentando diversos tipos de variables y dependencias interconectadas complejas (Wang et al., 2024). Los modelos generativos existentes, incluidas las GAN (por ejemplo, CTGAN), los modelos de difusión (por ejemplo, TabDDPM, TabSyn) y los modelos autoregresivos (por ejemplo, GReaT), luchan por capturar explícitamente dependencias condicionales específicas como $P(x_1 | x_2)$. Por ejemplo, los modelos de difusión a menudo asumen una adición de ruido isotrópico, lo que no tiene en cuenta las dependencias semánticas no lineales y no ordenadas presentes en los datos tabulares, a diferencia de las correlaciones espaciales en las imágenes. De manera similar, aunque los Modelos de Lenguaje Grandes (LLM) aprovechan el conocimiento preentrenado, es posible que no modelen explícitamente las distribuciones marginales, lo que conduce a un muestreo sesgado. En consecuencia, existe una falta de métricas de evaluación de grano fino y conscientes del contexto para evaluar si los datos sintéticos preservan relaciones lógicas críticas, como estructuras jerárquicas (por ejemplo, ciudad $\to$ país) o dependencias matemáticas/temporales.

Metodología
Para abordar la brecha en la evaluación de la coherencia lógica, los autores proponen tres nuevas métricas de evaluación diseñadas para cuantificar las relaciones intercolumna:

1. Puntuación de Coherencia Jerárquica (HCS): Esta métrica cuantifica la preservación de relaciones jerárquicas a través de las columnas. Se define como la proporción de filas donde las tuplas de atributos dentro de un grupo específico $G_k$ (por ejemplo, ciudad, estado, país) pertenecen a un conjunto de combinaciones válidas $C_{k,j}$.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   donde $M$ es el número de filas, $N$ es el número de grupos de consistencia y $\mathbb{1}(\cdot)$ es la función indicadora.

2. Índice de Dependencia Multivariante (MDI): Este índice evalúa las dependencias multivariantes, incluidas las relaciones temporales o matemáticas. Mide la proporción de filas donde los atributos satisfacen una función de dependencia booleana específica $F$ en relación con otros atributos en un grupo de dependencia $G_g$.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   donde $D_{g,j}$ representa la condición de que los atributos en el grupo $G_g$ satisfagan la función de dependencia $F$.

3. Índice de Similitud Distribucional (DSI): Para capturar relaciones no lineales donde es difícil definir reglas explícitas, el DSI compara las verosimilitudes logarítmicas de Modelos de Mezcla Gaussiana (GMM) ajustados a filas de datos sintéticos frente a datos reales. Calcula la diferencia relativa en las verosimilitudes logarítmicas para reflejar diferencias distribucionales de grano fino.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

Configuración Experimental y Resultados
El estudio evaluó cinco métodos de generación representativos en el conjunto de datos DataCo, un conjunto de datos industrial real a gran escala que contiene aproximadamente 140.000 muestras con características complejas de alta dimensión y diversas relaciones intercolumna. Los métodos evaluados incluyeron:

• Basados en interpolación: SMOTE
• Basados en representación del espacio latente: CTGAN, TabDDPM, TabSyn
• Basados en LLM: GReaT

Cada método generó 140.000 muestras y las evaluaciones se repitieron diez veces para garantizar la robustez.

Hallazgos Clave:

• Métricas Estadísticas: SMOTE y TabSyn lograron el mejor rendimiento en precisiones estadísticas de bajo orden (por ejemplo, Estimación de Densidad, Puntuación de Correlación, Precisión-$\alpha$). TabSyn destacó en el modelado de distribuciones conjuntas, mientras que SMOTE superó a los demás en el equilibrio de categorías de datos (Recuperación-$\beta$).
• Coherencia Lógica (HCS): SMOTE (98,09%) y GReaT (98,01%) superaron significativamente a los métodos basados en espacio latente (CTGAN: 39,23%, TabDDPM: 16,07%) en la preservación de la coherencia jerárquica.
• Dependencias Multivariantes (MDI): GReaT logró la mayor precisión (97,37%) en la captura de dependencias temporales y matemáticas, seguido por SMOTE (87,03%). Los métodos basados en espacio latente tuvieron dificultades significativas, con TabDDPM obteniendo 59,08% y CTGAN 38,87%.
• Similitud Distribucional (DSI): GReaT (85,55%) y TabSyn (83,62%) obtuvieron los mejores resultados, mientras que CTGAN (11,10%) mostró una alineación distribucional deficiente.
• Análisis Cualitativo: Una inspección detallada de las muestras generadas reveló que CTGAN y TabDDPM produjeron frecuentemente errores lógicos (por ejemplo, jerarquías geográficas incorrectas, secuencias temporales violadas y fórmulas matemáticas rotas). En contraste, GReaT y SMOTE mantuvieron una coherencia lógica casi perfecta, aunque GReaT ocasionalmente generó valores de atributos no vistos (por ejemplo, nombres de ciudades incorrectos), lo que indica problemas potenciales con la controlabilidad.

Significado y Contribuciones
La contribución principal de este trabajo es la introducción de HCS, MDI y DSI como métricas especializadas para evaluar la preservación de relaciones lógicas en datos tabulares sintéticos, yendo más allá de la fidelidad distribucional estándar. Los resultados experimentales demuestran que los métodos existentes más avanzados, particularmente aquellos basados en representaciones de espacio latente, a menudo no logran mantener rigurosamente la coherencia jerárquica y las dependencias multivariantes, que son cruciales para el realismo de grano fino de los datos del mundo real.

El artículo concluye que, aunque los métodos actuales pueden modelar distribuciones generales, carecen de mecanismos explícitos para imponer restricciones lógicas. Las vías futuras sugeridas por los autores incluyen:

• Para métodos basados en LLM: Utilizar grafos de conocimiento o redes bayesianas para reordenar secuencias de tokenización o reestructurar la serialización de columnas para aprovechar el conocimiento previo.
• Para métodos basados en espacio latente: Emplear el razonamiento de LLM para analizar nombres y descripciones de columnas en busca de relaciones semánticas, o agrupar datos por relaciones lógicas antes de incrustarlos en un espacio latente compartido.
• Enfoques híbridos: Incorporar técnicas de interpolación como SMOTE para equilibrar clases de datos, particularmente para aprender relaciones lógicas minoritarias.

Los autores enfatizan que estas direcciones son necesarias para diseñar modelos generativos que capturen eficazmente las relaciones lógicas intercolumna, un paso crítico para avanzar en la generación de datos tabulares sintéticos.