Resumen Técnico: Difusión Tabular con Conciencia Geométrica (GATD)

Planteamiento del Problema

Los datos tabulares siguen siendo el formato dominante en aplicaciones empresariales, sanitarias y científicas; sin embargo, la síntesis de datos tabulares realistas para el intercambio preservando la privacidad y la aumentación presenta desafíos únicos. A diferencia de las imágenes o el texto, los datos tabulares exhiben tipos de columnas heterogéneos, dependencias complejas entre columnas y distribuciones marginales altamente no gaussianas. Si bien los modelos de difusión han emergido como una solución prometedora (por ejemplo, TabDDPM, TabSyn, TabDiff), estos suelen depender de mecanismos implícitos —como la autoatención en arquitecturas de transformadores— para inferir las relaciones entre columnas. Este artículo postula que dejar la estructura relacional a ser inferida únicamente por el objetivo de eliminación de ruido es subóptimo y plantea si se puede proporcionar una estructura relacional explícita como una señal de supervisión auxiliar que se transfiera a través de diferentes arquitecturas de eliminación de ruido.

Metodología

Los autores presentan Difusión Tabular con Conciencia Geométrica (GATD), un marco que aumenta los denominadores de difusión tabular con características geométricas de pares computadas directamente a partir de los valores de las columnas.

Representación de Características Geométricas

La innovación central consiste en mapear todas las columnas (continuas y categóricas) a un espacio normalizado unificado $v \in [-1, 1]$. Desde este espacio, el modelo computa dos características de pares para cada par de columnas $(i, j)$:

1. Ángulo de Par ($\theta_{ij}$): $\theta_{ij} = \arctan(v_j - v_i)$. Esto captura la relación direccional entre columnas, acotada dentro de $(-\pi/2, \pi/2)$.
2. Longitud de Par ($\ell_{ij}$): $\ell_{ij} = \frac{1}{2} \log(1 + (v_j - v_i)^2)$. Esto captura la magnitud de la diferencia, con una compresión logarítmica para diferencias grandes.

Arquitectura y Entrenamiento

GATD se implementa como un módulo de "inserción directa" (drop-in) en tres backbones de difusión distintos:

• MLP Residual: La instanciación primaria, que extiende un MLP residual con entradas geométricas y cabezales auxiliares.
• GNN: Utiliza paso de mensajes condicionado por aristas en un grafo de columnas completo, con características geométricas como atributos de las aristas.
• Transformer: Utiliza un codificador de transformador por columnas, con las características geométricas proyectadas y concatenadas a la representación.

Entrada y Aumentación:
El modelo recibe entradas concatenadas que incluyen embeddings de tiempo, datos con ruido y las características geométricas computadas ($\theta_{input}, \ell_{input}$). Crucialmente, la arquitectura incluye cabezales de predicción auxiliares para ángulos y longitudes.

• Entrenamiento: El modelo se entrena con una función de pérdida compuesta:
  $$L = L_{cont} + L_{cat} + \lambda_\theta L_{angle} + \lambda_\ell L_{length} + \lambda_c L_{consistency}$$
  Las pérdidas geométricas ($L_{angle}, L_{length}$) proporcionan supervisión directa. Una pérdida de consistencia ($L_{consistency}$) asegura que la geometría predicha coincida con la salida de eliminación de ruido. Los autores señalan que los términos geométricos representan aproximadamente el 95% de la pérdida total en la convergencia, una inversión deliberada de las jerarquías típicas de pérdida para forzar a la red a internalizar la estructura entre columnas.
• Inferencia: Durante el muestreo, las características geométricas se computan a partir del estado actual y se suministran como entradas. Los ángulos predichos ($\hat{\theta}$) se concatenan con el estado oculto para formar una representación aumentada ($h_{aug}$) que alimenta los cabezales de eliminación de ruido. El cabezal de longitud se desvincula durante la generación, sirviendo únicamente como regularizador de entrenamiento.

Contribuciones Clave

1. Supervisión Geométrica Explícita: La introducción de características de ángulo y longitud de pares tanto como entradas como objetivos de predicción auxiliares para la difusión tabular.
2. Ablación de Supervisión vs. Capacidad: Una ablación emparejada con la arquitectura que demuestra que la ganancia de rendimiento es impulsada por la supervisión, no simplemente por la adición de entradas geométricas o el aumento de la capacidad del modelo. Una configuración "InputsOnly" (características geométricas presentes pero sin pérdida geométrica) se comportó indistintamente de un baseline sin geometría ($d = -0.08$), mientras que la versión supervisada mostró un efecto grande ($d = 0.81$).
3. Portabilidad entre Arquitecturas: La señal geométrica actúa como un sesgo inductivo portable, mejorando el rendimiento a través de los backbones MLP, GNN y Transformer sin necesidad de ajustes específicos de la arquitectura.
4. Instanciación de MLP Eficiente: Un MLP compacto de GATD que iguala o supera al estado del arte TabDiff (basado en Transformer) utilizando 3.5× menos parámetros en promedio (hasta 25× menos para tareas de clasificación).
5. Guía Práctica: Hallazgos empíricos sobre el ajuste de los pesos de la pérdida, pasos de muestreo y el manejo de tipos de datos mixtos.

Resultados Experimentales

El método fue evaluado en 10 conjuntos de datos de referencia (5 de clasificación, 5 de regresión) contra baselines incluyendo TabDiff, TabDDPM y STaSy.

• Fidelidad: GATD (instanciación MLP) ganó en 8/10 conjuntos de datos en Forma (fidelidad de la distribución marginal) y en 7/10 en Tendencia (preservación de correlación) comparado con TabDiff. En todos los tres backbones (MLP, GNN, Transformer), +GEOM ganó 27/30 celdas de Forma y 25/30 de Tendencia.
• Utilidad Downstream: El método redujo el error de Forma en un 27% y el error de Tendencia en un 20% en promedio comparado con TabDiff. Cerró el 58.2% de la brecha hacia el rendimiento de los datos reales para AUROC/R2 y el 42.0% para F1/RMSE.
• Eficiencia: A pesar de usar 2.5× más épocas de entrenamiento (20,000 vs. 8,000) y 20× más pasos de muestreo (1000 vs. 50), el backbone de MLP más pequeño resultó en un tiempo de entrenamiento de extremo a extremo 1.7× más rápido en promedio comparado con TabDiff.
• Escalabilidad: En un conjunto de datos de tabla ancha (APS Failure, $d=171$), GATD mantuvo un rendimiento competitivo, aunque el uso de memoria escaló cuadráticamente ($O(d^2)$), consistente con los mecanismos de autoatención.

Significado y Reivindicaciones

El artículo afirma que la supervisión relacional explícita es un sesgo inductivo portable para la difusión tabular. Los autores argumentan que, si bien los mecanismos de atención pueden aprender implícitamente las relaciones entre columnas, proporcionar objetivos geométricos explícitos reduce la carga del eliminador de ruido y acelera el aprendizaje.

Los puntos clave enfatizados por los autores incluyen:

• La Supervisión es Esencial: La ganancia proviene de la tarea de predicción auxiliar que obliga a la red a internalizar la estructura, no de las entradas geométricas en sí mismas.
• Complementariedad: La supervisión geométrica y la atención son complementarias, no mutuamente excluyentes; la señal mejora los denominadores basados en transformadores de la misma manera que los MLPs.
• Modestia sobre Privacidad: El artículo establece explícitamente que la generación de datos sintéticos no proporciona garantías formales de privacidad. Advierte contra el "lavado de privacidad" (privacy-washing) y recomienda emparejar la generación sintética con marcos formales como la privacidad diferencial (DPSGD).
• Limitaciones: El método incurre en un escalamiento computacional de $O(d^2)$ debido a las características de pares, lo que se convierte en un cuello de botella de memoria para tablas muy anchas, aunque sigue siendo factible en los regímenes evaluados. Los pesos de la pérdida son heurísticos y pueden requerir un ajuste por conjunto de datos para obtener resultados óptimos en regímenes específicos (por ejemplo, conjuntos de datos con predominancia de datos continuos).