Resumen Técnico: TabKDE

Enunciado del Problema

La generación de datos tabulares tiene como objetivo producir filas sintéticas que repliquen la distribución estadística de un conjunto de datos original, incluidos los rasgos numéricos, categóricos y ordinales, sin simplemente copiar registros existentes. Si bien los avances recientes en modelado generativo (por ejemplo, VAE, GAN y modelos de difusión) han mostrado promesa, a menudo sufren limitaciones significativas:

• Escalabilidad: Los métodos que dependen de la codificación one-hot para características categóricas explotan en dimensionalidad, lo que lleva al agotamiento de la memoria en conjuntos de datos con muchas categorías (por ejemplo, el conjunto de datos IBM con ~37K categorías).
• Eficiencia: Entrenar modelos complejos como modelos de difusión o VAE es computacionalmente costoso, a menudo requiriendo horas o días y hardware especializado de GPU.
• Privacidad: Algunos métodos no paramétricos como SMOTE pueden replicar inadvertidamente puntos de datos de entrenamiento demasiado de cerca, planteando riesgos de filtración de datos.
• Interpretabilidad: Las transformaciones en el espacio latente en modelos de aprendizaje profundo a menudo oscurecen la relación entre las características originales y las muestras generadas.

Metodología: TabKDE

Los autores proponen TabKDE, un enfoque no paramétrico y escalable que evita por completo el entrenamiento de aprendizaje profundo. El método sigue un paradigma de tres pasos aplicado a datos tabulares:

1. Codificación ($T \to E$)

El método convierte todas las características en un formato numérico unificado mientras mantiene una correspondencia uno a uno entre las columnas originales y las dimensiones latentes (evitando la explosión de dimensionalidad).

• Numéricas y Ordinales: Las características numéricas se normalizan mediante puntuación z; las características ordinales se mapean a enteros preservando el orden de rango.
• Categóricas (Codificación Guiada por Componente Principal - PGE): En lugar de la codificación one-hot, PGE mapea cada categoría categórica a un único valor escalar. Esto se logra mediante:
  1. Calcular el primer componente principal (PC1) de las características numéricas.
  2. Proyectar todos los datos sobre esta dirección PC1.
  3. Asignar a cada categoría un valor igual al promedio de la puntuación PC1 de las filas que contienen esa categoría.
     Esto preserva la dependencia entre características categóricas y numéricas sin aumentar la dimensionalidad.

2. Transformación de Copula ($E \to Z$)

Los datos codificados se mapean a un espacio latente continuo $Z \subset [0, 1]^d$ utilizando una transformación de Copula.

• Para cada característica $j$, se construye una Función de Distribución Acumulada (CDF) empírica $F_j$.
• El valor de cada punto de datos se transforma a $Z_{i,j} = F_j(E_{i,j})$, resultando en una distribución uniforme sobre $[0, 1]$ para cada marginal.
• Este paso desacopla las distribuciones marginales de la estructura de dependencia y normaliza los datos en un hipercubo unitario.
• Se calcula la covarianza muestral $\Sigma$ de $Z$ para capturar las correlaciones entre características.

3. Modelado Generativo mediante KDE

Se generan muestras sintéticas utilizando Estimación de Densidad de Kernel (KDE) en el espacio latente, guiadas por dos distribuciones clave aprendidas:

• Distancia al Registro Más Cercano (DCR): El método aprende la distribución de distancias entre puntos de datos y sus vecinos más cercanos en el conjunto de entrenamiento. Esta distribución, modelada como una mezcla de Gaussianas, determina el "radio" de perturbación para nuevas muestras, asegurando que reflejen el espaciado natural de los datos sin memorizar puntos específicos.
• Proceso de Muestreo:
  1. Seleccionar un punto semilla aleatorio $z_i$ de los datos de entrenamiento en $Z$.
  2. Muestrear un radio $r$ de la distribución DCR aprendida.
  3. Muestrear un vector de dirección $u$ proporcional a la covarianza $\Sigma$.
  4. Generar un punto candidato $z' = z_i + r \cdot u$.
  5. Corrección de Frontera: Si $z'$ cae fuera del hipercubo unitario $[0, 1]^d$, una heurística iterativa de muestreo de rechazo ajusta las coordenadas fuera de los límites para garantizar la validez.
• Decodificación: El punto latente válido se invierte a través de la transformación de Copula y el mapa de codificación para regresar al formato tabular original.

Coresets para Eficiencia

Los autores introducen CORETABKDE y RANDCORETABKDE, que reemplazan el conjunto de datos completo con un subconjunto pequeño y ponderado (coreset) de puntos para aproximar el KDE. Esto reduce significativamente los requisitos de almacenamiento y el tamaño del modelo manteniendo la precisión.

Contribuciones Clave

1. Escalabilidad: TabKDE maneja conjuntos de datos con características categóricas de alta cardinalidad (por ejemplo, 37K categorías) en laptops de consumo estándar, mientras que los métodos de difusión de última generación (como TABSYN) fallan debido a limitaciones de memoria por la codificación one-hot.
2. Eficiencia: El método requiere casi ningún tiempo de entrenamiento (segundos a minutos) en comparación con las horas necesarias para entrenar modelos basados en difusión o VAE. Logra esto utilizando herramientas estadísticas clásicas (Copulas, KDE) en lugar de optimización iterativa de redes neuronales.
3. Privacidad: Al calibrar el radio de perturbación utilizando la distribución DCR y evitar la replicación directa de puntos de entrenamiento, TabKDE mitiga la filtración de datos. Rinde significativamente mejor que SMOTE en la prevención de la generación de casi-duplicados de datos de entrenamiento.
4. Interpretabilidad: La codificación de una dimensión por característica asegura que cada columna original corresponda a una coordenada específica durante todo el proceso, mejorando la interpretabilidad del modelo.
5. Integración de Coresets: El artículo presenta la primera aplicación de coresets específicamente para modelado generativo de datos tabulares, permitiendo un almacenamiento compacto del modelo.

Resultados Experimentales

Los autores evaluaron TabKDE en seis conjuntos de datos UCI y un gran conjunto de datos de fraude con tarjeta de crédito de IBM, comparándolo con líneas base que incluyen SMOTE, GReaT, CoDi, TabDDPM, TABSYN y TABDIFF.

• Precisión:
  • Alineación Marginal: TabKDE logra un error de alineación marginal (promedio en todos los conjuntos de datos) de 1.70, casi igualando a TABSYN (1.42), el estado del arte, y superando significativamente a SMOTE (2.49) y TabDDPM (14.52).
  • Correlación Pareada: TabKDE muestra una fuerte alineación de correlación (error promedio 4.67), comparable a SMOTE y significativamente mejor que la mayoría de los modelos de difusión, aunque ligeramente superior a TABSYN (2.21).
  • Distribución Global (C2ST): TabKDE logra una puntuación de Prueba de Dos Muestras con Clasificador (C2ST) de 0.938, lo que indica que los clasificadores tienen dificultades para distinguir datos sintéticos de datos reales, un resultado comparable a SMOTE (0.933) y ligeramente inferior a TABSYN (0.970).
• Eficiencia:
  • En una CPU de laptop estándar, TabKDE entrena en ~43 segundos y muestrea en ~3 segundos en promedio. En contraste, TABSYN requiere ~8.5 horas de entrenamiento.
  • En el conjunto de datos IBM, TabKDE se completa en menos de 20 minutos (incluyendo entrenamiento y muestreo), mientras que TABSYN y SMOTE se quedan sin memoria (OOM).
• Privacidad:
  • TabKDE logra una puntuación de Distancia al Registro Más Cercano (DCR) de 58.6% (más cerca del 50% ideal que el 95.7% de SMOTE), lo que indica que los puntos sintéticos no están sistemáticamente más cerca de los datos de entrenamiento que de los datos retenidos.
  • La variante CORETABKDE mejora aún más la privacidad con una puntuación DCR de 53%, ya que no almacena puntos de entrenamiento exactos.

Significado y Reivindicaciones

El artículo afirma que TabKDE ofrece un nuevo paradigma para la generación de datos tabulares que prioriza la escalabilidad y la eficiencia sin sacrificar la precisión o la privacidad. Al aprovechar las transformaciones de copula y las estimaciones de densidad de kernel, los autores demuestran que las arquitecturas complejas de aprendizaje profundo no son estrictamente necesarias para la síntesis tabular de alta fidelidad.

Los autores enfatizan que TabKDE es particularmente significativo para escenarios que requieren iteración rápida sobre datos sensibles (por ejemplo, finanzas y atención médica), donde el costo computacional de entrenar modelos de difusión es prohibitivo y el riesgo de filtración de datos de métodos como SMOTE es inaceptable. La capacidad de ejecutarse en una laptop simple y manejar espacios categóricos masivos hace que el método sea accesible y práctico para su implementación en el mundo real. Además, la introducción de coresets para modelado generativo proporciona un mecanismo novedoso para reducir la sobrecarga de almacenamiento y computación en futuras aplicaciones.