Cascaded Flow Matching for Heterogeneous Tabular Data with Mixed-Type Features

1. Enunciado del Problema

El artículo aborda el desafío de generar datos sintéticos de alta fidelidad para conjuntos de datos tabulares heterogéneos. Estos conjuntos contienen una mezcla de:

• Características categóricas (estados discretos).
• Características numéricas continuas.
• Características de tipo mixto: Características numéricas que exhiben tanto distribuciones continuas como masas puntuales discretas (por ejemplo, valores inflados por ceros, inflados por unos o valores faltantes).

Principales Desafíos Identificados:

• Incompatibilidad Estructural: Los modelos existentes basados en difusión y flujo a menudo fuerzan un objetivo generativo unificado para todos los tipos de características. Sin embargo, los datos categóricos y continuos dependen de supuestos estructurales diferentes (soporte discreto frente a densidad continua, masa de probabilidad frente a funciones de densidad).
• Reponderación Implícita: Combinar estos tipos bajo un único objetivo conduce a una reponderación implícita de las características, donde un tipo domina el proceso de aprendizaje, degradando la calidad del otro.
• Complejidad de Tipo Mixto: Los modelos estándar luchan por generar características con resultados discretos (como valores faltantes o ceros inflados) incrustados dentro de una distribución continua. A menudo fallan en capturar la masa de probabilidad específica requerida para estos estados discretos.
• Equilibrio de Pérdidas: Los enfoques anteriores requieren un ajuste manual de los pesos relativos de pérdida entre características categóricas y numéricas para evitar que una domine, lo cual es difícil de escalar y optimizar.

2. Metodología: TabCascade

Los autores proponen TabCascade, un novedoso marco de coincidencia de flujo en cascada que descompone la tarea de generación en etapas de baja resolución y alta resolución.

A. Marco Conceptual: Resolución en Datos Tabulares

En lugar de la resolución visual (píxeles), los autores definen la resolución basándose en la granularidad de las características:

• Baja Resolución ($x_{low}$): Comprende todas las características categóricas ($x_{cat}$) y una representación discretizada, categórica ($z$) de las características numéricas ($x_{num}$).
• Alta Resolución ($x_{high}$): Los detalles finos y continuos de las características numéricas.

B. La Pipeline en Cascada

La distribución conjunta se factoriza como:
$$p_\theta(x_{cat}, x_{num}) = \sum_{z} p_\theta^{high}(x_{num} | z, x_{cat}) \cdot p_\theta^{low}(z, x_{cat})$$

1. Modelo de Baja Resolución ($p_\theta^{low}$):

   • Aprende la distribución conjunta de las características categóricas y los latentes numéricos discretizados ($z$).
   • Codificador: Utiliza un Árbol de Regresión Distribucional (DT) (o un Modelo de Mezcla Gaussiana) para mapear valores numéricos continuos $x_{num}$ a categorías discretas $z$.
   • Manejo de Tipos Mixtos: La discretización $z$ codifica explícitamente estados especiales como "faltante" ($c_{miss}$) o "inflado" ($c_{infl}$). Si $z$ indica un estado faltante, el modelo de alta resolución genera determinísticamente un valor faltante, eliminando la necesidad de aprender esta compleja masa de probabilidad durante la fase de alta resolución.
   • Elección del Modelo: Los autores utilizan CDTD (Difusión Continua para Datos Tabulares de Tipo Mixto) como el generador de baja resolución.

2. Modelo de Alta Resolución ($p_\theta^{high}$):

   • Genera los valores numéricos detallados $x_{num}$ condicionados a la salida de baja resolución ($x_{low} = (x_{cat}, z)$).
   • Enmascaramiento: Si $z$ indica un estado discreto (por ejemplo, faltante), la pérdida para esa característica específica se enmascara, permitiendo que el modelo concentre su capacidad en aprender los detalles continuos de las características no discretas.
   • Coincidencia de Flujo: Utiliza Coincidencia de Flujo para aprender un campo vectorial que transforma una distribución fuente en la distribución objetivo.

C. Innovaciones Técnicas Novedosas

Para mejorar la generación de alta resolución, TabCascade introduce dos mecanismos clave:

1. Acoplamiento Dependiente de los Datos:

   • En lugar de muestrear el ruido fuente $x_0$ de una Gaussiana estándar $N(0, I)$, la fuente se condiciona en $z$.
   • $x_0 = \mu(z) + \sigma(z)\epsilon$, donde $\mu(z)$ y $\sigma(z)$ son la media y la varianza del componente gaussiano específico en el codificador DT que generó $z$.
   • Beneficio: Esto acerca la distribución fuente a la distribución objetivo en el espacio latente, reduciendo significativamente el costo de transporte (la distancia que el flujo debe recorrer). Los autores demuestran formalmente que esto estrecha el límite del costo de transporte en comparación con el acoplamiento independiente.

2. Camino de Probabilidad Condicional Guiado:

   • Introduce programaciones de tiempo aprendibles y específicas de características $\gamma_t(x_{low})$.
   • El camino de probabilidad se define como:
     $$x_t = \gamma_t(x_{low})x_1 + (1 - \gamma_t(x_{low}))[\mu(z) + \sigma(z)\epsilon]$$
   • Esto permite que el modelo aprenda trayectorias no lineales adaptadas a grupos específicos de características definidos por la información de baja resolución, en lugar de utilizar un camino lineal fijo.

3. Contribuciones Clave

1. Primer Modelo de Difusión en Cascada para Datos Tabulares: Propone el primer marco para aplicar un enfoque en cascada (de baja a alta resolución) a la generación de datos tabulares.
2. Generación de Características de Tipo Mixto: El primer modelo de difusión diseñado explícitamente para manejar características de tipo mixto (continuas + masas puntuales discretas como valores faltantes/inflados) separando la generación de estados discretos del refinamiento continuo.
3. Garantía Teórica: Proporciona una prueba formal de que el acoplamiento dependiente de los datos propuesto estrecha el límite del costo de transporte, justificando teóricamente las ganancias de eficiencia.
4. Equilibrio Libre de Pérdidas: Al separar las tareas, el modelo evita la necesidad de ajustar hiperparámetros de pesos relativos de pérdida entre tipos de características, ya que el modelo de baja resolución maneja la estructura "fácil" categórica/discreta, y el modelo de alta resolución se centra únicamente en los detalles numéricos.

4. Resultados Experimentales

El modelo fue evaluado en 12 conjuntos de datos diversos (incluyendo Adult, Airlines, Diabetes, etc.) frente a líneas base de última generación (CTGAN, TVAE, TabDDPM, TabSyn, TabDiff, CDTD).

• Puntuación de Detección (Métrica Principal): TabCascade logró una mejora del 51.9% en la puntuación de detección en comparación con la mejor línea base (CDTD). Esta métrica mide qué tan bien un clasificador puede distinguir datos reales de sintéticos; una puntuación más alta indica que los datos sintéticos son indistinguibles de los reales.
• Fidelidad Distribucional:
  • Características Numéricas: Mejoras significativas en la Distancia de Wasserstein (WD) y las puntuaciones de Forma para características numéricas, indicando una mejor captura de distribuciones continuas y estructuras de tipo mixto.
  • Características Categóricas: El rendimiento se mantuvo competitivo con CDTD, confirmando que el modelo de baja resolución maneja eficazmente los datos categóricos.
• Dependencias de Características: Mejora en las puntuaciones de Tendencia (mixta), demostrando que el enfoque en cascada captura con éxito las dependencias entre características categóricas y numéricas sin la penalización de "dividir y conquistar" a menudo observada en modelos secuenciales.
• Utilidad en Tareas Posteriores: Logró una puntuación de Eficiencia de Aprendizaje Automático (MLE) un 30% más baja, lo que significa que los modelos entrenados con datos sintéticos de TabCascade se desempeñaron más cerca de los modelos entrenados con datos reales en tareas posteriores.
• Estudios de Ablación: Confirmaron que tanto el acoplamiento dependiente de los datos como los caminos no lineales son críticos para el rendimiento. El codificador Árbol de Regresión Distribucional (DT) superó al codificador Modelo de Mezcla Gaussiana (GMM) debido a una granularidad más fina y menos superposición en los clústeres.

5. Significado e Impacto

• Realismo: TabCascade establece un nuevo estado del arte para la generación de datos tabulares sintéticos realistas, particularmente para conjuntos de datos complejos que contienen valores faltantes, ceros u otras anomalías discretas en columnas numéricas.
• Eficiencia: Al descomponer el problema, el modelo aprende los "detalles" difíciles (distribuciones numéricas) de manera más eficiente, ya que no desperdicia capacidad intentando aprender estructuras categóricas gruesas simultáneamente.
• Generalizabilidad: El marco es modular; el componente de baja resolución puede intercambiarse con otros generadores categóricos (por ejemplo, ARF), y el enfoque se generaliza a estructuras de tipo mixto arbitrarias.
• Compensación de Privacidad: El artículo señala que una mayor fidelidad (mejores puntuaciones de detección) acerca naturalmente las muestras a la distribución de datos original, lo que puede aumentar los riesgos de privacidad (medidos mediante Ataques de Inferencia de Membresía). Sin embargo, los autores enfatizan que el modelo en sí es una herramienta de generación, y las garantías de privacidad requerirían mecanismos adicionales como privacidad diferencial.

En resumen, TabCascade representa un cambio de paradigma en el modelado generativo tabular al tratar la generación de datos como un proceso jerárquico, aprovechando la información estructural de baja resolución para guiar la generación de detalles de alta resolución, resolviendo así el problema de larga data de la generación de características de tipo mixto.