Resumen Técnico: Generación de Datos de Referencia de Salud Mediante un Transformador de Difusión Tabular

Declaración del Problema

La Generación de Datos Trans-Tabulares (CTDG, por sus siglas en inglés) tiene como objetivo aprender un modelo generativo a partir de múltiples tablas heterogéneas para producir nuevos conjuntos de datos tabulares sintéticos. Aunque los métodos existentes de Generación de Datos Tabulares Sintéticos (STDG) han avanzado significamente, están limitados en gran medida a escenarios de una sola tabla de entrada. Estos métodos tienen dificultades para manejar eficazmente múltiples tablas heterogéneas con diversos conjuntos de características, nombres de columnas y tipos de datos. En consecuencia, no pueden aprender un modelo generativo unificado capaz de capturar características estadísticas compartidas y patrones estructurales a través de un dominio. Esta limitación obstaculiza la creación de conjuntos de datos de referencia diversos y realistas que reflejen la pluralidad de los datos del mundo real, particularmente en el sector salud, donde los datos suelen estar distribuidos en tablas no alineadas. Los repositorios de referencia actuales suelen carecer de diversidad, dependen de la selección arbitraria de conjuntos de datos o utilizan distribuciones hipotéticas que no reflejan las estructuras reales de los datos de salud.

Metodología

Los autores proponen un marco de dos etapas para CTDG que transforma tablas crudas heterogéneas en una representación homogénea, aprende una distribución unificada y reconstruye tablas crudas sintéticas.

Etapa 1: Transformación a Tablas Estadísticas

Para abordar la heterogeneidad, cada tabla cruda real ($X_i$) se convierte en una "tabla estadística" estandarizada. Este proceso abstrae los nombres de columnas y valores específicos, conservando únicamente las propiedades estadísticas necesarias para la generación:

1. Estadísticas Marginales:
   • Características Categóricas: Los elementos únicos se ordenan por frecuencia y se mapean a índices enteros. Se ajusta una distribución Beta-Binomial a estos índices, lo que genera los parámetros $(\alpha, \beta)$ y la cardinalidad de la columna.
   • Características Numéricas: Los valores se discretizan en un número fijo de intervalos ($I_N = 100$). Se aplica el mismo procedimiento de ordenación, mapeo y ajuste Beta-Binomial, resultando en los parámetros $(\alpha, \beta)$ y una cardinalidad igual a $I_N$.
   • Valores Faltantes: Se registra la tasa de valores faltantes para cada columna.
   • Resultado: Cada columna se representa mediante una tupla $(\alpha, \beta, \text{cardinalidad}, \text{tasa de valores faltantes})$.
2. Estructura Correlacional:
   • Para preservar las dependencias sin la intratabilidad computacional de muestrear de distribuciones Beta-Binomial multivariadas, las columnas se transforman a una distribución normal mediante la transformación integral de probabilidad.
   • Se computan las correlaciones por pares sobre estas variables transformadas para formar una matriz de correlación $\Sigma_i$.
   • Descomposición de Eigenvalores: Para manejar el número variable de columnas entre tablas, $\Sigma_i$ se descompone en $U\Lambda U^\top$. Los autores adoptan un entorno sobre-parametrizado con una dimensión fija $K=256$. La matriz $A = U\Lambda^{1/2}$ sirve como una representación compacta donde cada vector de fila $\mathbf{a}_i$ corresponde a los parámetros de correlación de una columna.
   • Representación Unificada: Cada columna en la tabla estadística se representa mediante una tupla de $K+4$ parámetros: $(\alpha, \beta, \text{cardinality}, \text{tasa de valores faltantes}, \mathbf{a})$.
3. Reconstrucción: Las tablas crudas se reconstruyen muestreando de una distribución Gaussiana multivariada utilizando la matriz de correlación recuperada, mapeando las muestras de vuelta a distribuciones Beta-Binomial mediante la transformación integral de probabilidad inversa e introduciendo valores faltantes basándose en las tasas registradas.

Etapa 2: Transformador de Difusión Tabular (TDT)

Un modelo de transformador de difusión se entrena sobre el conjunto de tablas estadísticas homogéneas para aprender su distribución conjunta.

• Arquitectura: El modelo utiliza un codificador Transformer estándar. Cada fila de una tabla estadística es tratada como un embedding (análogo a un token en una oración), y la tabla misma es una secuencia.
• Estandarización: Dado que los parámetros tienen escalas diversas (por ejemplo, $\alpha, \beta$ no acotados frente a valores de correlación acotados), se aplican transformaciones de cuantiles globales a cada una de las $K+4$ columnas a través de todas las tablas para mapearlas a una distribución normal estándar.
• Entrenamiento: El modelo sigue el objetivo del Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM), aprendiendo a reconstruir el ruido añadido a las tablas estadísticas de entrada.
• Estrategia: Se emplea un enfoque de preentrenamiento-ajuste fino (pretraining-finetuning). El modelo primero se preentrena en 4,095 conjuntos de datos generales de OpenML para aprender patrones estadísticos diversos, y luego se ajusta finamente en 144 conjuntos de datos relacionados con la salud (131 de OpenML Health + 13 conjuntos de datos específicos de salud).
• Generación: El modelo entrenado genera tablas estadísticas sintéticas mediante un proceso de eliminación de ruido de $T$ pasos. Estas se reconstruyen posteriormente en tablas crudas sintéticas.

Contribuciones Clave

1. Marco de Trabajo Trans-Tabular: La propuesta de un marco de trabajo CTDG de dos etapas que permite el aprendizaje a partir de múltiples tablas heterogéneas, superando las limitaciones de tabla única de los métodos STDG existentes.
2. Representación de Tabla Estadística: Un método novedoso para convertir tablas crudas heterogéneas en tablas estadísticas homogéneas utilizando el ajuste Beta-Binomial de los márgenes y la descomposición espectral de las matrices de correlación, permitiendo un modelado unificado.
3. Transformador de Difusión Tabular: La adaptación de una arquitectura de transformador de difusión para la generación de datos tabulares, diseñada específicamente para manejar secuencias de parámetros estadísticos de longitud variable.
4. Generación de Benchmarks: La generación de 1,000 conjuntos de datos de salud sintéticos (10,000 filas cada uno, 10–256 columnas) destinados a ser utilizados como referencias realistas, abordando la falta de repositorios de referencia diversos, preprocesados y específicos de un dominio.

Resultados

El estudio evalúa el marco de trabajo en 144 conjuntos de datos relacionados con la salud utilizando la Distancia de Wasserstein Normalizada por Dimensión (dNWD) y la Distancia de Wasserstein más Cercana (CWD).

1. Fidelidad de la Reconstrucción:

   • La reconstrucción de tablas crudas a partir de sus representaciones estadísticas extraídas produjo una dNWD promedio de 0.095 (DE 0.061).
   • Los estudios de ablación confirmaron que el modelado preciso de la correlación es crítico. Eliminar las correlaciones (matriz identidad) aumentó la dNWD a 0.304, mientras que el uso de correlaciones aleatorias la aumentó a 0.636, demostrando que la representación de correlación propuesta es esencial para la fidelidad.

2. Evaluación Sintético-a-Real:

   • Utilizando validación cruzada de 5 pliegues, las tablas sintéticas generadas tras el ajuste fino del dominio de la salud estuvieron significativamente más cerca de los datos reales de Salud (CWD promedio: 0.72) que de otros dominios (Economía: 0.97, Estadística: 0.98, Ingeniería: 1.35, Finanzas: 1.55, Juegos: 1.75).
   • Las pruebas estadísticas (pruebas de rango firmado de Wilcoxon combinadas mediante el método de Fisher) confirmaron que las tablas de Salud sintéticas están significativamente más cerca de las tablas de Salud reales que de cualquier otro dominio ($p < 0.05$ tras la corrección de Holm).
   • La jerarquía de distancia sintético-a-real reflejó la jerarquía intrínseca de la distancia real-a-real, indicando que el modelo preserva las características estructurales específicas del dominio y la proximidad relativa entre dominios.

3. Análisis de Diversidad:

   • La diversidad se midió mediante la "Relación Top-$k$", la proporción de tablas reales únicas cubiertas por los vecinos más cercanos de las tablas sintéticas.
   • Para $k=1$, se cubrió el 77% de las tablas reales; para $k=10$, la cobertura superó el 95%. Esto indica que el modelo evita el colapso de modo y genera tablas ampliamente distribuidas a través del dominio.

Significado y Reivindicaciones

El artículo afirma que el enfoque propuesto logra aprender un modelo generativo unificado a partir de múltiples tablas heterogéneas, produciendo conjuntos de datos sintéticos que exhiben tanto una alta fidelidad a los datos de salud reales como una diversidad significativa. Los autores sostienen que este método proporciona una base para generar conjuntos de datos de referencia realistas que reflejen la pluralidad de los datos del mundo real, abordando los problemas de selección arbitraria de conjuntos de datos y la falta de estandarización en los benchmarks actuales.

Respecto a la privacidad, los autores señalan que, debido a que el modelo generativo se entrena sobre tablas estadísticas agregadas (distribuciones y correlaciones) en lugar de registros individuales, y dado que no existe un mapeo uno a uno entre los registros de entrenamiento y los datos generados, el riesgo de divulgación de membresía o de atributos se mitiga. Los conjuntos de datos generados están destinados a apoyar el benchmarking reproducible, estudios de simulación y la prueba de pipelines de aprendizaje automático sin exponer información de salud protegida. Los autores reconocen limitaciones, como la posible ocultación de valores atípicos extremos y un límite de columnas de 256, pero posicionan este trabajo como un paso significativo hacia la generación de datos sintéticos escalable y específica de un dominio.