🤖 machine learning

TDGT: A Tabular Data Generation Toolkit supporting adaptive GPU-accelerated Bayesian mixture models, diffusion-based models, and latent-space generative modeling

Este artículo presenta TDGT, un conjunto de herramientas basado en la web para la generación de datos tabulares sintéticos que cuenta con un modelo de mezcla bayesiana adaptativo y acelerado por GPU (ABMS) y una arquitectura híbrida VAE-ABMS para automatizar el ajuste de hiperparámetros y garantizar una síntesis de datos de alta fidelidad y preservación de la privacidad en diversos dominios.

Autores originales: Vasileios C. Pezoulas, Nikolaos S. Tachos, Eleni Georga, Kostas Marias, Manolis Tsiknakis, Dimitrios I. Fotiadis

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vasileios C. Pezoulas, Nikolaos S. Tachos, Eleni Georga, Kostas Marias, Manolis Tsiknakis, Dimitrios I. Fotiadis

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un médico, un gerente bancario o un experto en ciberseguridad. Tienes un tesoro de datos—registros de pacientes, registros de transacciones o tráfico de red—pero no puedes compartirlos con el mundo porque contienen secretos privados. Necesitas compartir los patrones y las lecciones de los datos sin revelar a las personas que hay detrás de ellos.

Aquí es donde entra en juego TDGT. Piensa en TDGT como una "Fotocopiadora Digital de Datos" que no solo copia las páginas; sino que escribe un libro completamente nuevo que se ve, se siente y actúa exactamente como el original, pero cada una de sus frases es inventada.

Así es como el documento explica esta caja de herramientas, desglosado en conceptos simples:

1. El Problema: El cuello de botella "Manual"

Hasta ahora, crear este tipo de datos falsos era como intentar hornear un pastel perfecto sin una receta. Necesitabas ser un maestro chef (un científico de la computación) para ajustar los ingredientes (hiperparámetros) manualmente. Si te equivocabas en la temperatura, el pastel (los datos) se arruinaba. Además, no había un catador integrado que te dijera si el pastel falso realmente sabía como el original.

TDGT cambia esto. Es una caja de herramientas basada en la web (como un sitio web en el que puedes hacer clic) que hace el horneado por ti. Solo tienes que subir tus datos, elegir un "estilo de horneado" y te entregará un conjunto de datos falsos perfectos con una boleta de calificaciones que indica qué tan bueno es. No requiere programación.

2. La Receta Secreta: Tres formas de hornear

El documento introduce un "menú" de diferentes métodos para crear estos datos falsos, que van desde lo simple hasta lo complejo.

El Hornero de "Clúster Inteligente" (ABMS):
Imagina que tienes una bolsa de gomitas de colores mezcladas. Un hornero simple podría decir simplemente: "Son todas rojas y azules". Pero el Sintetizador de Mezclas Bayesianas Adaptativas (ABMS) es un hornero inteligente. Observa la bolsa y determina automáticamente: "Ah, en realidad hay 5 sabores distintos aquí, no solo 2". Cuenta los clústeres por ti automáticamente, para que no tengas que adivinar. Es rápido y excelente para datos simples.
El Hornero de "Inmersión Profunda" (VAE-ABMS):
Algunos datos son como un rompecabezas complejo donde las piezas están retorcidas y enredadas de formas extrañas. El VAE-ABMS toma los datos, los aplana en un "mundo de sombras" más simple (espacio latente), cuenta los clústeres allí y luego reconstruye los datos falsos. Esto es ideal para datos con relaciones complejas y no lineales.
El Hornero de "Supervelocidad" (ABMS-CUDA):
Si tienes una bolsa de gomitas masiva (millones de filas), el hornero inteligente podría cansarse. ABMS-CUDA es el mismo hornero, pero con una supercomputadora (GPU) conectada a su cerebro. Hace el conteo de 3 a 4 veces más rápido, lo que lo hace perfecto para conjuntos de datos enormes.

3. Los Chefs de "Aprendizaje Profundo" (Deep Learning)

Para los datos más complejos, TDGT también incluye tres chefs avanzados de "Aprendizaje Profundo":

TabGAN: Un chef que juega un juego de "fíngelo hasta que lo logres" contra un crítico, mejorándose constantemente hasta que los datos falsos son indistinguibles de los reales.
TabVAE: Un chef que aprende a comprimir los datos en un resumen y luego expandirlos de nuevo, creando nuevas variaciones.
TabDiffusion: Un chef que comienza con puro ruido (estática) y lo va "eliminando de ruido" (denoising) paso a paso, hasta que emerge una imagen clara de los datos.

4. La Prueba de Sabor: ¿Funcionó?

No puedes confiar ciegamente en el hornero; necesitas probar el pastel. TDGT tiene un Laboratorio de Control de Calidad integrado que ejecuta 11 pruebas diferentes:

Verificaciones de Distribución: ¿Tienen los datos falsos la misma forma que los datos reales? (por ejemplo, si los datos reales tienen algunos valores muy altos, ¿también los tienen los datos falsos?).
Verificaciones de Relación: Si la "Edad" y el "Salario" aumentan juntos en los datos reales, ¿siguen aumentando juntos en los datos falsos?
Verificaciones de Privacidad: ¿Contienen los datos falsos accidentalmente el registro exacto de una persona real? (Comprueba aspectos como la "k-anonimidad" para asegurar que nadie pueda ser reidentificado).

5. Los Resultados: ¿Qué funcionó mejor?

Los autores probaron su caja de herramientas en tres escenarios del mundo real:

Salud: Registros de cáncer de mama (pequeños pero complejos).
Finanzas: Datos de marketing bancario (tamaño medio, tipos mixtos).
Ciberseguridad: Registros de ataques de red (tamaño enorme, muy desordenados).

Los Hallazgos:

Velocidad vs. Calidad: Si necesitas los datos ya mismo (en segundos), el método ABMS (Clúster Inteligente) es el ganador. Es increíblemente rápido y "suficientemente bueno" para muchas tareas.
Alta Fidelidad: Si necesitas que los datos sean perfectamente precisos para investigaciones complejas, los métodos TabDiffusion y VAE-ABMS son los mejores. Capturan las relaciones sutiles y retorcidas de los datos mejor que los otros, aunque tardan más tiempo (minutos en lugar de segundos) en hornearse.
El Impulso de la GPU: Para conjuntos de datos enormes, la versión ABMS-CUDA (Supervelocidad) fue un factor decisivo, reduciendo el tiempo de más de un minuto a solo unos pocos segundos sin perder calidad.

6. La Conclusión

TDGT es un centro de soluciones integral. Toma las complicadas matemáticas de la creación de datos falsos, las oculta tras un sitio web sencillo y entrega un resultado que es estadísticamente sólido y seguro en cuanto a privacidad. Cierra la brecha entre los "expertos que saben programar" y los "profesionales que solo necesitan los datos", permitiendo que cualquiera genere datos sintéticos de alta calidad para investigación y análisis sin necesidad de tener un doctorado en ciencias de la computación.

Resumen Técnico: TDGT – Un Kit de Herramientas para la Generación de Datos Tabulares

Planteamiento del Problema

La proliferación de sistemas impulsados por IA en dominios regulados (salud, finanzas, ciberseguridad) ha intensificado la demanda de datos tabulares sintéticos de alta calidad para facilitar el intercambio de datos preservando la privacidad. Si bien los datos sintéticos ofrecen una alternativa robusta a la anonimización tradicional al generar muestras completamente nuevas en lugar de perturbar las existentes, las herramientas actuales presentan barras significativas para la adopción por parte de investigadores del dominio. Las soluciones existentes suelen requerir:

Experiencia en programación y fluidez en el uso de scripts.
Configuración manual de hiperparámetros (por ejemplo, la selección del número de componentes de la mezcla o las dimensiones latentes), lo que exige un profundo conocimiento de los modelos generativos.
Flujos de evaluación dispares, carentes de una evaluación integrada y multimétrica de la fidelidad estadística y el riesgo de privacidad.

En consecuencia, existe una brecha entre los avances metodológicos en el modelado generativo y la accesibilidad práctica de estas herramientas para profesionales que necesitan datos sintéticos pero carecen de la experiencia especializada en modelado.

Metodología

El artículo presenta TDGT (Tabular Data Generation Toolkit), una plataforma basada en la web y de extremo a extremo que unifica la generación, evaluación y visualización de datos. El kit de herramientas implementa un flujo de trabajo modular de cuatro etapas:

Ingestión de Datos y Detección de Características: Clasificación automatizada de columnas como categóricas, enteras o continuas, con extracción de metadatos (registros de categorías, precisión, límites).
Generación de Datos Sintéticos: TDGT soporta nueve generadores, incluyendo tres líneas base paramétricas (MVND, LogMVND, BGMM) y seis métodos avanzados. Las innovaciones metodológicas centrales son:
- Sintetizador de Mezcla Bayesiana Adaptativa (ABMS): Un algoritmo novedoso que determina autónomamente el número óptimo de componentes de la mezcla Gaussiana ( $k^*$ ) mediante la iteración a través de recuentos de clústeres candidatos y la optimación de un criterio de calidad de clúster (puntuación Silhouette o índice Davies-Bouldin). Emplea una prioridad de Dirichlet adaptativa para suprimir componentes espurios, eliminando la configuración manual de hiperparámetros.
- VAE-ABMS: Una arquitectura híbrida donde un Autoencoder Variacional (VAE) aprende una representación latente compacta de los datos de entrada. Luego, ABMS se aplica dentro de este espacio latente para sintetizar vectores, los cuales se decodifican de vuelta al espacio de características original. Esto aborda las dependencias no lineales que los modelos de mezcla superficiales no pueden capturar.
- ABMS-CUDA: Una variante de ABMS acelerada por GPU que aprovecha el agrupamiento k-means basado en CUDA y el ajuste de mezclas Gaussianas para conjuntos de datos a gran escala. Incluye un mecanismo de retroceso (fallback) a la ejecución por CPU si los recursos de GPU son insuficientes.
- Modelos Generativos Profundos: El kit de herramientas integra implementaciones personalizadas de TabGAN (GAN de Wasserstein con penalización de gradiente), TabVAE (VAE con dimensionamiento de lote adaptativo) y TabDiffusion (Modelo Probabilístico de Difusión de Eliminación de Ruido con incrustaciones temporales sinusoidales).
Cumplimiento de Restricciones Post-Generación: Un procedimiento uniforme asegura la validez estructural mediante el mapeo de valores categóricos a registros observados, la conversión de enteros, el redondeo de flotantes a la precisión original y el recorte de valores continuos a los límites empíricos.
Evaluación Multimétrica: El kit de herramientas evalúa la fidelidad utilizando siete métricas estadísticas (distancia KS, KL, JS, TVD, distancia de Hellinger, distancia de Wasserstein y diferencia de correlación $\Delta C$ ) y dos indicadores de privacidad (k-anonimidad y riesgo de divulgación). Los resultados se visualizan mediante gráficos interactivos de Plotly.

Contribuciones Clave

El artículo realiza cuatro contribuciones primarias:

Algoritmo ABMS: Un enfoque basado en datos para la síntesis de mezclas Bayesianas que calibra automáticamente el número de componentes, eliminando la necesidad de la especificación manual de hiperparámetros.
Arquitectura VAE-ABMS: Un modelo híbrido que combina el aprendizaje de representación VAE con la síntesis de mezcla adaptativa para manejar distribuciones tabulares complejas y no lineales.
ABMS-CUDA: Una implementación escalable y acelerada por GPU de ABMS que reduce significativamente el tiempo de entrenamiento para grandes conjuntos de datos manteniendo la semántica algorítmica.
Kit de Herramientas TDGT: Una interfaz unificada basada en la web que integra estos métodos de generación con una suite de evaluación exhaustiva y visualizaciones en tiempo real, requiriendo ninguna experiencia de programación por parte del usuario.

Resultados Experimentales

El kit de herramientas fue evaluado mediante pruebas de rendimiento en tres conjuntos de datos: Wisconsin Breast Cancer (pequeño, de alta dimensión, continuo), Bank Marketing (escala moderada, tipos mixtos) y NSL-KDD (gran escala, heterogéneo, desbalanceado).

Fidelidad: Los modelos generativos profundos generalmente superaron a los enfoques basados en mezclas en la preservación de correlaciones estructurales y distribuciones marginales, particularmente en conjuntos de datos complejos.
- TabDiffusion logró la mejor fidelidad estructural (menor $\Delta C$ ) en Bank Marketing y NSL-KDD.
- VAE-ABMS demostró una fidelidad marginal superior (menores KS y JS) en los conjuntos de datos de alta dimensión NSL-KDD y Wisconsin.
- TabGAN destacó en la preservación de correlaciones en el conjunto de datos de Wisconsin.
- ABMS/ABMS-CUDA proporcionaron métricas de distribución competitivas (JS) pero tuvieron dificultades con la preservación de la correlación estructural ( $\Delta C$ ) en comparación con los modelos profundos, particularmente en datos de alta dimensión.
Rendimiento y Escalabilidad:
- ABMS fue el generador más rápido (segundos a minutos), lo que lo hace adecuado para la exploración rápida.
- ABMS-CUDA logró aceleraciones de 3 a 4 veces sobre el ABMS por CPU en conjuntos de datos con $N > 10,000$ , aunque incurrió en una ligera penalización de fidelidad en el conjunto de datos de 42 características de NSL-KDD debido a la proyección PCA necesaria para la estabilidad numérica.
- TabGAN incurrió en los costos de entrenamiento más altos (hasta ~20 minutos para Bank Marketing) debido a su bucle de entrenamiento adversarial.
- TabDiffusion ofreció un compromiso favorable, logrando una alta fidelidad con tiempos de entrenamiento significativamente menores que TabGAN en grandes conjuntos de datos.

Significancia y Reivindicaciones

El artículo posiciona a TDGT como un puente entre la investigación avanzada en modelado generativo y la aplicación práctica en dominios regulados. Su significancia radica en:

Accesibilidad: Al automatizar la selección de hiperparámetros (vía ABMS) y proporcionar una interfaz web sin código, TDGT reduce la barrera de entrada para los investigadores del dominio (por ejemplo, clínicos, analistas financieros) que carecen de experiencia profunda en aprendizaje profundo.
Evaluación Integrada: Aborda la brecha de reproducibilidad al ofrecer un marco de evaluación unificado y multimétrico que evalúa tanto la fidelidad estadística como el riesgo de privacidad, eliminando la necesidad de flujos de evaluación dispares.
Escalabilidad: La inclusión de variantes aceleradas por GPU (ABMS-CUDA) y modelos profundos eficientes (TabDiffusion) asegura que el kit de herramientas sea viable para conjuntos de datos que van desde pequeñas cohortes clínicas hasta registros de tráfico de red a gran escala.
Utilidad Regulatoria: El kit de herramientas está diseñado para apoyar la colaboración preservando la privacidad en sectores donde el acceso a los datos está estrictamente restringido, permitiendo la creación de conjuntos de datos sustitutos que retienen las propiedades estadísticas sin exponer registros identificables.

Los autores concluyen que, si bien los modelos generativos profundos ofrecen una fidelidad superior para datos complejos, los enfoques de mezcla adaptativa (ABMS/VAE-ABMS) proporcionan un equilibrio crítico de velocidad, interpretabilidad y rendimiento, lo que los convierte en componentes esenciales de un kit de herramientas de generación de datos sintéticos integral.