Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

Resumen Técnico: Generación Jerárquica de Datos Tabulares Sintéticos

Enunciado del Problema
Los enfoques actuales para la generación de datos tabulares sintéticos enfrentan limitaciones significativas al aplicarse a escenarios complejos a escala empresarial. Los métodos existentes generalmente se dividen en dos categorías: modelos puramente generativos (por ejemplo, CTGAN, TVAE, TabDDPM) y enfoques basados en Modelos de Lenguaje Grande (LLM) (por ejemplo, GReaT, REaLTabFormer).

• Modelos Generativos: Aunque son efectivos para aproximar distribuciones, a menudo requieren grandes volúmenes de datos de entrenamiento, tienen dificultades con tipos de características heterogéneos y sufren de colapso de modos. En consecuencia, frecuentemente fallan en capturar eventos raros y distribuciones de cola, que son críticos en dominios como la detección de fraudes. En regímenes de bajos datos, estos modelos tienden a sobreajustarse y producir muestras de baja diversidad.
• Métodos Basados en LLM: Estos aprovechan el aprendizaje en contexto y los priores semánticos, pero a menudo fallan en imponer consistencia estructural, restricciones lógicas o dependencias funcionales entre atributos. La generación autoregresiva de tokens puede conducir a muestras inválidas o incoherentes, y la tokenización secuencial de filas debilita el modelado de interacciones numéricas-categóricas heterogéneas.
• El Desafío Central: Un problema más profundo, a menudo pasado por alto, es que la generación de datos sintéticos se trata frecuentemente como un problema puramente generativo, ignorando la naturaleza altamente estructurada, heterogénea y multimodal de los datos empresariales reales. Confiar únicamente en datos generados por modelos introduce riesgos de colapso de distribución, donde el entrenamiento recursivo sobre salidas sintéticas erosiona progresivamente la distribución de datos subyacente, particularmente en las colas.

Metodología: El Marco H-TDBU
Los autores proponen un marco Híbrido Jerárquico de Arriba hacia Abajo y de Abajo hacia Arriba (H-TDBU). Este enfoque desacopla las estructuras semánticas de la textura estocástica, integrando capacidades generativas con la construcción de reglas jerárquicas. El marco opera a través de tres fases distintas:

1. Ruta de Arriba hacia Abajo (Estructura):

   • Objetivo: Definir el esqueleto lógico y la estructura semántica de los datos.
   • Mecanismo: Las reglas de estructura se definen mediante instrucciones humanas o prompts de LLM. Esto crea una plantilla estructural $S$ que actúa como columna vertebral, descomponiendo factores abstractos en atributos concretos y muestreables.
   • Rol de los LLM: Los LLM se utilizan únicamente en esta etapa para generar el esquema que representa las reglas de estructura (por ejemplo, mapear variables objetivo a texto de sentimiento). No generan las filas tabulares reales.

2. Ruta de Abajo hacia Arriba (Textura):

   • Objetivo: Aprender patrones estadísticos locales y una "textura" realista a partir de datos reales.
   • Mecanismo: Generadores tabulares ligeros y de bajo cómputo (por ejemplo, métodos de conjunto como Random Forests o XGBoost, o modelos generativos como CTGAN) se entrenan sobre datos reales ($D_{real}$).
   • Salida: Estos modelos producen una representación del espacio latente ($Z$) que captura patrones detallados y complejos que se asemejan a los datos reales, pero que pueden no seguir inherentemente las reglas lógicas definidas en la fase de arriba hacia abajo.

3. Síntesis y Reconciliación:

   • Objetivo: Unificar el esqueleto lógico ($S$) con la textura latente ($Z$).
   • Mecanismo: Un motor de síntesis unificado, denotado como $X_{Syn} := G(z \in Z | S)$, genera datos a partir de ruido latente consistente con las restricciones lógicas de $S$. Este generador condicional reconcilia las dos rutas.
   • Bucle de Retroalimentación: El sistema emplea un bucle de retroalimentación iterativo. Si los datos sintéticos ($D_{syn}$) fallan en las métricas de fidelidad cruzada de modalidades ($X_{Modal}$), se activa una señal de "Reentrenar Modelo". Si falla la validación de restricciones, se activa una señal de "Ajustar Restricciones" hacia el proveedor de arriba hacia abajo. Esto asegura la integridad lógica y previene la deriva del modelo.

Contribuciones Clave

• Desacoplamiento de Estructura y Textura: El artículo introduce un marco que separa la definición de reglas semánticas/lógicas de la generación de textura estadística, abordando las limitaciones de los modelos generativos monolíticos.
• Arquitectura Híbrida: Integra orgánicamente el poder generativo de agentes ligeros (Random Forest, XGBoost) con el razonamiento estructural de los LLM, utilizando a los LLM estrictamente para la definición de reglas en lugar de la generación directa de datos.
• Mecanismo de Retroalimentación Iterativa: La inclusión de un bucle de reconciliación que valida métricas cruzadas de modalidades y restricciones lógicas permite el refinamiento dinámico tanto de las reglas de arriba hacia abajo como de los modelos de abajo hacia arriba.
• Evaluación Multimodal Débil: Los autores evalúan el marco en benchmarks multimodales débiles financieros que combinan datos tabulares con datos de texto de sentimiento, un escenario donde los métodos existentes luchan con la alineación y la consistencia.

Resultados Experimentales
El marco fue evaluado en cuatro benchmarks: dos benchmarks multimodales débiles (Manual y generado por Gemini) y dos benchmarks solo tabulares (Ingresos Adultos y Crédito Alemán).

• Utilidad en Tareas Posteriores (TSTR): En el benchmark multimodal débil especificado manualmente, los métodos condicionales basados en árboles (RandomForest y XGBoost) superaron a las líneas base neuronales (CTGAN, TVAE). Por ejemplo, RandomForest logró un AUROC de 0.9188 y un F1 de 0.6122, en comparación con el AUROC de 0.8827 y un F1 de 0.5581 de TVAE.
• Alineación Estricta (Benchmark Gemini): Al utilizar un proveedor de reglas generado por LLM que imponía una alineación más estricta (Objetivo 1 alineado únicamente con texto positivo), los generadores condicionales mostraron una mejora significativa. RandomForest logró métricas casi perfectas (0.9998 AUROC, 0.9878 F1), superando a las líneas base neuronales que también mejoraron pero permanecieron ligeramente más bajas.
• Fidelidad Cruzada de Modalidades: Se observó una compensación entre la utilidad en tareas posteriores y la fidelidad cruzada de modalidades ($X_{Modal}$). Mientras que RandomForest destacó en utilidad, Gaussian Copula y TVAE a veces lograron valores de $X_{Modal}$ más bajos (mejor alineación distribucional de texto y objetivos tabulares).
• Estudios de Ablación: Los resultados indicaron que el rendimiento está impulsado por la interacción entre el número de columnas de condicionamiento y la estrictitud de las reglas de arriba hacia abajo. Las reglas generadas por Gemini (más estrictas) se beneficiaron de menos columnas de condicionamiento, mientras que las reglas manuales (más permisivas) se beneficiaron de contextos de condicionamiento más ricos.

Significado y Afirmaciones
El artículo afirma que la síntesis guiada por reglas jerárquicas proporciona un mecanismo efectivo para equilibrar la controlabilidad, la coherencia semántica y la fidelidad estadística en la generación de datos sintéticos.

Los autores enfatizan que su enfoque no depende de una generación recursiva costosa por LLM para cada punto de datos. En cambio, al utilizar LLM solo para la construcción de arriba hacia abajo del "espacio de cobertura" y emplear modelos de agentes más económicos para la generación de abajo hacia arriba, el marco logra un alto realismo y consistencia lógica. Los resultados sugieren que este enfoque híbrido es particularmente efectivo en regímenes de bajos datos y escenarios multimodales complejos donde los modelos puramente generativos fallan en capturar eventos raros o dependencias lógicas, y donde la generación pura por LLM carece de rigor estructural. El marco se presenta no como una dominancia universal de un tipo de generador, sino como un marco de referencia flexible donde el flujo de trabajo se adapta a la estructura específica del conjunto de datos.