Measuring the Dependency Gap: Diagnosing Inter-Column Fidelity in Tabular Generative Models

Resumen Técnico: Midiendo la Brecha de Dependencia en Modelos Generativos Tabulares

1. Planteamiento del Problema

Los datos tabulares sintéticos se utilizan cada vez más para el intercambio preservando la privacidad y para aumentar las clases minoritarias en dominios desbalanceados (por ejemplo, detección de fraude, riesgo clínico). La utilidad de tales datos depende no solo de preservar la distribución marginal de las columnas individuales sino, crucialmente, de mantener las dependencias entre columnas que portan señales discriminativas para las clases minoritarias.

El artículo identifica un fallo crítico en las prácticas de evaluación actuales: las métricas estándar utilizadas para certificar la calidad de los datos sintéticos son mayoritariamente ciegas a la dependencia entre columnas.

• Logistic-Regression C2ST: Un generador de referencia que modela cada columna de forma independiente (destruyendo toda la dependencia) logra una puntuación indistinguible de los datos reales (0.995–1.000 en la escala SDMetrics).
• Puntuaciones de Tendencia/Forma (Trend/Shape Scores): Estas métricas de pares muestran solo una sensibilidad leve ante la destrucción de la dependencia (puntuando al generador independiente con 0.69–0.78).

Consecuentemente, los profesionales pueden ser inducidos a error, creyendo que un generador es fiel cuando en realidad ha "lavado" la estructura conjunta necesaria para la utilidad de la clase minoritaria.

2. Metodología: Un Diagnóstico de Fidelidad Consciente de la Dependencia

Para abordar esto, los autores introducen un marco de diagnóstico que descompone la fidelidad de un generador en componentes específicos utilizando una prueba de dos muestras de clasificador fuerte (XGB-C2ST). A diferencia de los modelos lineales, los árboles de gradiente potenciado (XGB) son sensibles a las interacciones de características de alto orden.

El Protocolo de Descomposición:
Sea $P$ la distribución de los datos reales y $Q$ la distribución del generador. Los autores definen tres métricas basadas en el AUC de XGB-C2ST (donde 0.5 es indistinguible y 1.0 es totalmente separable):

1. **Puntuación Total ($full$):**$c2st(P, Q)$. La discriminabilidad total.
2. **Puntuación Marginal ($marg$):**$c2st(\Pi(P), \Pi(Q))$, donde $\Pi$ permuta de forma independiente las filas dentro de cada columna. Esto destruye toda la dependencia entre columnas mientras preserva las marginales.
3. Componente de Dependencia ($dep$): Calculado como $full - marg$. Esto aísla la discriminabilidad que surge específicamente de las estructuras conjuntas incorrectas.
4. Componente Cruzado ($dep_{cross}$): Aislado mediante permutación por bloques (mezclando de forma independiente bloques numéricos y categóricos) para medir específicamente el acoplamiento numérico-categórico.

Anclas:
El diagnóstico está anclado entre dos referencias derivadas de los datos reales:

• Límite Inferior Totalmente Factorizado (FF): Una referencia donde las columnas se remuestrean independientemente de las marginales empíricas. Tiene marginales correctas pero cero dependencia.
• Límite Superior Oráculo (Oracle): Una nueva submuestra de los datos de entrenamiento reales, que representa la distribución conjunta ideal.

3. Contribuciones Clave

1. Marco de Diagnóstico: Una descomposición de XGB-C2ST en componentes marginales, de dependencia y de cruce numérico-categórico, anclada por los límites FF y Oráculo.
2. Caracterización Empírica: Evidencia de que las métricas estándar (LR-C2ST, Trend) no detectan la pérdida de dependencia, mientras que XGB-C2ST revela una brecha de dependencia significativa en los generadores de vanguardia (SOTA).
3. Análisis Estructural: Una investigación sobre si la brecha de dependencia proviene de las limitaciones estructurales del objetivo de campo medio (mean-field) o de las restricciones de capacidad.
4. Resultados Negativos: Pruebas sistemáticas que muestran que aumentar la capacidad del modelo (16×), añadir mecanismos de dependencia dentro del modelo o aplicar correcciones de cópula post-hoc fallan en cerrar la brecha.

4. Resultados Experimentales

El diagnóstico se aplicó a TabbyFlow (un generador de ajuste de flujo basado en el Ajuste de Flujo de Familia Exponencial, EF-VFM) en cinco conjuntos de datos con desbalance de clases (Adult, Default, Bank, Magic, Shoppers).

• Confirmación de la Ceguera de las Métricas: El baseline FF (dependencia cero) obtuvo puntuaciones casi perfectas en LR-C2ST (0.995–1.000) y solo ligeramente en Trend, pero XGB-C2ST lo identificó correctamente como altamente separable de los datos reales (0.956–0.995).
• Existencia de una Brecha de Dependencia: TabbyFlow exhibió una brecha de dependencia significativa en todos los conjuntos de datos. Por ejemplo, en el conjunto de datos Adult, el componente de dependencia fue de $+0.050 \pm 0.007$ (estadísticamente significativo, $p < 10^{-3}$).
• Impacto en la Utilidad: La brecha de dependencia se correlaciona directamente con la utilidad de la clase minoritaria.
  • El baseline FF (dependencia destruida) colapsó los puntajes F1 de la clase minoritaria (ej., 0.102 en Adult frente a 0.709 para el Oráculo).
  • TabbyFlow mantuvo una alta utilidad (0.663) pero quedó por detrás del Oráculo por un margen constante (0.012–0.046), reflejando su brecha de dependencia residual.
• Fallo de Escalamiento de Capacidad: Aumentar el ancho del modelo en 16× (de ~10M a ~168M de parámetros) no redujo significativamente el componente de dependencia. La brecha permaneció estadísticamente sin cambios ($p > 0.05$), descartando que la capacidad insuficiente fuera la causa principal.
• Fallo de Intervención:
  • Mecanismos Intra-modelo: Añadir una cabeza de acoplamiento cruzado sensible a variables discretas al generador no produjo una mejora significativa en los puntajes de dependencia ni en el F1 de la minoría.
  • Correcciones Post-hoc: Las correcciones basadas en cópulas (Gaussian, Vine) no lograron suministrar la estructura de orden superior faltante y a menudo degradaron la utilidad.
  • Naturaleza de Orden Superior: La brecha residual es de "orden superior"; el generador ya iguala los momentos cruzados de segundo orden (covarianza) cerca del suelo del Oráculo, lo que significa que las correcciones de ajuste de covarianza no tienen qué corregir.

5. Significado y Reivindicaciones

El artículo argumenta que la brecha de dependencia no es un punto ciego estructural del objetivo de campo medio. Resultados teóricos recientes (Eijkelboom et al., 2026) sugieren que el ajuste de flujo variacional puede recuperar asintóticamente la verdadera distribución conjunta incluso con objetivos factorizados, siempre que las medias posteriores por dimensión se aprendan con precisión.

En su lugar, los autores concluyen que la brecha surge porque el objetivo no proporciona una señal de gradiente directa para asignar capacidad hacia la dependencia. El déficit reside en qué recompensa el objetivo (medias por dimensión), no en cómo la arquitectura representa los datos o su tamaño.

Conclusiones Clave para Profesionales:

• Las métricas estándar (LR-C2ST, Trend) son insuficientes para certificar la dependencia; deben complementarse con diagnósticos conscientes de la dependencia como la descomposición de XGB-C2ST.
• Simplemente escalar la capacidad del modelo o añadir módulos de dependencia no garantiza la recuperación de la estructura entre columnas.
• El "obstáculo vinculante" parece ser la falta de supervisión directa de la dependencia en el objetivo de entrenamiento.
• El artículo ofrece una "advertencia" contra asumir que las correcciones arquitectónicas o el escalamiento de fuerza bruta resolverán estos problemas, sugiriendo que el progreso futuro probablemente requerirá objetivos que recompensen explícitamente la dependencia.

Los autores mantienen la modestia en sus afirmaciones, señalando que, aunque la brecha es significativa y persistente, el análisis se limita a conjuntos de datos específicos y al estado actual de los objetivos de ajuste de flujo. No proponen un nuevo generador, sino más bien una herramienta de diagnóstico y una caracterización de las limitaciones actuales en el campo.