Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records

Resumen Técnico: Sintético pero no Realista

Planteamiento del Problema
Los datos sintéticos de salud se proponen cada vez más como un sustituto preservador de la privacidad de los registros médicos electrónicos (EMR) reales para facilitar el intercambio de datos y el desarrollo de modelos. Sin embargo, la evaluación de estos datos sintéticos sigue dominada por métricas de similitud estadística (p. ej., el ajuste de distribuciones marginales) y el rendimiento predictivo descendente. Los autores argumentan que estas métricas estándar no logran reflejar la validez clínica. Específicamente, las prácticas de evaluación existentes suelen pasar por alto si los datos sintéticos preservan las propiedades estructurales necesarias para una inferencia epidemiológica fiable, tales como la precisión en las distribuciones de subgrupos, la calibración de las estimaciones de riesgo y las estructuras de dependencia causal correctas. En consecuencia, los datos sintéticos pueden parecer "realistas" bajo las métricas estándar mientras fallan al sustentar conclusiones clínicas o científicas válidas.

Metodología
Para abordar este desajuste, los autores proponen un marco de evaluación multidimensional fundamentado en la epidemiología, que evalúa los datos sintéticos a través de tres dimensiones distintas correspondientes a preguntas de investigación descriptivas, predictivas y causales:

1. Fidelidad Descriptiva: Evalúa la reproducción de las propiedades estadísticas observables, incluyendo las distribuciones marginales y, de manera crucial, los resúmenes estratificados a través de subpoblaciones predefinidas (p. ej., grupos de edad y quintiles de estatus socioeconómico) para detectar distorsiones específicas de los subgrupos.
2. Utilidad Clínica: Evalúa la capacidad de los datos para sustentar tareas predictivas mediante el análisis de tiempo de supervivencia (time-to-event). Los autores emplean el modelo de riesgos proporcionales de Cox para evaluar:
   • Razones de Riesgo (HRs): Preservación del tamaño del efecto de las covariables.
   • Calibración: El acuerdo entre las probabilidades de evento predichas y las frecuencias observadas, medido mediante la métrica de distancia al 1 ($D_{21}$), tanto a nivel poblacional como por estratos.
3. Validez Estructural: Evalúa la preservación de las estructuras de dependencia de orden superior mediante el descubrimiento causal. Se aplica el algoritmo de Búsqueda de Equivalencia Codiciosa (Greedy Equivalence Search - GES) tanto a los datos reales como a los sintéticos para recuperar grafos acíclicos dirigidos (DAGs). El rendimiento se mide utilizando la Distancia de Hamming Estructural (SHD), así como la precisión, exhaustividad (recall) y F1 de la adyacencia, y la precisión, exhaustividad y F1 de la orientación.

Configuración Experimental
El marco se aplicó a PRIME-CVD, una cohorte simulada de 50,000 adultos generada a partir de un Grafo Acíclico Dirigido (DAG) especificado manualmente con una estructura de verdad de campo conocida. Este conjunto de datos permite una validación rigurosa de las propiedades estadísticas, clínicas y causales. Los autores evaluaron cuatro paradigmas generativos representativos bajo una representación unificada:

• WGAN-GP: Redes Generativas Adversarias con penalización de gradiente, aumentadas con un regularizador de correlación.
• WGAN-GP + VAE: Un enfoque híbrido que reemplaza el prior fijo por una distribución latente aprendida mediante un Autoencoder Variacional.
• DDPM: Modelos de Difusión Probabilística de Eliminación de Ruido (Denoising Diffusion Probabilistic Models) mediante la eliminación iterativa de ruido.
• MCM (Modelo Condicional con Máscara): Un enfoque de autocodificación basado en enmascaramiento que aprende la reconstrucción condicional.

Resultajes Clave
La evaluación reveló que, si bien todos los modelos reprodujeron con éxito las distribuciones marginales a nivel poblacional, ninguno preservó simultáneamente la estructura de los subgrupos, las estimaciones de efecto y la estructura de dependencia:

• Distorsión de Subgrupos: Todos los modelos exhibieron mayores desviaciones en las distribuciones condicionales a través de los quintiles socioeconómicos (IRSD) en comparación con el nivel poblacional. Notablemente, DDPM y MCM mostraron una reducción de la varianza y distribuciones más nítidas para las variables continuas.
• Utilidad Clínica:
  • Razones de Riesgo (HRs): Los métodos basados en GAN y el MCM produjeron HRs más cercanos a la verdad de campo, mientras que el DDPM produjo HRs sustancialmente mayores para múltiples covariables.
  • Calibración: Aunque WGAN-GP logró la mejor calibración a nivel poblacional ($D_{21} = 0.048$), todos los modelos exhibieron errores de calibración significativos cuando se estratificaron por estatus socioeconómico (por ejemplo, los errores de WGAN-GP oscilaron entre 0.15 y 0.35 entre los quintiles).
• Validez Estructural:
  • Recuperación de Grafos: Ningún modelo identificó con éxito tanto la Edad como el IRSD como nodos exógenos en los grafos recuperados.
  • Relaciones Espurias: Los datos sintéticos generalmente produjeron grafos más densos que la verdad de campo, lo que indica relaciones espurias. El MCM logró la Distancia de Hamming Estructural más baja (16) y los puntajes F1 más altos para adyacencia y orientación, mientras que el DDPM mostró la mayor desviación estructural (32).

Significancia y Reivindicaciones
El artículo sostiene que las prácticas de evaluación actuales sobreestiman la calidad de los datos sintéticos de salud. Los autores demuestran que una alta fidelidad de la distribución no garantiza la utilidad clínica ni la validez estructural. Específicamente:

• Los modelos con una fuerte fidelidad marginal pueden exhibir una mala calibración y relaciones distorsionadas, lo que conduce a una inferencia poco fiable.
• Las tres corrientes de evaluación (descriptiva, predictiva, causal) no son intercambiables; un modelo puede tener éxito en una dimensión mientras falla en otras.
• Los hallazgos desafían el prevalente "intercambio entre realismo y privacidad", sugiriendo que los problemas de fidelidad son actualmente el cuello de botella principal, más que los riesgos de privacidad.
• Los autores concluyen que incorporar datos sintéticos poco realistas en los modelos de decisión conlleva el riesgo de introducir sesgos que, en última instancia, podrían dañar a pacientes reales. Abogan por una evaluación informada por el dominio basada en la capacidad de sustentar conclusiones clínicas y científicas válidas, en lugar de depender únicamente de métricas de similitud estadística.

El estudio es modesto en su alcance, reconociendo que la evaluación se realizó en un único conjunto de datos (PRIME-CVD) con una verdad de campo conocida, lo que puede no capturar todas las complejidades de los datos de EMR del mundo real. Sin embargo, los resultados sirven como motivación para desplazar los estándares de evaluación hacia marcos fundamentados en la epidemiología.