Resumen Técnico: Acelerando la Investigación Reproducible en la Generación de EHR Sintéticos

1. Planteamiento del Problema

La generación de Registros Electrónicos de Salud (EHR) sintéticos de alta fidelidad es esencial para avanzar en la investigación médica preservando al mismo tiempo la privacidad del paciente. Sin embargo, el campo enfrenta una crisis de reproducibilidad impulsada por barreras sistémicas:

• Infraestructura Desarticulada: Los modelos generativos existentes (p. ej., MedGAN, CorGAN, PromptEHR) están implementados en bases de código dispares con dependencias incompatibles, dimensiones de conjuntos de datos codificadas de forma fija y diseños procedimentales que dificultan la comparación directa.
• Fragmentación de la Evaluación: No existe un marco de evaluación unificado. Las métricas se reportan de manera inconsistente y las herramientas estandarizadas modernas (p. ej., sdmetrics) a menudo no logran manejar la alta dimensionalidad y la naturaleza secuencial de los datos de EHR.
• Pérdida de Granularidad: Para gestionar la dispersión, los investigadores frecuentemente truncan los códigos ICD-9 de la totalidad del vocabulario (6,955 códigos) a categorías de tres dígitos (1,071 códigos). Esta práctica descarta información clínicamente vital de la "cola larga" (p. ej., distinguir entre diabetes complicada vs. no complicada) y enmascara el bajo rendimiento de los modelos en códigos raros.
• Inconsistencia Arquitectónica: Las implementaciones de un mismo algoritmo suelen divergir en capacidad (p. ej., algunos puertos de PyTorch de MedGAN admiten solo matrices binarias, omitiendo el soporte original para matrices de conteo).

2. Metodología

Los autores introducen un marco de benchmarking ligero y de extremo a extremo construido sobre la biblioteca PyHealth, mantenida por la comunidad. El marco unifica el flujo de trabajo desde la ingesta de datos hasta la evaluación, asegurando que todos los modelos consuman entradas idénticas y produzcan salidas en un formato estandarizado.

2.1. Representación de Datos Unificada

El marco adopta un esquema de formato largo a nivel de visita (ID de Sujeto, ID de Visita, Código), consistente con estándares de la comunidad como MEDS. Este esquema preserva:

• Estructura Temporal: Límites de las visitas y el orden de las visitas.
• Repeticiones de Códigos: Frecuencia de códigos dentro de las visitas.
• Granularidad: Vocabulario completo de ICD-9 (6,955 códigos) en lugar de subconjuntos truncados.

Todas las salidas sintéticas, independientemente de la representación interna del generador (matrices estáticas o secuencias dinámicas), se convierten en esta estructura relacional normalizada antes de la evaluación.

2.2. Baselines Reimplementados

Los autores reimplementan y escalan cuatro baselines robustos para soportar la granularidad completa de ICD-9:

1. MedGAN: Restaura el soporte original de matriz de conteo (omitido en puertos previos de PyTorch) para modelar conteos enteros no acotados por diagnóstico.
2. CorGAN: Extiende la arquitectura convolucional de 6 a 8 capas para manejar nativamente el espacio de salida de 6,955 dimensiones, reemplazando la truncación original de 3 dígitos.
3. PromptEHR: Un modelo de secuencia-a-secuencia basado en BART condicionado por demografía. Los autores introducen la generación guiada por frecuencia (mezclando los logits del modelo con las frecuencias empíricas de los códigos) e inicialización de trayectoria condicionada por demografía para mejorar el realismo clínico sin aumentar los datos con registros reales de pacientes.
4. HALO: Un modelo autorregresivo jerárquico (módulos a nivel de visita y a nivel de código) que ya estaba listo para producción y requirió modificaciones mínimas.
5. Baseline GPT-2: Un transformador autorregresivo ligero de propósito general (8 capas, dimensión de embedding de 512) implementado para probar si las arquitecturas especializadas son necesarias.

2.3. Suite de Evaluación Agnóstica a la Arquitectura

El marco emplea una suite de evaluación rigurosa y agnóstica al modelo:

• Fidelidad (Utilidad):
  • Prevalencia Estadística: Mide la alineación de la distribución marginal usando $R^2$, correlación de Pearson y RMSE.
  • Fidelidad Basada en Discriminador: Entrena un clasificador binario (LSTM para datos secuenciales, Random Forest para datos aplanados) para distinguir entre datos reales y sintéticos. El Puntaje Discriminativo ($1 - 2|0.5 - \text{Exactitud}|$) cuantifica la indistinguibilidad.
• Privacidad:
  • Riesgo de Exactitud de Vecino Cercano Adversario (NNAAR): Una métrica de distancia de conjunto sensible a la secuencia (distancia de Hamming modificada) que mide si las muestras sintéticas están más cerca de los datos de entrenamiento que de los datos de prueba no utilizados.
  • Ataque de Inferencia de Membresía (MIA): Prueba si un adversario puede distinguir miembros del entrenamiento de no miembros basándose en la distancia a los datos sintéticos.

3. Contribuciones Clave

1. Restauración Arquitectónica y Escalamiento: Los autores restauran capacidades perdidas (modo de conteo de MedGAN) y extienden las arquitecturas (capas de CorGAN) para soportar el vocabulario completo de ICD-9, yendo más allá de los subconjuntos truncados utilizados en trabajos previos.
2. Benchmarking Estandarizado: Proporcionan un pipeline unificado que permite la comparación justa y directa de generadores basados en GAN y en Transformers utilizando métricas consistentes de privacidad y utilidad.
3. Infraestructura Extensible: Construido sobre PyHealth, el marco ofrece un paquete de un solo pip install y flujos de trabajo interactivos en Colab, reduciendo la barrera de ingeniería para futuras investigaciones.
4. Análisis de la Cola Larga: El marco evalúa explícitamente el rendimiento en códigos raros, revelando modos de falla que los benchmarks truncados ocultan.

4. Resultados

La evaluación se realizó con datos de MIMIC-III con 10,000 pacientes.

• Compromiso entre Fidelidad y Utilidad:
  • Modelos Secuenciales (HALO, PromptEHR, GPT-2): Lograron Puntajes Discriminativos superiores (más cercanos a 0.5, indicando alta indistinguibilidad). Capturaron con éxito las distribuciones conjuntas y la dinámica temporal.
  • Modelos Planos (MedGAN, CorGAN): Lograron una alta Utilidad Estadística (alto $R^2$ en prevalencia marginal) pero bajos Puntajes Discriminativos. Fallaron en capturar correlaciones conjuntas complejas, lo que los hace fácilmente distinguibles de los datos reales.
• Privacidad: Todos los modelos demostraron una protección de privacidad robusta, con una exactitud de MIA cercana al azar (0.5) y puntajes NNAAR insignificantes, lo que indica que no hay una memorización significativa de los datos de entrenamiento.
• Desempeño del Baseline GPT-2: Sorprendentemente, el baseline ligero de GPT-2 logró el Puntaje Discriminativo más alto (0.355) entre los modelos secuenciales, superando a las arquitecturas especializadas en realismo, aunque se quedó ligeramente rezagado en prevalencia marginal ($R^2$) en comparación con HALO.
• Desempeño de la Cola Larga:
  • A medida que el alcance de la evaluación se expandió al percentil 99 de los códigos raros, HALO y PromptEHR mantuvieron un $R^2$ alto, demostrando la capacidad de modelar dependencias raras.
  • CorGAN colapsó totalmente ($R^2 \approx 0$) en códigos raros.
  • GPT-2 funcionó bien hasta el percentil 97.5, pero se degradó bruscamente en el percentil 99, resaltando la dificultad de generar códigos de la cola extrema sin mecanismos especializados.
  • Riesgos de Privacidad: La inclusión de códigos raros aumentó los riesgos de MIA para todos los modelos, sugiriendo que los códigos raros actúan como cuasi-identificadores.

5. Significado y Reivindicaciones

El artículo afirma proporcionar un punto de partida para la reproducibilidad impulsada por la comunidad en lugar de un benchmark final e inmutable. Su importancia radica en:

• Reducción de Barreras: Al unificar diversos baselines bajo un solo pipeline, permite a los investigadores centrarse en la innovación científica en lugar de la reimplementación de código o la gestión de conflictos de dependencias.
• Exposición de Modos de Falla Ocultos: El marco revela que, aunque los modelos pueden parecer exitosos en métricas marginales truncadas, a menudo fallan en capturar la distribución conjunta y la realidad de la cola larga de los datos de EHR.
• Desafío a la Especialización: El fuerte desempeño del baseline de propósito general GPT-2 sugiere que las arquitecturas complejas y específicas del dominio no siempre son necesarias para una síntesis de EHR de alta fidelidad.
• Preparación para el Futuro: Los autores posicionan el marco como un "sustrato vivo" destinado a ser extendido por la comunidad para soportar ICD-10, modalidades adicionales (laboratorios, signos vitales) y métricas de privacidad más fuertes.

Los autores declaran explícitamente que no pretenden que los baselines previos fueran irreproducibles al momento de su publicación, ni que este marco resistirá permanentemente la deuda técnica. En cambio, argumentan que el estado actual de los repositorios desarticulados hace que la comparación actual sea casi imposible, y que este trabajo proporciona el sustrato necesario para permitir una investigación justa, escalable y reproducible en el futuro.