Generation of Synthetic Data in Health Surveys Using Large Language Models

Resumen Técnico: Generación de Datos Sintéticos en Encuestas de Salud mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El acceso a datos de encuestas de salud de alta calidad y anonimizados suele estar restringido debido a preocupaciones de privacidad, restricciones éticas y barreras logísticas, particularmente en países de ingresos bajos y medios. Si bien la generación de datos sintéticos utilizando Inteligencia Artificial (IA) ofrece una solución para reducir costos y ampliar el acceso a los datos, los métodos existentes (por ejemplo, Autoencoders Variacionales, GANs) a menudo tienen dificultades para mantener la coherencia contextual y la validez psicométrica requeridas para encuestas de salud complejas. Además, existe una falta de evaluación sistemática sobre la capacidad de los Modelos de Lenguaje de Gran Escala (LLMs) para generar respuestas plausibles y representativas para encuestas nacionales de salud preservando las propiedades estadísticas de variables latentes como las escalas de depresión y ansiedad.

Metodología
El estudio empleó un diseño transversal utilizando datos secundarios de la Encuesta Nacional de Satisfacción en Salud (ENSUSALUD) de 2016 en Perú, dirigiéndose específicamente a usuarios de servicios de salud ambulatorios.

• Fuente de Datos y Construcción de Personas: Los investigadores extrajeron variables sociodemográficas y clínicas (sexo, edad, condiciones crónicas) del conjunto de datos original para construir "personas de usuario" narrativas. Estos perfiles se sistematizaron en archivos CSV para servir como la verdad de campo (ground truth) para la IA.
• Arquitectura del Modelo: El estudio utilizó el GPT-OSS-20B, un LLM de código abierto con 20 mil millones de parámetros. El modelo se ejecutó localmente en un servidor utilizando el marco de trabajo Ollama con una temperatura de 0.0 para asegurar salidas deterministas. No se aplicó ajuste fino (fine-tuning) ni Generación Aumentada por Recuperación (RAG); el modelo dependió únicamente de su conocimiento preentrenado y de los prompts proporcionados.
• Ingeniería de Prompts: El diseño experimental utilizó una interacción de dos niveles: un mensaje de sistema que definía la persona del usuario (por ejemplo, "simula ser una mujer de 45 años con hipertensión") y un mensaje de usuario que contenía preguntas específicas de la encuesta. El sistema impuso restricciones estrictas, requiriendo que las respuestas categóricas coincidieran con las opciones predefinidas y que las respuestas numéricas se encontraran dentro de rangos lógicos. Las salidas inválidas activaron reintentos automáticos; los fallos persistentes fueron clasificados como datos faltantes.
• Variables Generadas: El estudio generó respuestas para:
  • Variables de Consistencia: Sexo, edad y presencia de enfermedades crónicas (hipertensión, diabetes, obesidad, depresión).
  • Variables Latentes: Versiones completas del Cuestionario de Salud del Paciente (PHQ-9, PHQ-8, PHQ-2) y la escala de Trastorno de Ansiedad Generalizada (GAD-7, GAD-2), que no estaban totalmente disponibles en el conjunto de datos original de ENSUSALUD.
  • Variables Numéricas/Categóricas: Altura, peso, CI y horas de sueño.
• Métricas de Evaluación:
  • Consistencia: Se calcularon la exactitud, precisión, exhaustividad (recall), puntuación F1 y AUC para medir la alineación entre la respuesta generada y el perfil de la persona.
  • Validez Psicométrica: El Análisis Factorial Confirmatorio (CFA) utilizando estimadores de Mínimos Cuadrados Ponderados de Varianza y Media Ajustada (WLSMV) y matrices policóricas evaluó la validez estructural de PHQ-9, PHQ-8 y GAD-7. La consistencia interna se midió mediante el $\alpha$ de Cronbach y el $\omega$ de McDonald.
  • Distribución y Estabilidad: La normalidad se probó mediante la prueba de Jarque–Bera. La estabilidad se evaluó correlacionando las medidas sintéticas con las puntuaciones reales de PHQ-2 y EQ-5D del conjunto de datos original.

Resultados Clave

• Consistencia de Perfil: El LLM demostró una consistencia excepcional con las personas de usuario. La exactitud, precisión, exhaustividad y las puntuaciones F1 para el sexo, la edad y el estado de enfermedades crónicas estuvieron cerca de 1.00. Específicamente, el sexo y el estado de enfermedad crónica alcanzaron una consistencia del 100%, mientras que la obesidad y la hipertensión mostraron ligeras desviaciones (98.6% y 97.3% de consistencia, respectivamente). En general, el 95.9% de los casos fueron totalmente consistentes en todas las variables.
• Propiedades Psicométricas: Los datos sintéticos para PHQ-9, PHQ-8 y GAD-7 exhibieron índices de ajuste de modelo óptimos (CFI y TLI > 0.99; SRMR < 0.02; RMSEA < 0.04) y una alta consistencia interna ($\alpha$ y $\omega$ > 0.93).
• Correlación con Datos Reales: Las medidas sintéticas mostraron correlaciones positivas fuertes y significativas con las puntuaciones reales de PHQ-2 (por ejemplo, PHQ-9 sintético vs. PHQ-2 real: $r = 0.806$) y correlaciones negativas con las puntuaciones de calidad de vida de EQ-5D, reflejando los patrones clínicos esperados.
• Anomalías Distribucionales: Mientras que el peso siguió una distribución paramétrica, la altura no exhibió la distribución normal esperada. Además, las puntuaciones de ítems únicos mostraron distribuciones implausibles con picos centrales pronunciados. Notablemente, el Ítem 9 del PHQ-9 (ideación suicida) tuvo una alta tasa de valores faltantes (30.1%) en comparación con otros ítems.
• Detección de Sesgo: Un análisis de sensibilidad reveló una sobreestimación de la prevalencia de la obesidad en el grupo sintético ($p = 0.012$), lo que los autores atribuyeron a que el modelo asumió comorbilidades (por ejemplo, vinculando la diabetes con la obesidad) en lugar de adherirse estrictamente al perfil.

Significancia y Reivindicaciones
Los autores afirman que este estudio es el primero en simular respuestas a una encuesta nacional de salud y evaluar las propiedades psicométricas de tales datos generados por un LLM. La principal significancia radica en demostrar que los LLMs, cuando se condicionan con personas de usuario realistas, pueden generar datos sintéticos que preservan una alta coherencia con las características demográficas y clínicas y mantienen propiedades psicométricas adecuadas para las escalas de depresión y ansiedad.

El artículo postula que este enfoque ofrece una estrategia viable para:

1. Desarrollo de Instrumentos: Pilotar y refinar cuestionarios (por ejemplo, identificar redacciones confusas) antes de la implementación en campo.
2. Accesibilidad de Datos: Generar conjuntos de datos anonimizados que se asemejen a encuestas reales, facilitando la investigación en contextos donde el acceso a datos primarios está restringido.
3. Eficiencia en Costo y Tiempo: Reducir los recursos requeridos para estudios preliminares y pruebas de hipótesis.

Limitaciones y Advertencias
Los autores mantienen una postura modesta respecto a la utilidad de los datos para fines de inferencia. Expresan explícitamente que:

• El estudio no incorporó pesos de diseño de encuesta complejos (estratificación, conglomerados), asumiendo una distribución uniforme de los casos simulados.
• El modelo no fue ajustado finamente (fine-tuned) para el contexto peruano específico, basándose en su lugar en un preentrenamiento general.
• Las desviaciones en la distribución (por ejemplo, altura, sobreestimación de la obesidad) y los valores faltantes en ítems sensibles (ideación suicida) indican que los datos no son una réplica perfecta de la realidad.
• Los autores concluyen que, si bien el método es prometedor para el diseño y la planificación de encuestas, la validación rigurosa y el control de sesgos son esenciales antes de utilizar tales datos sintéticos para políticas públicas o inferencia clínica. Los datos no deben reemplazar la recolección empírica, sino complementarla.