Using Zero-Shot LLM-Generated Survey Data for Geographically Explicit Population Synthesis

Resumen Técnico: Datos de Encuesta Generados por LLM en Cero Disparos para la Síntesis de Población Geográficamente Explícita

Planteamiento del Problema
La síntesis de población geográficamente explícita es una técnica crítica para generar poblaciones sintéticas de individuos integrando datos de encuestas con restricciones marginales agregadas espacialmente (por ejemplo, demografía de distritos censales). Estas poblaciones sintéticas sirven como entradas para modelos basados en agentes en salud pública, como la transmisión de enfermedades infecciosas y la dinámica de enfermedades crónicas. Sin embargo, la calidad de estas poblaciones sintéticas depende en gran medida de la disponibilidad y calidad de los datos de encuesta de entrada. Muchas aplicaciones enfrentan restricciones debido a la escasez de datos de encuesta que sean tanto representativos de poblaciones específicas como que contengan las variables necesarias para la simulación. Aunque los Modelos de Lenguaje Grande (LLM) han demostrado ser prometedores en la generación de datos sintéticos humanos que imitan a encuestados reales, sigue sin estar claro si los datos de encuesta generados por LLM en cero disparos pueden servir como entradas viables para flujos de trabajo establecidos de síntesis de población geográficamente explícita, específicamente el Ajuste Proporcional Iterativo (IPF). El desafío central no es meramente la plausibilidad de las respuestas individuales del LLM, sino si preservan las relaciones multivariadas complejas requeridas para los procedimientos de síntesis posteriores.

Metodología
El estudio evalúa la viabilidad de utilizar datos generados por LLM en cero disparos como sustituto de datos de encuesta reales en una tubería de síntesis de población basada en IPF.

• Generación de Datos: Los autores utilizaron dos LLMs de última generación, GPT-4.1 y Gemini-2.5-Pro, para generar registros de encuesta sintéticos para dos estados distintos de EE. UU.: Colorado (CO) y Misisipi (MS). Utilizando una estrategia de indicación en cero disparos (sin registros de ejemplo ni distribuciones objetivo proporcionadas), se instruyó a los modelos para generar respuestas representativas de las poblaciones adultas de 2023 de estos estados basadas en 14 variables categóricas del Sistema de Vigilancia de Factores de Riesgo Conductual (BRFSS). Estas variables cubrían demografía, seguro médico, condiciones crónicas, comportamientos de salud e índice de masa corporal (IMC).
• Tubería de Generación: Para garantizar la reproducibilidad y la integridad estructural, los autores utilizaron APIs oficiales con un enfoque de generación por lotes (75 registros por llamada) y aplicaron esquemas JSON estrictos. Un paso de validación filtró registros con valores fuera de rango para evitar la introducción de sesgos.
• Síntesis de Población: Se construyeron seis poblaciones sintéticas (tres por estado: una utilizando datos reales de BRFSS como referencia de "verdad fundamental", y dos utilizando datos generados por LLM). Estas se ajustaron a restricciones demográficas a nivel de distrito censal del Censo de la Comunidad Americana (ACS) de 2019–2023 (edad, raza/etnia, género, ingresos, educación) utilizando IPF.
• Evaluación: El estudio empleó una evaluación multietapa:
  1. Similitud Distribucional: Se calculó la divergencia de Jensen–Shannon (JS) para medir la diferencia entre las distribuciones generadas por LLM y la verdad fundamental de BRFSS.
  2. Impacto en la Síntesis: La divergencia JS se recalcó después del paso de IPF para evaluar cómo el proceso de síntesis alteró los errores presentes en los datos generados crudos.
  3. Validación Espacial: Las poblaciones sintéticas resultantes se agregaron a nivel de distrito censal y se compararon con referencias externas: estimaciones del ACS para cobertura de seguro médico y estimaciones de CDC PLACES para estado general de salud. Las métricas incluyeron la correlación de Pearson ($r$) y el análisis de residuos espaciales.

Contribuciones Clave

1. Evaluación de Especificidad Geográfica: A diferencia de trabajos anteriores que evaluaron principalmente los datos de LLM a nivel nacional, este estudio evalúa la capacidad de los LLM en cero disparos para aproximar datos de encuestas de salud específicos de cada estado y capturar contrastes geográficos significativos (por ejemplo, entre el Colorado más saludable y rico y el Misisipi menos saludable y de menores ingresos).
2. Análisis de Flujos de Trabajo Posteriores: El artículo examina la propagación de errores desde la etapa de generación de datos a través del proceso de síntesis IPF. Investiga específicamente si IPF amplifica o mitiga los sesgos inherentes a los datos generados por LLM, una cuestión previamente no abordada en la literatura.
3. Rendimiento Dependiente de la Variable: El estudio destaca que la utilidad de los datos generados por LLM es altamente dependiente de la variable, distinguiendo entre demografías que son fácilmente reproducibles (por ejemplo, sexo, edad) e indicadores de salud/económicos complejos que son difíciles de capturar con precisión.

Resultados

• Generación de Datos de Encuesta: Ambos LLMs capturaron con éxito los principales contrastes a nivel estatal, reproduciendo el perfil más saludable de Colorado y el perfil menos saludable de Misisipi. Sin embargo, el rendimiento varió significativamente según la variable. Las demografías como sexo, edad y ejercicio se reprodujeron con una precisión casi perfecta (baja divergencia JS). Por el contrario, variables como seguro médico, ingresos, enfermedades cardíacas y estado de tabaquismo mostraron una mayor divergencia. Cabe destacar que ambos modelos tuvieron dificultades con el seguro médico, a menudo sobreestimando los planes patrocinados por el empleador y subestimando a los no asegurados.
• Impacto de IPF: El paso de IPF tuvo efectos mixtos sobre la calidad de los datos. En algunos casos, la síntesis redujo la divergencia entre los datos de LLM y la verdad fundamental (por ejemplo, mejoras significativas para Misisipi GPT en ingresos y seguro), lo que sugiere que IPF puede regularizar parcialmente los errores aguas arriba. En otros casos, la divergencia aumentó (por ejemplo, IMC para Misisipi GPT), lo que indica que el proceso de ajuste a veces puede amplificar sesgos existentes o distorsionar relaciones.
• Validación Espacial:
  • Salud General: Las poblaciones basadas en LLM reprodujeron razonablemente bien los patrones espaciales de salud general, particularmente en Misisipi, donde las correlaciones espaciales con referencias externas fueron altas ($r \approx 0.87$ para Gemini).
  • Seguro Médico: Las poblaciones basadas en LLM tuvieron un rendimiento deficiente en la captura de patrones espaciales para la cobertura de seguro. Subestimaron sistemáticamente las tasas de cobertura, lo que llevó a correlaciones espaciales débiles con las referencias del ACS ($r < 0.3$).
  • Comparación con la Verdad Fundamental: Aunque las poblaciones sintéticas basadas en BRFSS proporcionaron generalmente las estimaciones a nivel de distrito más precisas, las poblaciones basadas en LLM ocasionalmente superaron al enfoque basado en BRFSS para variables específicas (por ejemplo, educación y vacunación contra la gripe en Misisipi), probablemente debido a la suavización de distribuciones de encuestas reales ruidosas.

Significado y Afirmaciones
El artículo concluye que los datos de encuesta generados por LLM en cero disparos muestran potencial como entrada suplementaria o provisional para la síntesis de población geográficamente explícita, pero aún no es un reemplazo viable para datos de encuesta reales de alta calidad.

• Capacidad Contextual: Los modelos demostraron una capacidad para generar registros condicionados al estado que reflejan un contexto geográfico significativo en lugar de promedios nacionales genéricos.
• Limitaciones: La precisión de los datos generados es fuertemente dependiente de la variable. Las variables sensibles a políticas, raras o estructuralmente complejas (como la cobertura de seguro) siguen siendo poco fiables en condiciones de cero disparos.
• Utilidad Práctica: El estudio sugiere que, aunque los LLM pueden proporcionar un punto de partida útil cuando los datos de encuestas convencionales son limitados o no están disponibles, su uso requiere una validación cuidadosa. La relación entre el realismo de la entrada y el ajuste aguas abajo es compleja; un buen rendimiento en la etapa de generación de encuestas no garantiza poblaciones sintéticas precisas, y viceversa. Los autores enfatizan que el trabajo futuro debe explorar una guía más fuerte durante la generación y la validación contra encuestas menos comunes para evaluar completamente el potencial de este enfoque.