Context-Conditioned Generative Models Enable Subnational Refinement of Sparse Humanitarian Surveys

Resumen Técnico: Modelos Generativos Condicionados por Contexto para el Refinamiento Subnacional de Datos de Encuestas Humanitarias Dispersas

Planteamiento del Problema

La toma de decisiones humanitarias depende en gran medida de los datos de encuestas de hogares para estimar indicadores como la seguridad alimentaria, la pobreza y el bienestar infantil. Sin embargo, la recopilación de datos en entornos afectados por conflictos o inestabilidad suele ser costosa, infrecuente y espacialmente dispersa. Aunque los métodos clásicos de estimación de áreas pequeñas (SAE, por sus siglas en inglés) pueden aprovechar la fortaleza de diversas regiones para estimar indicadores agregados (por ejemplo, medias o tasas de pobreza), no logran reconstruir distribuciones completas a nivel de hogar. Esta limitación impide la derivación de múltiples indicadores a partir de un solo modelo y oscurece la heterogeneidad local esencial para una focalización precisa. Además, los modelos generativos estándar aplicados a datos tabulares se han centrado principalmente en la preservación de la privacidad o la generación de poblaciones sintéticas, con una utilidad establecida limitada para la inferencia estadística bajo escasez de datos, particularmente cuando los datos de entrenamiento no son representativos a nivel subnacional.

Metodología

Los autores proponen un marco utilizando Flujos de Normalización Condicionados por Contexto (cNF) para refinar las estimaciones distribucionales subnacionales a partir de submuestras de encuestas representativas a nivel nacional.

1. Simulación de Escasez de Datos: El estudio simula una severa escasez de datos mediante el submuestreo de ocho encuestas de hogares representativas a nivel nacional (de Etiopía, Sri Lanka, Mozambique, Nigeria, Yemen y Zimbabue) a nivel de Unidad Primaria de Muestreo (PSU). La estrategia de submuestreo garantiza la representatividad a nivel nacional mientras destruye deliberadamente la representatividad subnacional (por ejemplo, seleccionando solo una PSU por región administrativa).
2. Arquitectura del Modelo Generativo: El núcleo del modelo es un Flujo de Normalización Condicional (cNF). A diferencia de los modelos generativos tabulares estándar (como CTGAN o TVAE) que tienen dificultades para condicionarse con covariables externas continuas durante la generación, el cNF aprende una distribución condicional compleja $p(Y|X, s)$, donde:
   • $Y$ representa variables objetivo continuas a nivel de hogar (por ejemplo, ingesta de micronutrientes, gastos).
   • $X$ representa características contextuales exógenas disponibles a una resolución espacial fina (accesibilidad al mercado, índices de riqueza relativa, indicadores ambientales como el NDVI).
   • $s$ representa el sector de asentamiento (rural/urbano/plantación).
3. Entrenamiento e Inferencia: El modelo se entrena con la submuestra dispersa enriquecida con características contextuales. Durante la inferencia, genera registros sintéticos de hogares para ubicaciones submuestreadas o no muestreadas, condicionándose en las características contextuales conocidas ($X$) y el sector ($s$) de esas ubicaciones específicas.
4. Líneas Base Comparativas: El rendimiento del cNF se evalúa frente a:
   • Sobremuestreo (Oversampling): Remuestreo simple de la submuestra nacional dispersa sin condicionamiento.
   • Condicionamiento Solo por Región (NF): Un flujo de normalización condicionado únicamente por etiquetas de región categóricas.
   • Condicionamiento por Región + Sector (NF+sector): Un flujo de normalización condicionado por región y sector.
   • Regresión Lineal Multivariante Bayesiana: Una línea base estadística estándar para la estimación de la media agregada.
   • Generadores Tabulares Estándar (CTGAN, TVAE): Evaluados en un benchmark suplementario para fidelidad y originalidad general.

Contribuciones Clave

• Marco Conceptual: El artículo establece el principio de que los modelos generativos pueden servir como herramientas de inferencia para la aumentación de datos de encuestas solo cuando se combinan con características contextuales externas informativas. Demuestra que, sin tales características, los modelos generativos reproducen mayoritariamente las limitaciones de un simple remuestreo.
• Innovación Metodológica: Introduce una aplicación específica de los flujos de normalización que condiciona covariables geoespaciales continuas y exógenas para redistribuir la información estructural a través del dominio espacial, "llenando" efectivamente la heterogeneidad local que falta en las muestras dispersas.
• Validación Empírica: El estudio proporciona una evaluación rigurosa a través de ocho conjuntos de datos diversos y seis países, demostrando que el condicionamiento por contexto produce mejoras sistemáticas sobre el sobremuestreo y el condicionamiento basado solo en la región.

Resultados

• Fidelidad Distribucional: El modelo cNF supera significativamente a las líneas base de sobremuestreo y de condicionamiento solo por región en la reconstrucción de distribuciones subnacionales, medido mediante la Distancia del Movimiento de la Tierra (EMD). La mejora es monotónica: cNF (contexto completo) > NF+sector > NF (solo región) > Sobremuestreo.
• Precisión Agregada: El cNF logra mejoras estadísticamente significativas en el Error Absoluto Medio (MAE) para las estimaciones de la media subnacional en comparación tanto con el sobremuestreo como con una línea base de regresión bayesiana.
• Atribución de Características: El análisis de los valores de Shapley revela que las ganancias de rendimiento son impulsadas por las características contextuales continuas (riqueza, accesibilidad al mercado, medio ambiente). Sin embargo, la contribución de las características específicas varía según el conjunto de datos y la variable objetivo; ninguna covariable es universalmente informativa.
• Condiciones para el Éxito: La utilidad del refinamiento es más alta cuando:
  1. Las muestras de entrenamiento son extremadamente dispersas (por ejemplo, una sola PSU por región).
  2. Las distribuciones locales divergen significamente del promedio nacional (alta variabilidad intrínseca subnacional).
  3. Se dispone de covariables contextuales informativas.
     A medida que el tamaño de la muestra aumenta o la variabilidad local disminuye, el valor marginal del refinamiento generativo decrece.
• Limitaciones Observadas: El enfoque no corrige el sesgo de muestreo estructural (por ejemplo, muestras exclusivamente urbanas); aunque mejora respecto al sobremuestreo dentro de un régimen sesgado, el error absoluto aumenta si se excluyen los hogares rurales. Además, el método asume la estacionariedad espacial de la relación entre contexto y resultados ($p(Y|X)$), lo cual podría no cumplirse si las ecologías regionales o las dinámicas de conflicto crean relaciones localizadas.

Significancia y Reivindicaciones

El artículo sostiene que proporciona un principio general y un marco práctico para el uso de modelos generativos en contextos humanitarios. Argumenta que los modelos generativos no son meramente herramientas para crear registros sintéticos "plausibles", sino que pueden funcionar como verdaderas herramientas de inferencia cuando aprovechan datos exógenos para recuperar la estructura local que las muestras dispersas omiten.

Los autores enfatizan que este enfoque es distinto de la SAE clásica, la cual apunta a estimaciones puntuales agregadas. En cambio, este marco reconstruye distribuciones completas a nivel de hogar, permitiendo la caracterización de la heterogeneidad local (por ejemplo, riesgos de cola, formas de la distribución) necesaria para una asignación de recursos precisa. El estudio concluye que, si bien la aumentación generativa añade complejidad, esta se justifica específicamente en entornos humanitarios con escasez de datos donde se necesita evidencia detallada pero difícil de recolectar, siempre que se disponga de características contextuales informativas y la muestra de entrenamiento mantenga un soporte suficiente.