Comparative Evaluation of Dynamic Bayesian Hierarchical Models and Machine Learning Estimators for Small Area Employment Estimation in Data-Poor Settings

En el vasto y a menudo desigual paisaje de las naciones en desarrollo, saber exactamente cuántas personas tienen empleo en un distrito específico es un desafío que puede estancar el progreso. Los gobiernos necesitan estos números granulares para diseñar programas efectivos de protección social o para dirigir intervenciones del mercado laboral donde más se necesitan. Sin embargo, las herramientas estándar para recopilar esta información, conocidas como encuestas de fuerza laboral, suelen estar diseñadas para ofrecer imágenes precisas de países enteros o regiones grandes. Cuando los funcionarios intentan desglosar estos números en unidades administrativas más pequeñas, los tamaños de muestra se vuelven demasiado pequeños para ser confiables, dejando los datos plagados de incertidumbre. Para resolver esto, los estadísticos han desarrollado una técnica llamada estimación de áreas pequeñas. La idea central es simple pero poderosa: en lugar de depender únicamente de los datos inestables de un solo distrito pequeño, el método toma prestada la fuerza de las áreas vecinas y de información relacionada, como los datos del censo o las imágenes satelitales, para llenar los vacíos. Durante décadas, la forma más confiable de hacer esto ha sido a través de complejos modelos estadísticos que tratan a cada área como parte de un sistema más grande y conectado. Recientemente, una nueva ola de potentes algoritmos computacionales, conocidos como aprendizaje automático (machine learning), ha entrado en el campo, prometiendo encontrar patrones en los datos que los modelos tradicionales podrían pasar por alto. La pregunta que enfrentan los estadísticos modernos es si estas nuevas y flexibles herramientas pueden reemplazar a las antiguas y confiables, especialmente en lugares donde los datos son escasos y cada pieza de información cuenta.

Un investigador de la Universidad Técnica de Múnich, Albert Schulle, se propuso responder a esta pregunta sometiendo ambos enfoques a una prueba rigurosa. El estudio se centró en el problema específico de estimar las tasas de empleo en entornos con escasez de datos, utilizando datos reales de encuestas de la India como campo de prueba. El investigador comparó un sofisticado marco estadístico, conocido como Modelo Jerárquico Bayesiano Dinámico, frente a una serie de herramientas de aprendizaje automático, incluyendo bosques aleatorios (random forests) y el aumento de gradiente (gradient boosting). El objetivo no era solo ver qué método adivinaba la tasa de empleo más cerca de la verdad, sino determinar cuál proporcionaba una imagen más honesta de cuán incierta era esa suposición. En el mundo de la estadística oficial, conocer el margen de error es tan importante como el número mismo, porque los responsables de la formulación de políticas no pueden tomar decisiones seguras sin comprender la fiabilidad de los datos.

Para llevar a cabo esta comparación, el investigador tomó un conjunto de datos masivo que cubría 640 distritos de la India y lo redujo sistemáticamente para simular diferentes niveles de escasez de datos. Crearon escenarios donde el número de personas encuestadas en cada distrito se reducía en un 25 por ciento, luego en un 50 por ciento y, finalmente, en un asombroso 75 por ciento, imitando las condiciones de un entorno de recursos limitados donde las encuestas son infrecuentes o insuficientes en financiamiento. En cada nivel de escasez, tanto el modelo estadístico como los algoritmos de aprendizaje automático debían estimar las tasas de empleo. El rendimiento se midió según qué tan cerca estaban las estimaciones de los valores reales, cuánto variaban las estimas y, crucialmente, si los rangos calculados de incertidumbre realmente contenían los números reales.

Los resultados revelaron un ganador claro y consistente para las condiciones específicas de escasez de datos. El Modelo Jerárquico Bayesiano Dinámico, que se apoya en una forma estructurada de tomar prestada información entre áreas y tiempos, mantuvo una ventaja constante. Cuando los tamaños de muestra eran muy pequeños, este modelo produjo estimaciones significativamente más precisas y, lo que es más importante, proporcionó rangos de incertidumbre que eran dignos de confianza. Incluso cuando los datos se redujeron en tres cuartas partes, las estimaciones del modelo siguieron siendo fiables, con sus intervalos de confianza calculados capturando la tasa de empleo en más del 90 por ciento de los casos. Esta estabilidad proviene de la capacidad del modelo para atraer las estimaciones extremas o erráticas de los distritos pequeños hacia un promedio más razonable, un proceso que evita conjeturas salvajes cuando los datos locales son demasiado delgados para sostenerse por sí mismos.

En contraste, los métodos de aprendizaje automático, aunque impresionantes cuando los datos abundan, tuvieron dificultades a medida que la información se agotaba. Cuando se disponía del conjunto de datos completo, estos algoritmos funcionaban de manera competitiva, a menudo igualando la precisión del modelo estadístico al predecir los números exactos de empleo. Eran particularmente buenos para detectar relaciones complejas y no lineales en los datos que un modelo más simple podría pasar por alto. Sin embargo, a medida que los tamaños de muestra disminuían, su rendimiento se degradaba rápidamente. Las estimaciones se volvieron menos precisas y los rangos de incertidumbre que producían eran peligrosamente engañosos. En los escenarios de escasez más severos, los modelos de aprendizaje automático fallaron en capturar la tasa de empleo real en sus intervalos calculados en menos de la mitad de las ocasiones. Esto significa que un responsable de la formulación de políticas que dependiera de estas herramientas en un entorno de escasez de datos recibiría una falsa sensación de precisión, creyendo que sabía la respuesta cuando en realidad estaba adivinando de forma errática.

El estudio también examinó cómo cada método manejaba la información faltante, un problema común en los países en desarrollo donde los datos auxiliares, como las tasas de alfabetización o los indicadores económicos, pueden estar incompletos. El modelo estadístico demostró ser notablemente robusto, capaz de compensar las piezas de datos faltantes apoyándose en la información que tenía de las áreas vecinas. Las herramientas de aprendizaje automático, que dependen fuertemente de tener un conjunto completo de características para realizar una predicción, sufrieron un declive mucho más pronunciado en su rendimiento cuando los datos faltaban. Esto sugiere que en entornos donde los datos son fragmentados e insuficientes, el enfoque estructurado del modelo estadístico es mucho más resiliente que el poder de reconocimiento de patrones del aprendizaje automático.

En última instancia, la investigación sugiere que, si bien el aprendizaje automático es una herramienta poderosa para la predicción cuando los datos abundan, aún no está listo para reemplazar a los modelos estadísticos establecidos para la estimación de áreas pequeñas en entornos de recursos limitados. Los métodos de aprendizaje automático demostraron que podrían ser complementos útiles, quizás para generar conjeturas iniciales o manejar conjuntos de datos ricos, pero carecen de las salvaguardas integradas que garantizan la fiabilidad cuando los números escasean. Para las oficinas nacionales de estadística en los países en desarrollo, el camino a seguir es claro: el Modelo Jerárquico Bayesiano Dinámico sigue siendo la opción preferida para producir estadísticas oficiales de empleo. Ofrece un equilibrio entre precisión y una incertidumbre honesta que es esencial para la política basada en evidencia. El estudio concluye que, en el juego de alto riesgo de contar a los desempleados y empleados en las regiones del mundo con mayores desafíos de datos, el enfoque tradicional y matemáticamente riguroso todavía mantiene la ventaja, asegurando que las decisiones se tomen sobre una base de verdad y no sobre la ilusión de la precisión.