A Comparative Study of Penalised, Bayesian, Spatial, and Tree-Based Models for Provincial Poverty in Indonesia: Small Samples and High Collinearity

Este estudio demuestra que, para analizar las causas de la pobreza provincial en Indonesia con muestras pequeñas y alta colinealidad, los modelos lineales con regularización (como Ridge y LASSO) superan en precisión predictiva y estabilidad a los enfoques bayesianos, espaciales y de aprendizaje automático complejos, identificando consistentemente las habilidades TIC como el factor estructural más determinante para reducir la pobreza.

Lo esencial

Imagina que Indonesia es un gran pastel dividido en 34 trozos (sus provincias). Algunos trozos están muy bien cubiertos de crema y frutas (poca pobreza), mientras que otros están casi secos y con migajas (mucha pobreza).

El objetivo de este estudio fue responder a una pregunta simple: ¿Qué ingredientes hacen que un trozo de provincia sea rico o pobre?

Los investigadores tenían una lista de posibles ingredientes: años de estudio, esperanza de vida, acceso a agua limpia, electricidad, desempleo y, muy importante, habilidades digitales (saber usar la tecnología).

Pero aquí está el problema: tenían muy pocos datos (solo 34 provincias) y todos los ingredientes estaban "pegados" entre sí. Por ejemplo, las provincias que tienen mucha electricidad también suelen tener buena agua y mucha gente que sabe usar internet. Es como intentar adivinar qué ingrediente le da el sabor a un pastel cuando todos los ingredientes se mezclaron en la misma taza. Si usas una receta común, podrías culpar al azúcar cuando en realidad fue la harina, o viceversa.

Aquí es donde entra la historia de cómo intentaron resolverlo:

1. El problema de las "Recetas Demasiado Complejas"

Los investigadores probaron dos tipos de cocineros (modelos estadísticos):

• Los Cocineros "Black Box" (Máquinas de Aprendizaje): Imagina a un chef robot muy inteligente que puede probar millones de combinaciones de ingredientes al mismo tiempo. En una cocina grande con miles de datos, este robot es un genio. Pero en esta pequeña cocina de 34 provincias, el robot se volvió demasiado creativo. Empezó a inventar sabores que no existían, confundiendo el ruido de la cocina con el sabor real. Se "sobrecalentó" (sobreajuste) y dio predicciones desastrosas.
• Los Cocineros "Estrictos" (Modelos Lineales con Freno): Estos son como chefs veteranos que usan una regla estricta: "Solo usa los ingredientes que realmente importan y no te pases de la cuenta". Usaron técnicas llamadas "regularización" (como un freno de mano) para evitar que el modelo se emocionara demasiado con los datos.

El resultado sorpresa: Los cocineros "Black Box" fallaron estrepitosamente. Los cocineros "Estrictos" y simples fueron los ganadores. En datos pequeños, menos es más. La simplicidad ganó a la complejidad.

2. El Ganador: Las Habilidades Digitales (ICT)

De todos los ingredientes que probaron, hubo uno que siempre apareció como el héroe, sin importar qué receta usaran: las habilidades digitales (saber usar la tecnología).

• La analogía: Imagina que las habilidades digitales son como el "termómetro" de la salud de la provincia. No es que el termómetro cure la fiebre por sí solo, pero donde hay un buen termómetro, suele haber un buen médico, buenas medicinas y una casa limpia.
• La conclusión: Las provincias con mucha gente que sabe usar tecnología tienden a tener menos pobreza. Pero los autores dicen que no es solo por el internet en sí mismo; es que el internet es un síntoma de que la provincia está bien desarrollada en general (tiene buenas escuelas, hospitales y economía). Es el "indicador estrella" que no falla.

3. El mito de la "Vecindad" (Geografía)

Otra pregunta era: ¿La pobreza se contagia entre vecinos? ¿Si una provincia es pobre, la de al lado se vuelve pobre por "inercia"?

• La analogía: Imagina que ves un mapa donde las provincias pobres están todas juntas, como una mancha de tinta. Podrías pensar que la tinta se está extendiendo (efecto espacial).
• La verdad: Los investigadores descubrieron que la "mancha" no se debe a que la pobreza se contagie, sino a que los vecinos comparten los mismos ingredientes. Las provincias vecinas tienen el mismo clima, la misma infraestructura y la misma educación. Una vez que explicamos esos ingredientes, la "mancha" mágica desaparece. No necesitas un modelo espacial complejo; solo necesitas entender qué tienen en común los vecinos.

En resumen, ¿qué nos enseña este papel?

1. No te dejes impresionar por la tecnología compleja: Cuando tienes pocos datos (como 34 provincias), los algoritmos de inteligencia artificial más avanzados suelen fallar porque "aprenden de memoria" en lugar de entender la lógica. Las fórmulas matemáticas simples y disciplinadas funcionan mejor.
2. Las habilidades digitales son clave: Si quieres reducir la pobreza en Indonesia, mejorar la alfabetización digital es una de las señales más fuertes de éxito. Pero no es una varita mágica aislada; es parte de un paquete de desarrollo (educación, salud, infraestructura) que va todo junto.
3. Cuidado con las correlaciones: Cuando todo está mezclado (agua, luz, internet), es difícil saber qué hace qué. La ciencia de datos aquí nos dice: "No intentes separar cada ingrediente con una receta loca; usa métodos que te ayuden a ver la señal clara entre el ruido".

La lección final para los políticos: No intenten arreglar la pobreza con soluciones mágicas o modelos de computadora súper complejos. Enfóquense en fortalecer las habilidades digitales, pero entiendan que eso es solo la punta del iceberg de un desarrollo integral. Y sobre todo, mantengan las recetas simples y probadas.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Estudio Comparativo de Modelos Penalizados, Bayesianos, Espaciales y Basados en Árboles para la Pobreza Provincial en Indonesia

1. Planteamiento del Problema

El estudio aborda el desafío de identificar los impulsores estructurales de la pobreza en conjuntos de datos regionales con dos limitaciones estadísticas críticas:

• Tamaño de muestra pequeño: Solo existen $n = 34$ provincias en Indonesia, lo que genera una alta incertidumbre en los parámetros y riesgo de sobreajuste en modelos complejos.
• Alta colinealidad multidimensional: Los predictores (habilidades TIC, saneamiento, acceso al agua, esperanza de vida, etc.) están fuertemente correlacionados. Esto distorsiona las estimaciones de coeficientes en modelos estándar (como OLS), provocando inestabilidad, inversiones de signos erróneas y "falsos positivos" que pueden llevar a políticas públicas mal dirigidas.

El objetivo es determinar qué marco metodológico ofrece la guía más fiable para el análisis regional en estas condiciones de "tormenta perfecta" estadística.

2. Metodología

Los autores emplean un marco riguroso de comparación de modelos diseñado específicamente para muestras pequeñas y alta colinealidad.

• Datos: Se utiliza un corte transversal de 2024 con 34 provincias y 9 predictores (años de escolaridad, esperanza de vida, necesidades de salud no cubiertas, índice de Gini, saneamiento, agua, electricidad, desempleo y habilidades TIC).
• Familia de Modelos Evaluados: Se comparan 15 especificaciones distintas agrupadas en:
  • Línea base: Mínimos Cuadrados Ordinarios (OLS).
  • Regularización Frecuentista: Ridge, LASSO y Elastic Net.
  • Enfoques Bayesianos: Priors Gaussianos débiles, Ridge Bayesiano, LASSO Bayesiano, prior de "Horseshoe" (shrinkage global-local) y selección Spike-and-Slab.
  • Modelos Espaciales: Modelo ICAR intrínseco condicionalmente autorregresivo (especificación BYM2) para capturar dependencia espacial.
  • Aprendizaje Automático (ML) No Paramétrico: BART (Árboles de Regresión Aditivos Bayesianos), Random Forest, XGBoost y Procesos Gaussianos.
• Validación y Métricas:
  • Se utiliza estrictamente la Validación Cruzada Leave-One-Out (LOOCV) para evaluar el rendimiento predictivo fuera de la muestra. Esto es crucial en $n=34$ para evitar el sobreajuste.
  • La métrica principal es el Error Cuadrático Medio (RMSE) en la escala original (porcentaje de pobreza).
  • Se realizan diagnósticos de autocorrelación espacial (Moran's I) en los residuos y pruebas de sensibilidad a los priores.

3. Contribuciones Clave

1. Validación de la Regularización Lineal: Demuestra que, en análisis regionales con datos limitados, los modelos lineales penalizados (shrinkage) superan consistentemente a los algoritmos de aprendizaje automático complejos y a los modelos espaciales no restringidos.
2. Identificación de un Proxy Estructural Estable: A través de múltiples metodologías (frecuentista, bayesiana y selección de variables), se identifica que las habilidades TIC son el único predictor que mantiene una asociación negativa robusta y estable con la pobreza, incluso bajo penalización agresiva.
3. Reevaluación de la Dependencia Espacial: El estudio distingue entre el agrupamiento espacial crudo y la dependencia espacial residual. Encuentra que, una vez controladas las covariables socioeconómicas, la dependencia espacial residual desaparece, sugiriendo que la geografía actúa principalmente como un proxy de características socioeconómicas compartidas y no como un proceso de derrame (spillover) independiente.

4. Resultados Principales

• Rendimiento Predictivo:
  • Los modelos lineales regularizados (Ridge, Elastic Net, LASSO) lograron el menor RMSE en la validación LOOCV (aprox. 3.61 - 3.67), superando a todos los demás enfoques.
  • Los modelos de ML complejos fallaron estrepitosamente fuera de la muestra. BART mostró un sobreajuste catastrófico (RMSE = 7.50), casi el doble del error de los modelos lineales. Los Procesos Gaussianos y otros ensembles también tuvieron un rendimiento inferior a los modelos lineales penalizados.
  • Los modelos espaciales (ICAR) no mejoraron la precisión predictiva en comparación con los modelos lineales regularizados, indicando que el efecto espacial es redundante cuando se incluyen las covariables adecuadas.
• Importancia de las Variables:
  • Habilidades TIC (X9): Emergieron como el predictor más estable. En el modelo de Horseshoe bayesiano, fue la única variable cuyo intervalo de credibilidad del 95% excluyó consistentemente al cero.
  • Inestabilidad de otros predictores: Variables teóricamente importantes como la escolaridad, el saneamiento y la esperanza de vida mostraron inestabilidad en los signos y magnitudes de sus coeficientes en modelos no penalizados (OLS), invirtiendo su signo bajo diferentes especificaciones debido a la colinealidad.
• Diagnóstico Espacial: El índice de Moran en los datos brutos fue significativo (0.358), pero en los residuos del modelo OLS con covariables cayó a -0.058 (no significativo), confirmando que la proximidad geográfica es un proxy de factores socioeconómicos subyacentes.

5. Significado e Implicaciones

• Para la Ciencia Regional y la Estadística Aplicada: El estudio advierte contra el uso indiscriminado de algoritmos de "caja negra" complejos en muestras pequeñas ($n < 50$). En estos contextos, la flexibilidad adicional de los modelos no paramétricos aumenta la varianza y el riesgo de sobreajuste, mientras que la regularización lineal ofrece una base matemática más fiable para la inferencia.
• Para la Política Pública en Indonesia:
  • Las habilidades TIC deben interpretarse no solo como una variable causal aislada, sino como un proxy compuesto de un paquete más amplio de ventajas provinciales (calidad institucional, integración económica, acceso a servicios).
  • Las políticas de reducción de pobreza no deben centrarse únicamente en la infraestructura digital de forma aislada, sino en estrategias integrales de desarrollo regional que aborden la educación, la salud y los servicios básicos simultáneamente, dado que estos factores están intrínsecamente vinculados.
  • Se recomienda cautela al priorizar intervenciones basadas únicamente en coeficientes de regresión OLS sin penalización, ya que pueden ser engañosos debido a la colinealidad.

En conclusión, el artículo proporciona una hoja de ruta metodológica para el análisis de datos regionales restringidos: regularizar agresivamente, validar estrictamente fuera de la muestra y priorizar la parsimonia sobre la complejidad algorítmica.