Forests of Uncertaint(r)ees: Using tree-based ensembles to estimate probability distributions of future conflict

Este artículo presenta un enfoque basado en ensembles de árboles para estimar distribuciones de probabilidad de futuros conflictos violentos a nivel de cuadrícula, superando las predicciones puntuales tradicionales y demostrando mejoras de rendimiento significativas al abordar la alta incertidumbre y la gran cantidad de ceros en los datos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un manual para predecir el clima de la violencia, pero en lugar de decirte "mañana lloverá", te dice: "mañana hay un 80% de probabilidad de lluvia, un 15% de que sea un chaparrón y un 5% de que sea una tormenta eléctrica".

Aquí tienes la explicación de "Bosques de Incertidumbres" (Forests of Uncertaint(r)ees) en lenguaje sencillo, usando analogías de la vida cotidiana:

1. El Problema: Adivinar el futuro es difícil

Los expertos en conflictos suelen hacer predicciones tipo "punto": "Mañana habrá 10 muertos en esta zona". El problema es que la vida real es caótica. A veces hay 0 muertos, a veces 50. Dar un solo número es como intentar adivinar el resultado de un lanzamiento de dados sin decirte qué tan probable es cada número. Además, los datos son imperfectos (a veces no se reportan los hechos, a veces se exageran).

La analogía: Es como intentar predecir el tráfico en una ciudad. Si solo te dicen "habrá 20 minutos de retraso", no sabes si es porque hay un semáforo o porque hubo un accidente grave. Necesitas saber la probabilidad de cada escenario.

2. La Solución: Un "Bosque" de Árboles Mágicos

Los autores no usan una sola fórmula mágica. Usan algo llamado "Ensembles de árboles" (Bosques de árboles).

• Los Árboles: Imagina que tienes a 100 expertos diferentes (árboles de decisión) analizando el mismo mapa. Cada uno mira los datos de forma ligeramente distinta.
• El Bosque: En lugar de confiar en uno, escuchas a todos. Si 90 expertos dicen "habrá violencia" y 10 dicen "no", el bosque te da una respuesta muy segura.
• La Innovación: Lo genial de este trabajo es que no solo dicen "sí o no". Cada árbol en el bosque dibuja una curva de probabilidad. Te dicen: "Hay un 90% de que no pase nada, un 8% de que pasen 5 cosas y un 2% de que pase una catástrofe".

3. El Reto de los "Ceros" (La mayoría de las veces no pasa nada)

La violencia es rara. En la gran mayoría de los cuadritos del mapa (llamados pgm), no hay violencia en absoluto. Es como si el 99.6% de los días en tu ciudad no hubiera terremotos.

• El problema: Si un modelo predice "cero" todo el tiempo, parece muy acertado, pero es inútil porque no ayuda a prevenir lo que sí ocurre.
• La solución (El "Hurdle" o Valla): Los autores usan una estrategia de dos pasos, como un portero de discoteca:
  1. Paso 1 (El Portero): Un modelo decide si entra alguien a la fiesta (¿habrá violencia o no?).
  2. Paso 2 (El DJ): Si entra alguien, otro modelo decide qué tipo de fiesta será (¿poca violencia o mucha?).
     Esto les permite manejar mejor la rareza de los eventos violentos.

4. Modelos Globales vs. Locales (El mapa grande vs. el barrio)

Los autores probaron dos enfoques:

• El Modelo Global: Un solo cerebro gigante que mira todo el mundo (África y Medio Oriente) a la vez.
• El Modelo Local: Pequeños cerebros expertos en regiones específicas (ej. un experto solo en el Sahel, otro solo en el Cuerno de África).

La analogía: Es como tener un médico generalista que conoce un poco de todo, versus tener un equipo de especialistas que solo tratan enfermedades de la piel, otros solo de huesos, etc.

• Resultado: El equipo de especialistas (modelo local) no fue mucho mejor que el generalista, pero no empeoró. Esto es genial porque significa que en el futuro podrían usar datos muy locales (que no llegan al nivel global) para mejorar las predicciones sin romper el sistema.

5. ¿Funciona de verdad? (La prueba de fuego)

Los autores compararon sus "Bosques de Incertidumbre" contra métodos antiguos (como mirar solo el historial de violencia de los últimos años).

• El hallazgo: Sus modelos ganaron consistentemente.
• El truco de la estadística: Como la violencia es tan rara, las métricas de éxito suelen parecer muy parecidas (todos parecen ganar por poco margen). Para ver la verdad, hicieron un experimento con datos simulados (como un simulador de vuelo).
• La conclusión: Descubrieron que esas pequeñas diferencias en las puntuaciones significan grandes mejoras reales en los lugares donde realmente hay violencia. Sus modelos son mejores identificando dónde y cuándo estallará el conflicto, no solo adivinando que "algo pasará".

En resumen

Este paper nos dice que para predecir conflictos, no basta con dar un número fijo. Debemos dar un abanico de posibilidades (una distribución de probabilidad).

Usando un "bosque" de algoritmos inteligentes que trabajan juntos, y separando la pregunta "¿habrá violencia?" de "¿cuánta habrá?", han logrado crear un sistema que:

1. Reconoce su propia incertidumbre (sabe cuándo no está seguro).
2. Funciona mejor que los métodos tradicionales.
3. Es especialmente útil en las zonas donde la violencia es real, ayudando a los líderes a tomar decisiones más informadas para prevenir desastres.

Es como pasar de tener un mapa estático y borroso a tener un GPS en tiempo real que te avisa no solo del tráfico, sino de la probabilidad de un accidente, permitiéndote tomar una ruta alternativa antes de que sea tarde.

Resumen técnico

Resumen Técnico: Bosques de Incertidumbres

1. Planteamiento del Problema

Las predicciones actuales de conflictos armados y sus víctimas suelen basarse en estimaciones puntuales (valores únicos de probabilidad o número de muertes). El artículo identifica dos limitaciones críticas en este enfoque:

1. Falta de estimación de confianza: Solo reflejan el resultado más probable sin indicar la incertidumbre asociada.
2. Inutilidad práctica: En escenarios de baja probabilidad, la falta de intervalos de confianza o distribuciones completas limita la toma de decisiones preventivas.

El problema se agrava por dos fuentes de incertidumbre:

• Naturaleza del conflicto: Es un proceso complejo, estocástico, raro (especialmente a nivel de celda de cuadrícula mensual o pgm) y en constante evolución.
• Limitaciones de datos: Los datos de conflictos sufren de sesgos (dependencia de noticias), baja resolución, calidad variable y una extrema inflación de ceros (menos del 0.4% de las observaciones en los datos de entrenamiento muestran violencia).

El objetivo es pasar de predicciones puntuales a la estimación de distribuciones predictivas completas para cuantificar la incertidumbre (aleatoria y epistémica) en la predicción de conflictos.

2. Metodología

Los autores proponen un enfoque de aprendizaje automático (ML) basado en ensambles de modelos basados en árboles dentro de una configuración personalizada de AutoML. La arquitectura se divide en los siguientes componentes clave:

• Nivel de Datos: Se utiliza la red de cuadrícula PRIO-GRID (0.5° x 0.5°) para África y Oriente Medio, con datos mensuales desde 1990. El objetivo es predecir el número de víctimas de conflictos armados estatales (fuente UCDP).
• Enfoque de "Hurdle" (Obstáculo): Dado el alto número de ceros, se utiliza un modelo de dos etapas:
  1. Clasificador: Predice la probabilidad de que ocurra violencia (variable binaria: 0 o >0). Se utilizan Random Forests (RF) y XGBoost. La métrica de ajuste es el área bajo la curva de precisión-recall (PR-AUC).
  2. Regresor: Predice la distribución de víctimas condicional a que ocurra violencia (solo en datos no nulos). Se utilizan modelos que generan distribuciones nativamente:
     • Random Forests de Cuantiles (QRF)
     • Random Forests Distribucionales (DRF)
     • Gradient Boosting con Gradiente Natural (NGBoost) (que resultó ser el mejor, seleccionándose en el 75-80% de los casos).
• Ensamblaje Cuasi-Hurdle: Para combinar las etapas, no se multiplican simplemente los resultados (lo que generaría valores no enteros). En su lugar, la probabilidad de clasificación determina qué porcentaje de las 1,000 muestras de la distribución del regresor se mantiene como no cero, y el resto se rellena con ceros.
• Estrategias Espaciales (Ensembles): Se comparan tres especificaciones de modelos:
  1. Global: Un único modelo para toda el área de interés.
  2. Local: Múltiples modelos entrenados en regiones específicas (definidas mediante clustering HDBSCAN de áreas con violencia histórica) para capturar mecanismos de conflicto regionales y reducir requisitos de cobertura de datos.
  3. Global-Local: Un ensamble híbrido que selecciona dinámicamente los mejores componentes (clasificador o regresor) de los modelos globales o locales para cada región.

3. Contribuciones Clave

1. Cambio de Paradigma: Transición de predicciones puntuales a distribuciones predictivas completas para conflictos, permitiendo la cuantificación de la incertidumbre.
2. Arquitectura Híbrida: Integración exitosa de clasificadores probabilísticos con regresores distribucionales basados en árboles dentro de un marco de AutoML.
3. Enfoque Regional: Demostración de que la integración de modelos regionales en ensambles espaciales no degrada el rendimiento, abriendo la puerta a la inclusión de datos regionales específicos que antes se descartaban por falta de cobertura global.
4. Evaluación Rigurosa: Desarrollo de un experimento de simulación para demostrar que las pequeñas diferencias en las métricas agregadas (debido a la inflación de ceros) reflejan mejoras significativas en la calidad de la predicción en zonas de conflicto real.

4. Resultados

• Rendimiento General: Los tres modelos (Global, Local y Global-Local) superaron consistentemente a un conjunto de benchmarks (incluyendo modelos ingenuos, históricos y de "conflictología") en seis ventanas de prueba anuales (2018-2023).
• Métricas: Se evaluaron mediante CRPS (Continuous Ranked Probability Score), IGN (Ignorance Score) y MIS (Mean Interval Score). Los modelos propuestos obtuvieron los mejores resultados en la mayoría de los casos, aunque las diferencias absolutas eran marginales.
• Análisis de Simulación: Dado que la alta inflación de ceros comprime el rango informativo de las métricas, los autores realizaron un experimento con datos simulados. Los resultados mostraron que una mejora de ~0.007 en CRPS (la diferencia observada frente al mejor benchmark) corresponde a una mejora sustancial en la calidad predictiva real, especialmente en la precisión de eventos no nulos.
• Evaluación por País:
  • En una evaluación global, el modelo se situó en posiciones medias debido a la penalización en países sin violencia (donde el modelo asume una pequeña probabilidad base de conflicto, a diferencia de los benchmarks que predicen cero absoluto).
  • Sin embargo, al restringir la evaluación a paños-años con violencia observada (el caso más relevante para la práctica), el modelo propuesto obtuvo el mejor rango promedio en las tres métricas distribucionales frente a todos los benchmarks.
• Validación Externa: Los modelos obtuvieron el primer lugar en la evaluación de predicciones futuras reales ("true future") del desafío VIEWS a nivel de celda de cuadrícula.

5. Significado e Implicaciones

• Utilidad Práctica: El enfoque demuestra que es posible generar predicciones de alta resolución con estimaciones de incertidumbre útiles para la toma de decisiones, superando a los enfoques heurísticos tradicionales.
• Interpretación de Métricas: El estudio resalta la necesidad de entender el comportamiento de las métricas de evaluación en contextos de datos desequilibrados (inflación de ceros). Las pequeñas diferencias en las puntuaciones agregadas pueden ocultar mejoras significativas en la detección de eventos reales.
• Futuro de la Investigación:
  • Abre la posibilidad de integrar fuentes de datos regionales (ej. organizaciones como ECOWAS) mediante modelos locales.
  • Sugiere la necesidad de investigar más a fondo la composición de la incertidumbre: ¿cuánto es debido a la falta de datos (incertidumbre epistémica) y cuánto es inherente al proceso estocástico del conflicto (incertidumbre aleatoria)?
  • Propone el uso de técnicas como la clasificación selectiva y la detección de distribuciones fuera de rango (OOD) para rechazar predicciones con incertidumbre excesiva.

En conclusión, el artículo presenta un marco robusto y escalable para la predicción de conflictos que prioriza la cuantificación de la incertidumbre, logrando un rendimiento superior en los escenarios donde la predicción es más crítica: las zonas de conflicto activo.