Forests of Uncertaint(r)ees: Using tree-based ensembles to estimate probability distributions of future conflict

Cet article propose une méthode basée sur des ensembles d'arbres de décision et des régresseurs distributionnels pour estimer des distributions de probabilité complètes des futurs conflits violents, surmontant ainsi les limites des prévisions ponctuelles traditionnelles et démontrant une amélioration significative des performances prédictives jusqu'à un an à l'avance.

L'essentiel

🌳 Forêts d'Incertitudes : Comment prédire les conflits sans être devin

Imaginez que vous essayez de prédire la météo pour les 12 prochains mois, mais au lieu de la pluie ou du soleil, vous essayez de prédire où et quand des conflits violents vont éclater. C'est le défi que se sont lancé les auteurs de cet article.

Le problème ? Les prédictions actuelles sont souvent trop simplistes. Elles disent : « Il y a 10 % de chances de conflit ici ». Mais cela ne vous dit pas combien de personnes pourraient être touchées, ni à quel point cette prévision est fiable. C'est comme si un météorologue vous disait « Il va pleuvoir » sans vous dire s'il s'agit d'une fine bruine ou d'un ouragan, ni s'il est sûr de lui.

Les auteurs proposent donc une nouvelle approche : au lieu de donner un seul chiffre, ils veulent donner toute une gamme de possibilités (une distribution de probabilité), un peu comme une carte de météo qui montre les zones de pluie, les orages et les zones sèches.

1. Pourquoi est-ce si difficile ? (Les deux sources de brouillard)

Pour prédire les conflits, il y a deux grands obstacles qui créent du « brouillard » (de l'incertitude) :

• La nature chaotique des conflits : La guerre est imprévisible. Les humains sont complexes, les situations changent vite, et parfois, des événements très rares se produisent sans raison apparente. C'est comme essayer de prédire exactement où va tomber une feuille d'arbre dans une tempête.
• Les données imparfaites : Nos informations sont souvent incomplètes ou biaisées. Dans les zones de guerre, il est difficile de compter les victimes ou de savoir ce qui se passe vraiment. C'est comme essayer de faire un puzzle alors qu'il manque la moitié des pièces et que certaines sont fausses.

2. La solution : Une « Forêt » d'arbres intelligents

Pour résoudre ce problème, les chercheurs ont créé un système basé sur des arbres de décision (des algorithmes qui prennent des décisions en suivant des règles, comme un jeu de « Oui/Non »).

Au lieu d'un seul arbre, ils ont planté une forêt entière (des centaines d'arbres) qui travaillent ensemble. Voici comment ils ont structuré leur approche :

• Le système à deux étages (Le « Hurdle ») :
  Imaginez un portier à l'entrée d'un club.

  1. Le premier étage (Le Portier) : Il décide simplement : « Va-t-il y avoir de la violence ou non ? ». C'est un filtre rapide.
  2. Le deuxième étage (Le Barman) : Si le portier dit « Oui, il y a de la violence », alors le barman estime l'intensité : « Est-ce une petite bagarre ou une guerre totale ? ».
     Cela permet de mieux gérer le fait que la plupart du temps, il n'y a pas de violence (c'est ce qu'on appelle un problème « à zéro gonflé »).

• La carte mondiale vs. les cartes locales :
  Les chercheurs ont testé deux stratégies :

  • Le modèle « Global » : Un seul expert qui connaît toute l'Afrique et le Moyen-Orient.
  • Le modèle « Local » : Une équipe de spécialistes, chacun expert d'une petite région (comme un spécialiste du Sahel, un autre du Soudan, etc.).
    Ils ont ensuite créé un modèle hybride qui mélange les deux : il utilise l'expert global quand c'est nécessaire, mais fait appel au spécialiste local quand la situation est très spécifique à une région.

3. Les résultats : Mieux que les anciennes méthodes

En testant leur système sur des données passées (de 2018 à 2023), ils ont découvert que :

• Ils battent les concurrents : Leur système est plus précis que les méthodes traditionnelles qui se basent uniquement sur l'histoire récente des conflits.
• L'hybride gagne : Le modèle qui mélange les experts globaux et locaux fonctionne aussi bien, voire mieux, que le modèle global seul. Cela prouve qu'on peut utiliser des données locales spécifiques sans tout casser.
• La précision compte là où ça compte : Si l'on regarde les pays sans violence, les modèles sont tous à peu près pareils (car ils disent tous « rien ne va se passer »). Mais dès qu'il y a une violence réelle, le modèle des auteurs est beaucoup plus performant pour dire « Attention, quelque chose va arriver ici ».

4. L'analogie finale : La prévision de la météo

Pour résumer, imaginez que vous voulez savoir s'il va pleuvoir demain.

• Les anciennes méthodes vous disent : « Il va pleuvoir » (Point).
• La nouvelle méthode vous dit : « Il y a 80 % de chances qu'il pleuve, mais si ça pleut, cela pourrait être une averse légère ou un orage violent. Voici la carte des zones les plus à risque. »

Même si la prédiction n'est jamais parfaite (on ne peut pas tout savoir), cette approche donne aux décideurs politiques une carte de l'incertitude. Ils savent non seulement où regarder, mais aussi combien ils peuvent faire confiance à cette information. C'est comme passer d'une simple alerte « Orage » à une carte météo détaillée avec des niveaux de risque.

En conclusion : Ce papier nous apprend que pour prédire l'imprévisible (la guerre), il faut accepter l'incertitude, utiliser plusieurs experts (locaux et globaux), et ne pas se contenter d'un seul chiffre, mais regarder toute la gamme des possibilités.

Résumé technique

Voici un résumé technique détaillé de l'article « Forests of Uncertaint(r)ees » en français.

1. Problématique et Contexte

La prédiction des conflits armés, en particulier au niveau des cellules de grille PRIO-GRID mensuelles (pgm), est caractérisée par une incertitude extrême. Les systèmes de prévision traditionnels fournissent généralement des prédictions ponctuelles (estimations de probabilité d'occurrence ou de nombre de victimes) qui ne reflètent que le résultat le plus probable et ne fournissent aucune estimation de confiance.

Les auteurs identifient deux sources majeures d'incertitude limitant l'utilité de ces prévisions :

1. Nature du conflit : Complexité des déterminants, rareté relative des événements (surtout au niveau pgm), et nature changeante des conflits.
2. Limites des données : Qualité variable, biais de sélection (dépendance aux médias), résolution faible, et absence de données pour certains facteurs structurels.

L'objectif est de passer d'une approche déterministe à une quantification de l'incertitude (UQ) complète, en estimant des distributions prédictives plutôt que des points uniques, afin de mieux informer les décideurs politiques sur les risques et les intervalles de confiance.

2. Méthodologie

L'approche proposée combine des ensembles d'arbres de décision (Tree-based ensembles) dans une configuration AutoML personnalisée, appliquée au niveau pgm pour l'Afrique et le Moyen-Orient.

A. Approche « Hurdle » (Obstacle) Probabiliste

Pour gérer l'extrême surabondance de zéros (moins de 0,4 % des pgm ont des victimes) et la distinction entre l'occurrence et l'intensité du conflit, le modèle utilise une architecture en deux étapes :

1. Classificateur : Détermine la probabilité qu'au moins une victime survienne (variable binaire).
   • Algorithmes : Random Forest (RF) ou XGBoost.
   • Métrique d'optimisation : AUC de la courbe Precision-Recall (adaptée aux données déséquilibrées).
2. Régresseur : Estime la distribution des victimes pour les cas où le seuil est franchi (données non nulles).
   • Algorithmes : Quantile Regression Forests (QRF), Distributional Random Forests (DRF), ou Natural Gradient Boosting (NGBoost).
   • Sortie : Distribution complète (échantillons) plutôt qu'une moyenne.
   • Métrique d'optimisation : CRPS (Continuous Ranked Probability Score).

B. Combinaison des Sorties (Quasi-Hurdle Ensemble)

Au lieu de multiplier simplement la probabilité de classification par la valeur de régression (ce qui créerait des nombres non entiers ou surestimerait la probabilité), les auteurs utilisent une méthode d'échantillonnage :

• Sur 1 000 échantillons générés par le régresseur, une proportion correspondant à la probabilité de classification est conservée.
• Le reste des échantillons est rempli par des zéros.
• Cela préserve la nature discrète des comptes de victimes et gère correctement la probabilité d'occurrence nulle.

C. Ensembles Spatiaux (Global vs Local)

Pour pallier les problèmes de disponibilité des données et les mécanismes de conflit spécifiques à certaines régions, trois spécifications de modèles sont testées :

1. Modèle Global : Entraîné sur toute la zone d'intérêt.
2. Modèle Local (Ensemble régional) : Le territoire est divisé en 6 clusters géographiques (basés sur la distribution spatiale des conflits historiques via HDBSCAN). Un modèle spécifique est entraîné pour chaque région.
3. Modèle Global-Local (Ensemble hybride) : Sélectionne dynamiquement, pour chaque région, la meilleure combinaison de classificateur et de régresseur (global ou local) basée sur la performance des 3 années précédentes.

3. Contributions Clés

• Estimation de distributions complètes : Passage des prévisions ponctuelles à des distributions prédictives pour chaque pgm, permettant de quantifier l'incertitude (aleatoire et épistémique).
• Architecture AutoML adaptative : Utilisation d'une recherche bayésienne (TPE) pour sélectionner automatiquement les meilleurs algorithmes et hyperparamètres pour chaque fenêtre temporelle de prévision.
• Intégration de modèles régionaux : Démonstration que l'agrégation de modèles locaux dans un ensemble spatial n'altère pas la performance globale, ouvrant la voie à l'utilisation de données régionales spécifiques (ex: données d'organisations régionales comme la CEDEAO).
• Analyse critique des métriques : Mise en évidence du fait que, dans un contexte fortement déséquilibré (zéro-inflated), les écarts minimes entre les scores globaux (CRPS, IGN, MIS) peuvent masquer des différences significatives de qualité de prédiction.

4. Résultats et Évaluation

Les modèles ont été évalués sur six fenêtres de test annuelles (2018-2023) et comparés à des benchmarks (naïfs et basés sur l'histoire des conflits) fournis par le défi VIEWS.

• Performance Globale : Les trois modèles (Global, Local, Global-Local) surpassent systématiquement les benchmarks sur les métriques de distribution (CRPS, IGN, MIS), avec des différences marginales mais statistiquement significatives entre eux. Le modèle Global et Global-Local obtiennent les meilleurs résultats.
• Analyse par Simulation : Une expérience avec des données simulées a montré que les petites différences observées dans les scores réels correspondent à des écarts substantiels dans la qualité de prédiction, surtout pour les événements non nuls.
• Analyse par Pays :
  • Sur l'ensemble des pays (incluant ceux sans violence), le modèle se classe moins bien en raison de sa prédiction d'une probabilité de base non nulle (ce qui pénalise les prévisions de zéro parfait).
  • Cependant, lorsqu'on restreint l'évaluation aux années/pays où des violences ont été observées (le cas d'usage le plus critique), le modèle proposé obtient le meilleur rang moyen sur les trois métriques, surpassant nettement les benchmarks.
• Validation Future : Les modèles ont été classés premières parmi toutes les contributions au niveau pgm lors de l'évaluation des prévisions futures réelles par l'équipe VIEWS.

5. Signification et Perspectives

• Utilité Pratique : La capacité à fournir des distributions permet aux décideurs de voir non seulement le risque le plus probable, mais aussi la probabilité d'événements extrêmes (queues de distribution), ce qui est crucial pour la prévention.
• Compréhension de l'Incertitude : L'article souligne que l'incertitude dans la prédiction des conflits provient autant de la nature stochastique des conflits que des lacunes des données. La séparation de ces sources reste un défi.
• Améliorations Futures :
  • Intégration de sources de données supplémentaires (régionales) via des modèles multi-niveaux.
  • Utilisation de techniques de détection de données hors distribution (OOD) pour rejeter les prévisions trop incertaines.
  • Amélioration de la qualité des données de référence (ground truth) pour mieux distinguer l'incertitude épistémique de l'aleatoire.

En conclusion, cette étude démontre qu'il est possible de construire des systèmes de prévision de conflits à haute résolution, capables de fournir des estimations d'incertitude robustes, en combinant des méthodes d'apprentissage automatique modernes (ensembles d'arbres, approches hurdle) avec une analyse rigoureuse des métriques d'évaluation dans un contexte de données déséquilibrées.