Forests of Uncertaint(r)ees: Using tree-based ensembles to estimate probability distributions of future conflict

Questo studio propone un approccio basato su ensemble di alberi decisionali per passare dalle previsioni puntuali alle distribuzioni predittive complete dei futuri conflitti, superando l'incertezza e le limitazioni dei dati tradizionali e dimostrando prestazioni superiori rispetto ai benchmark storici.

L'essenziale

🌲 Foreste di "Alberi" dell'Incertezza: Come prevedere i conflitti senza essere sballottati dal caso

Immagina di dover prevedere il meteo per il prossimo anno. Se ti dicessero solo: "Domani pioverà", avresti un'informazione, ma non sapresti quanto pioverà, se sarà un acquazzone o una pioggerellina, o se forse il modello si è sbagliato e invece ci sarà il sole.

Questo è esattamente il problema che gli autori di questo studio (Daniel Mittermaier e il suo team) hanno affrontato con i conflitti armati.

1. Il Problema: La "Pallina da Golf" vs. La "Nebbia"

Fino a poco tempo fa, i sistemi di previsione dei conflitti funzionavano come una pallina da golf: ti dicevano un solo numero preciso (es. "Ci saranno 5 morti").
Il problema? La guerra è caotica. A volte succede tutto, a volte niente. Dare un solo numero è come lanciare una moneta e dire "è testa" senza dirti che c'è il 49% di probabilità che sia croce. È utile? Poco. Se sei un politico che deve prendere decisioni, hai bisogno di sapere se il rischio è una "pioggia leggera" o un "uragano".

Gli autori dicono: "Non diamo solo un numero. Diamovi una nebbia di possibilità". Invece di dire "5 morti", dicono: "C'è il 90% di probabilità che siano 0, ma c'è una piccola chance che siano 100". Questo si chiama distribuzione di probabilità.

2. La Soluzione: Una Foresta di Alberi Intelligenti

Per fare questo, hanno usato una tecnica chiamata "Ensemble di Alberi" (da qui il titolo Forests of Uncertaint(r)ees, un gioco di parole tra "Alberi" e "Alberi dell'Incertezza").

Immagina di non avere un solo esperto che ti dà un parere, ma di avere una giuria di 100 esperti:

• Alcuni sono bravi a dire se scoppierà una guerra (il classificatore).
• Altri sono bravi a dire quanti morti ci saranno, se la guerra scoppia (il regressore).

Questi "alberi" decisionali lavorano insieme. Invece di dire "Sì/No", ogni albero lancia una moneta virtuale. Se 90 alberi dicono "no" e 10 dicono "sì", il sistema capisce che c'è un rischio basso ma non nullo. Se tutti dicono "sì", il rischio è altissimo.

3. Il Trucco: La "Porta di Accesso" (Hurdle)

C'è un problema enorme nei dati sui conflitti: la maggior parte dei giorni e dei luoghi sono tranquilli. È come cercare di prevedere i terremoti: il 99,9% delle volte non succede nulla.
Se un modello cerca di prevedere tutto insieme, si confonde.

Gli autori hanno usato un approccio a due porte (Hurdle Model):

1. La prima porta: "Scoppierà la violenza oggi in questo villaggio?" (Sì/No).
2. La seconda porta: "Se la risposta è Sì, quanto sarà grave?" (Quanti morti?).

È come entrare in un club: prima devi superare il portiere (la prima porta), e solo se entri puoi ordinare il drink (la seconda porta). Questo permette al modello di gestire meglio i casi in cui non succede nulla (che sono la stragrande maggioranza).

4. Mappatura Globale vs. Mappatura Locale

Hanno provato due strategie:

• Il Modello Globale: Un unico "super-esperto" che guarda tutto il mondo (Africa e Medio Oriente) e cerca di capire le regole generali.
• Il Modello Locale: Hanno diviso il mondo in regioni (come gruppi di paesi vicini) e hanno creato "esperti locali" per ogni zona. Un esperto della Somalia sa cose che un esperto generico non sa, e viceversa.

Poi hanno creato un Modello Ibrido: prendono il meglio dal modello globale e il meglio da quello locale per ogni singola zona. È come avere un allenatore generale che coordina i migliori tattici di ogni squadra locale.

5. I Risultati: Non è Perfetto, ma è Migliore

I risultati mostrano che il loro sistema batte i vecchi metodi (come guardare solo la storia passata).

• La sfida: Poiché i conflitti sono rari, i numeri di "errore" sembrano piccolissimi e quasi uguali tra i vari modelli. È come dire che due corridori hanno perso 0,01 secondi l'uno dall'altro: sembra niente, ma in realtà è una differenza enorme.
• La prova: Hanno fatto un esperimento con dati simulati (come un videogioco) per vedere se quelle piccole differenze contavano davvero. Risultato: Sì, contano. Il loro modello riesce a prevedere meglio proprio nei momenti e nei luoghi dove la violenza è più probabile, che è esattamente quando serve di più.

6. Conclusione: Perché è Importante?

Questo studio non ci dice esattamente quando e dove scoppierà la guerra (nessuno può farlo con certezza al 100%). Ma ci dice:

"Ehi, in questa zona c'è una nebbia di incertezza che si sta addensando. Non è certo che accadrà, ma le probabilità sono più alte del solito. Preparati."

Invece di darti una risposta secca e spesso sbagliata, ti dà una mappa delle probabilità, permettendo ai decisori di capire meglio i rischi e di agire con più cautela. È come passare da un orologio rotto che segna solo un'ora fissa, a una bussola che ti mostra tutte le direzioni possibili e quanto è forte il vento.

In sintesi: Hanno creato un sistema che non cerca di indovinare il futuro, ma di quantificare l'incertezza, usando una "foresta" di modelli intelligenti che lavorano insieme per darti una visione più chiara, anche quando il mondo è confuso.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Forests of Uncertaint(r)ees: Using tree-based ensembles to estimate probability distributions of future conflict" in italiano.

Titolo

Foreste di Incertezze: Utilizzo di ensemble basati su alberi per stimare distribuzioni di probabilità di conflitti futuri.

1. Il Problema e il Contesto

Le previsioni attuali sui conflitti armati e le relative vittime, fornite a livello di griglia spaziale e temporale (PRIO-GRID-month o pgm), sono caratterizzate da un'elevata incertezza che ne limita l'utilità pratica.

• Limiti delle previsioni puntuali: I sistemi esistenti forniscono solitamente stime puntuali (es. numero di vittime o probabilità di occorrenza) senza fornire misure di confidenza. Questo è problematico perché i conflitti sono eventi rari, complessi e soggetti a dinamiche non lineari.
• Fonti di incertezza: L'incertezza deriva da due fonti principali:
  1. Natura del conflitto: Complessità intrinseca, rarità degli eventi (specialmente a livello pgm), e la difficoltà di tradurre le spiegazioni causali in previsioni affidabili.
  2. Limitazioni dei dati: Qualità variabile, disponibilità limitata, risoluzione bassa dei dati predittivi e bias nei dataset di eventi di conflitto (spesso basati su notizie).
• Obiettivo: Spostare il paradigma dalle previsioni puntuali alla stima di distribuzioni predittive complete, permettendo la quantificazione dell'incertezza (sia aleatoria che epistemica) per ogni singola cella geografica e mese.

2. Metodologia

Gli autori hanno sviluppato un approccio di Machine Learning (ML) basato su ensemble di modelli ad albero, integrato in una configurazione AutoML personalizzata.

A. Struttura del Modello: Approccio "Hurdle" (Ostacolo)

Il cuore della metodologia è un modello "hurdle" a due stadi, progettato per gestire l'elevata zero-inflazione dei dati (meno dello 0,4% dei pgm presenta vittime):

1. Classificatore (Primo stadio): Determina la probabilità che si verifichi un evento violento (vittime > 0).
   • Algoritmi: Random Forest (RF) o XGBoost (XGB).
   • Metrica di tuning: Area sotto la curva Precision-Recall (PR-AUC), più adatta delle ROC-AUC per dati sbilanciati.
2. Regressore (Secondo stadio): Stima la distribuzione delle vittime condizionata al fatto che l'evento sia avvenuto (vittime > 0).
   • Algoritmi: Random Forest Distribuzionale (DRF), Foresta di Regressione Quantile (QRF), o NGBoost (Natural Gradient Boosting).
   • Output: Non un singolo valore, ma una distribuzione di probabilità (es. 1.000 campioni estratti dalla distribuzione prevista).

B. Ensemble Spaziali e Regionali

Per affrontare le differenze sistemiche tra contesti regionali e i problemi di disponibilità dei dati, sono stati testati tre tipi di configurazioni:

1. Modello Globale: Addestrato su tutti i dati disponibili (Africa e Medio Oriente).
2. Modello Locale (Solo Regionale): Utilizza cluster geografici creati tramite algoritmo HDBSCAN sui dati storici di violenza. Ogni cluster ha il proprio modello addestrato solo sui dati di quella regione.
3. Ensemble Globale-Locale: Un approccio ibrido che seleziona dinamicamente, per ogni regione, la combinazione migliore tra i componenti del modello globale e locale (classificatore e regressore) basandosi sulle prestazioni storiche.

C. Integrazione degli Stadi

Invece di moltiplicare semplicemente la probabilità di occorrenza per il valore atteso del regressore (che produrrebbe numeri non interi), gli autori usano un approccio di campionamento: la probabilità di classificazione determina la percentuale di campioni nell'ensemble finale che sono zero, mentre il resto è estratto dalla distribuzione non-zero del regressore.

3. Risultati ed Valutazione

I modelli sono stati valutati su sei finestre temporali di test (2018-2023) utilizzando metriche distribuzionali standard nel campo:

• CRPS (Continuous Ranked Probability Score): Misura la qualità complessiva della distribuzione predittiva.
• IGN (Ignorance Score): Misura l'incertezza informativa.
• MIS (Mean Interval Score): Valuta la precisione degli intervalli di previsione.

Risultati Chiave:

• Superiorità rispetto ai Benchmark: Tutti e tre i modelli (Globale, Locale, Globale-Locale) hanno superato costantemente una serie di benchmark basati sulla storia dei conflitti (es. modelli naive, Poisson, bootstrap storico) in tutte le finestre temporali.
• Prestazioni dei Modelli: Il modello Globale e l'Ensemble Globale-Locale hanno ottenuto prestazioni quasi identiche, con differenze minime. Il modello Locale ha mostrato prestazioni leggermente inferiori ma comunque superiori ai benchmark.
• Analisi dell'Incertezza: Un'analisi tramite dati simulati ha dimostrato che le piccole differenze numeriche nelle metriche aggregate non sono rumore statistico, ma riflettono miglioramenti reali nella qualità della previsione, specialmente nelle regioni colpite da violenza.
• Valutazione per Paese: Sebbene il modello sia penalizzato nei paesi senza violenza (a causa della sua assunzione di una probabilità di base non nulla), quando la valutazione è limitata ai paesi con violenza osservata, il modello ottiene il primo posto per tutte le metriche distribuzionali rispetto ai benchmark.

4. Contributi Chiave

1. Quantificazione dell'Incertezza: Passaggio da previsioni puntuali a distribuzioni predittive complete per la previsione dei conflitti, permettendo agli utenti di valutare il rischio in modo più sfumato.
2. Gestione della Zero-Inflazione: Implementazione efficace di un approccio hurdle basato su ensemble ad albero per gestire la rarità estrema degli eventi violenti.
3. Integrazione di Modelli Regionali: Dimostrazione che l'integrazione di modelli regionali specifici in un ensemble spaziale non degrada le prestazioni, aprendo la strada all'uso di dataset regionali specifici che altrimenti non sarebbero utilizzabili in modelli globali.
4. Validazione Rigorosa: Uso di dati simulati per comprendere il comportamento delle metriche di valutazione in contesti ad alta zero-inflazione, evitando conclusioni fuorvianti basate su differenze marginali di punteggio.

5. Significato e Implicazioni

• Utilità Pratica: Fornire distribuzioni di probabilità invece di numeri singoli rende le previsioni più utili per i decisori politici, permettendo loro di valutare scenari di rischio (es. "c'è un 20% di probabilità di superare le 50 vittime") piuttosto che affidarsi a una singola stima.
• Robustezza: Il modello dimostra che è possibile ottenere previsioni ad alta risoluzione e con stime di incertezza affidabili utilizzando componenti ML relativamente semplici (alberi decisionali) combinati in modo intelligente.
• Futuro della Ricerca: Il lavoro evidenzia la necessità di migliorare la qualità dei dati e di comprendere meglio la natura stocastica intrinseca dei conflitti rispetto all'incertezza derivante da dati mancanti. Suggerisce anche l'uso di tecniche di "selective classification" per rifiutare previsioni quando l'incertezza è troppo alta per essere utile.

In sintesi, il paper rappresenta un passo significativo verso sistemi di allerta precoce più sofisticati, capaci di quantificare l'incertezza e di adattarsi alle specificità locali dei conflitti, superando i limiti dei metodi tradizionali basati su medie storiche.