A century of monthly rainfall in the Senegal River Basin (1895–2020): automated quality control, machine learning gap-filling, and the cost of network attrition

Il Grande Detective della Pioggia

Immaginate la Terra come una gigantesca macchina che respira. Uno dei suoi organi più vitali è il meteo, specificamente la pioggia che cade al suolo. In scienza, questo si chiama idrologia — lo studio di come l'acqua si muove attraverso la terra, i fiumi e le nuvole. Per capire come funziona questa macchina, gli scienziati hanno bisogno di un diario della pioggia lungo e ininterrotto. Lo chiamano "serie temporali". Pensatelo come un album di foto di famiglia: se avete una foto ogni anno per cento anni, potete vedere come la famiglia è crescita, chi si è trasferito e com'era il tempo durante i grandi eventi. Ma cosa succede se qualcuno strappa delle pagine, scrive i numeri sbagliati nei margini o smette del tutto di scattare foto? Questo è il problema che gli scienziati affrontano in Africa Occidentale.

Per decenni, la regione ha sofferto di una rete sempre più esigua di pluviometri (gli strumenti che raccolgono la pioggia) e di vecchi registri pieni di refusi. Questo è importante perché il bacino del fiume Senegal è una linea vitale per milioni di persone. Esso fornisce acqua per bere, per l'agricoltura e per mantenere piene le enormi riserve. Se il "diario" della pioggia è interrotto o pieno di bugie, le persone che gestiscono l'acqua potrebbero commettere errori terribili — come aprire una diga quando sta per avvenire un'inondazione, o chiuderla quando i raccolti stanno morendo. La grande domanda è: possiamo riparare il diario rotto? Possiamo usare i moderni trucchi informatici per riempire le pagine mancanti e correggere i refusi senza inventare una nuova pioggia che non è mai caduta?

La Missione di Salvataggio della Pioggia Centenaria

Questo articolo è una massiccia missione di salvataggio per il bacino del fiume Senegal, una vasta area condivisa da Guinea, Mali, Mauritania e Senegal. Gli autori, un team di ricercatori, hanno deciso di raccogliere ogni singolo record mensile di precipitazioni che riuscivano a trovare dal 1895 al 2020. Non si sono limitati a raccoglierli; hanno costruito un sistema automatizzato super intelligente per pulire il disordine. Immaginate un bibliotecario che non solo trova i libri, ma nota anche quando qualcuno ha scritto "1000" invece di "10.00" in un registro, o quando due persone diverse hanno scritto due storie diverse per lo stesso giorno.

Il team ha assemblato una biblioteca di 138 stazioni e oltre 80.000 osservazioni. Ma prima di poter usare questi dati, hanno dovuto giocare a "trova l'errore". Il loro sistema automatizzato ha scoperto che l'1,4% dei record era errato. Alcuni errori erano assurdi: una stazione in Mali ha registrato 111.622,8 mm di pioggia in un singolo mese (che sono più di 111 metri di pioggia, fisicamente impossibile!) e un'altra ne ha registrati 90.120 mm. Il sistema si è reso conto che si trattava solo di errori di virgole decimali e li ha corretti dividendo per 100. La lezione qui è spaventosa ma importante: lasciare anche solo uno di questi errori non corretto può spostare l'intera storia delle precipitazioni della regione di decine di deviazioni standard. È come se una persona in una stanza di 100 pesasse improvvisamente 10 tonnellate; il peso medio dell'intera stanza sembrerebbe completamente sbagliato.

Una volta puliti i dati, i ricercatori si sono posta la prossima grande domanda: Come colmiamo i vuoti? Nel corso degli anni, molte stazioni meteorologiche hanno chiuso, lasciando enormi buchi nel record, specialmente dopo gli anni '90. Gli autori hanno testato sei metodi diversi per indovinare quanta pioggia sia caduta durante quei mesi mancanti. Hanno usato di tutto, dalla matematica semplice (guardare cosa hanno ricevuto i tuoi vicini) al sofisticato machine learning (programmi informatici che imparano dai modelli).

È qui che la storia si fa interessante. I ricercatori hanno eseguito migliaia di simulazioni, fingendo di nascondere parti dei dati e poi vedendo quale metodo riusciva a indovinarle meglio.

• Per i vuoti casuali (come pochi mesi mancanti qua e là) o vuoti a blocchi (anni interi mancanti), i metodi più semplici hanno vinto. Una tecnica classica chiamata metodo del "rapporto normale" e una semplice regressione lineare sono stati i campioni. Hanno recuperato la pioggia mancante con un punteggio di abilità (efficienza di Kling-Gupta) vicino a 0,90. I modelli di machine learning più sofisticati, come Random Forest e XGBoost, sono andati altrettanto bene dei modelli semplici, ma non li hanno mai battuti. Si scopre che, quando hai una rete densa di vicini, non serve un supercomputer; ti basta una buona mappa di chi vive accanto a te.
• Tuttavia, c'è un trucco. L'articolo ha scoperto che quando i vuoti avvengono alla fine del record (perché le stazioni hanno chiuso durante un periodo di cambiamento climatico), i metodi semplici falliscono. Iniziano a ipotizzare che sia stato più piovoso di quanto non sia stato in realtà. Questo è chiamato "bias umido" (wet bias). Poiché i modelli erano stati addestrati su anni più umidi del passato, continuavano a ipotizzare "sta piovendo!", anche quando la siccità era iniziata. In questi specifici "vuoti terminali", il bias poteva raggiungere i 9,4 mm al mese con i metodi semplici.

Ma i modelli di machine learning hanno salvato la situazione in questo specifico scenario. Quando i ricercatori hanno riunito tutte le stazioni e hanno dato al computer un suggerimento basato sull' "anno solare" (dicendogli: "Ehi, siamo negli anni '90, le cose si stanno seccando"), i modelli di machine learning sono riusciti a correggere il bias. Hanno ridotto l'errore a soli 2,0 mm al mese. Quindi, il machine learning non è magia per ogni problema, ma è l'unico strumento che funziona quando il clima cambia e la rete di dati sta crollando.

Il team ha anche controllato il proprio lavoro confrontandolo con i dati satellitari. I satelliti hanno confermato che la regione si sta effettivamente riprendendo da una lunga siccità che è durata dal 1968 al 1993. Tuttavia, i dati satellitari hanno mostrato che la ripresa è stata più graduale rispetto a quanto suggerito dai dati dei pluviometri. Ciò ha dimostato che la riduzione della rete di pluviometri stava facendo apparire la pioggia recente più forte di quanto non fosse realmente — un classico caso di "bias di attrito" (attrition bias).

In definitiva, questo articolo ci fornisce un diario della pioggia pulito e corretto, lungo un secolo, per il bacino del fiume Senegal. Ci dice che per i dati mancanti di routine, la matematica semplice basata sui vicini è ancora la regina. Ma quando la rete si restringe e il clima cambia, abbiamo bisogno di modelli di machine learning più intelligenti e aggregati per evitare di ingannare noi stessi. Gli autori hanno rilasciato questo database pulito al pubblico, fornendo ai quattro paesi che condividono il fiume una base affidabile per gestire l'acqua, pianificare le inondazioni e negoziare la pace. È un promemoria del fatto che, nella scienza, pulire il passato è importante quanto quanto prevedere il futuro.