A century of monthly rainfall in the Senegal River Basin (1895–2020): automated quality control, machine learning gap-filling, and the cost of network attrition

De Grote Regen-Detective

Stel je de Aarde voor als een gigantische, ademende machine. Een van haar meest vitale organen is het weer, specifiek de regen die op de grond valt. In de wetenschap wordt dit hydrologie genoemd—de studie van hoe water zich door het land, de rivieren en de wolken beweegt. Om te begrijpen hoe deze machine werkt, hebben wetenschappers een lange, ononderbroken dagboekregistratie van neerslag nodig. Ze noemen dit "tijdreeksen". Denk aan een familiealbum: als je elke honderd jaar een foto hebt, kun je zien hoe de familie groeide, wie er wegtrok en hoe het weer was tijdens de grote gebeurtenissen. Maar wat gebeurt er als iemand pagina's uit het album scheurt, de verkeerde getallen in de marges schrijft, of helemaal stopt met het maken van foto's? Dat is het probleem waar wetenschappers in West-Afrika mee kampen.

Decennialang heeft de regio te maken gehad met een krimpend netwerk van regenmeters (de apparaten die regen opvangen) en oude registers vol typefouten. Dit is belangrijk omdat het Senegal-rivierbekken een levensader is voor miljoenen mensen. Het biedt water voor drinken, landbouw en het vullen van enorme reservoirs. Als het "dagboek" van de regen kapot is of vol staat met leugens, kunnen de mensen die het water beheren verschrikkelijke fouten maken—zoals een dam openen wanneer er een overstroming dreigt, of deze sluiten wanneer de gewassen aan het verdorren zijn. De grote vraag is: Kunnen we het kapotte dagboek repareren? Kunnen we moderne computertrucs gebruiken om de ontbrekende pagina's in te vullen en de typefouten te corrigeren zonder nieuwe regen te verzinnen die nooit is gevallen?

De Eeuwlang Regen-Reddingsmissie

Dit artikel is een enorme reddingsmissie voor het Senegal-rivierbekken, een uitgestrekt gebied dat gedeeld wordt door Guinee, Mali, Mauritanië en Senegal. De auteurs, een team van onderzoekers, besloten elke enkele maandelijkse neerslagregistratie te verzamelen die ze konden vinden van 1895 tot 2020. Ze hebben de data niet alleen verzameld; ze hebben een superintelligent, geautomatiseerd systeem gebouwd om de rommel op te ruimen. Stel je een bibliothecaris voor die niet alleen boeken vindt, maar ook ziet wanneer iemand "1000" heeft geschreven in plaats van "10.00" in een grootboek, of wanneer twee verschillende mensen twee verschillende verhalen voor dezelfde dag hebben opgeschreven.

Het team stelde een bibliotheek samen van 138 stations en meer dan 80.000 waarnemingen. Maar voordat ze deze data konden gebruiken, moesten ze de game "zoek de fout" spelen. Hun geautomatiseerde systeem vond dat 1,4% van de records foutief was. Sommige fouten waren extreem: één station in Mali registreerde 111.622,8 mm regen in een enkele maand (dat is meer dan 111 meter regen, wat fysiek onmogelijk is!), en een ander registreerde 90.120 mm. Het systeem realiseerde zich dat dit slechts fouten met de komma waren en corrigeerde ze door te delen door 100. De les hier is angstaanjagend maar belangrijk: het onom corrected laten van slechts één van deze fouten kan de volledige regengeschiedenis van de regio met tientallen standaarddeviaties verschuiven. Het is alsof één persoon in een kamer van 100 plotseling 10 ton weegt; het gemiddelde gewicht van de hele kamer zou er volkomen verkeerd uitzien.

Toen de data schoon was, stelden de onderzoekers de volgende grote vraag: Hoe vullen we de gaten op? Door de jaren heen zijn veel regenstations gesloten, waardoor er grote gaten in de registratie zijn achtergebleven, vooral na de jaren 1990. De auteurs testten zes verschillende methoden om te raden wat de regen tijdens die ontbrekende maanden was. Ze gebruikten alles van eenvoudige wiskunde (kijken naar wat je buren kregen) tot geavanceerde machine learning (computerprogramma's die patronen leren).

Hier wordt het verhaal interessant. De onderzoekers voerden duizenden simulaties uit, waarbij ze delen van de data verborgen en vervolgens keken welke methode het beste kon raden.

• Voor willekeurige gaten (zoals een paar ontbrekende maanden hier en daar) of blokgaten (ontbrekende hele jaren), wonnen de eenvoudigste methoden. Een klassieke techniek genaamd de "normal-ratio"-methode en een eenvoudige lineaire regressie waren de kampioenen. Ze herstelden de ontbrekende regen met een skill score (Kling-Gupta efficiëntie) nabij de 0,90. De geavanceerde machine learning-modellen, zoals Random Forest en XGBoost, deden het net zo goed als de eenvoudige modellen, maar versloegen ze nooit. Het blijkt dat wanneer je een dicht netwerk van buren hebt, je geen supercomputer nodig hebt; je hebt alleen een goede kaart nodig van wie er naast je woistert.
• Er is echter een addertje onder het gras. Het artikel stelde vast dat wanneer de gaten optreden aan het einde van de registratie (omdat stations sloten tijdens een tijd waarin het klimaat aan het veranderen was), de eenvoudige methoden falen. Ze beginnen te gokken dat het natter was dan het in werkelijkheid was. Dit wordt een "wet bias" (natte bias) genoemd. Omdat de modellen getraind waren op nattere jaren uit het verleden, bleven ze gokken "het regent!", zelfs toen de droogte was begonnen. In deze specifieke "terminale gaten" kon de bias de 9,4 mm per maand bereiken met eenvoudige methoden.

Maar de machine learning-modellen redden de dag in dit specifieische scenario. Wanneer de onderzoekers alle stations samenvoegden en de computer een "kalenderjaar" als hint gaven (tegen de computer zegende: "Hé, we zitten in de jaren 1990, de dingen worden droger"), konden de machine learning-modellen de bias corrigeren. Ze brachten de fout terug naar slechts 2,0 mm per maand. Machine learning is dus geen magie voor elk probleem, maar het is het enige hulpmiddel dat werkt wanneer het klimaat verschuift en het datanetwerk uit elkaar valt.

Het team controleerde hun werk ook tegenover satellietgegevens. De satellieten bevestigden dat de regio inderdaad aan het herstellen is van een lange droogte die duurde van 1968 tot 1993. De satellietgegevens toonden echter aan dat het herstel geleidelijker verliep dan de regenmetergegevens suggereerden. Dit bewees dat het krimpendende netwerk van regenmeters de recente regen sterker deed lijken dan deze in werkelijkheid was—een klassiek geval van "attrition bias" (erosie-bias).

Uiteindelijk levert dit artikel een schone, gecorrigeerde, eeuwslange dagboekregistratie van de regen voor het Senegal-rivierbekken. Het vertelt ons dat voor routineuze ontbrekende data, eenvoudige, op buren gebaseerde wiskunde nog steeds de koning is. Maar wanneer het netwerk krimpt en het klimaat verandert, hebben we slimmere, gepoolde machine learning-modellen nodig om niet onszelf te bedriegen. De auteurs hebben deze opgeschoonde database publiekelijk beschikbaar gesteld, waardoor de vier landen die de rivier delen een betrouwbare basis hebben om hun water te beheren, overstromingen te plannen en vrede te onderhandelen. Het is een herinnering dat het in de wetenschap even belangrijk is om het verleden op te schonen als om de toekomst te voorspellen.