A century of monthly rainfall in the Senegal River Basin (1895–2020): automated quality control, machine learning gap-filling, and the cost of network attrition

Die große Regen-Detektivgeschichte

Stellen Sie sich die Erde als eine riesige, atmende Maschine vor. Eines ihrer lebenswichtigsten Organe ist das Wetter, insbesondere der Regen, der auf den Boden fällt. In der Wissenschaft nennt man dies Hydrologie – die Lehre davon, wie Wasser durch das Land, die Flüsse und die Wolken fließt. Um zu verstehen, wie diese Maschine funktioniert, benötigen Wissenschaftler ein langes, ununterbrochenes Tagebuch der Niederschläge. Sie nennen diese „Zeitreihen“. Denken Sie an es wie ein Familienfotoalbum: Wenn Sie jedes Jahr für hundert Jahre ein Foto haben, können Sie sehen, wie die Familie gewachsen ist, wer weggezogen ist und wie das Wetter während der großen Ereignisse war. Aber was passiert, wenn jemand Seiten herausreißt, falsche Zahlen in die Ränder schreibt oder ganz aufhört, Fotos zu machen? Das ist das Problem, mit dem Wissenschaftler in Westafrika konfrontiert sind.

Seit Jahrzehnten leidet die Region unter einem schrumpfenden Netzwerk von Regenmessern (den Geräten, die den Regen auffangen) und alten Aufzeichnungen voller Tippfehler. Das ist wichtig, denn das Senegal-Flussbecken ist eine Lebensader für Millionen von Menschen. Es liefert Wasser zum Trinken, für die Landwirtschaft und hält riesige Reservoirs voll. Wenn das „Tagebuch“ des Regens lückenhaft oder voll mit Lügen ist, könnten die Menschen, die das Wasser verwalten, schreckliche Fehler machen – etwa einen Damm öffnen, wenn ein Hochwasser droht, oder ihn schließen, wenn die Ernte vertrocknet. Die große Frage lautet: Können wir das kaputte Tagebuch reparieren? Können wir moderne Computer-Tricks nutzen, um die fehlenden Seiten zu füllen und die Tippfehler zu korrigieren, ohne neuen Regen zu erfinden, der nie gefallen ist?

Die jahrhundertelange Regen-Rettungsmission

Dieses Paper ist eine massive Rettungsmission für das Senegal-Flusseinzugsgebiet, ein riesiges Gebiet, das von Guinea, Mali, Mauretanien und Senegal geteilt wird. Die Autoren, ein Team von Forschern, beschlossen, jede einzelne monatliche Niederschlagsaufzeichnung zu sammeln, die sie von 1895 bis 2020 finden konnten. Sie haben sie nicht nur gesammelt; sie bauten ein superintelligentes, automatisiertes System, um das Chaos aufzuräumen. Stellen Sie sich einen Bibliothekar vor, der nicht nur Bücher findet, sondern auch bemerkt, wenn jemand „1000“ statt „10.00“ in ein Kassenbuch geschrieben hat oder wenn zwei verschiedene Personen zwei verschiedene Geschichten für denselben Tag aufgeschrieben haben.

Das Team stellte eine Bibliothek von 138 Stationen und über 80.000 Beobachtungen zusammen. Doch bevor sie diese Daten nutzen konnten, mussten sie „Fehlersuche“ spielen. Ihr automatisiertes System fand heraus, dass 1,4 % der Datensätze fehlerhaft waren. Einige Fehler waren extrem: Eine Station in Mali verzeichnete 111.622,8 mm Regen in einem einzigen Monat (das sind mehr als 111 Meter Regen, was physisch unmöglich ist!), und eine andere verzeichnete 90.120 mm. Das System erkannte, dass dies lediglich Fehler bei den Dezimalstellen waren, und korrigierte sie, indem es die Werte durch 100 teilte. Die Lektion hier ist erschreckend, aber wichtig: Wenn man auch nur einen dieser Fehler unkorrigiert lässt, verschiebt das die gesamte Niederschriftshistorie der Region um Dutzende von Standardabweichungen. Es ist so, als würde plötzlich eine Person in einem Raum mit 100 Menschen plötzlich 10 Tonnen wiegen; das Durchschnittsgewicht des gesamten Raumes würde völlig falsch aussehen.

Nachdem die Daten bereinigt waren, stellten die Forscher die nächste große Frage: Wie füllen wir die Lücken? Im Laufe der Jahre wurden viele Regenstationen geschlossen, was große Lücken in den Aufzeichnungen hinterließ, insbesondere nach den 1990er Jahren. Die Autoren testeten sechs verschiedene Methoden, um zu schätzen, wie viel es in den fehlenden Monaten geregnet hat. Sie nutzten alles – von einfacher Mathematik (schauen, was die Nachbarn bekamen) bis hin zu ausgeklügeltem maschinellem Lernen (Computerprogramme, die Muster lernen).

Hier wird die Geschichte interessant. Die Forscher führten Tausende von Simulationen durch, bei denen sie Teile der Daten absichtlich versteckten, um zu sehen, welche Methode sie am besten erraten konnte.

• Bei zufälligen Lücken (wie ein paar fehlende Monate hier und da) oder Blocklücken (fehlende ganze Jahre) gewannen die einfachsten Methoden. Eine klassische Technik namens „Normal-Ratio“-Methode und eine einfache lineare Regression waren die Champions. Sie stellten den fehlenden Regen mit einem Skill-Score (Kling-Gupta-Effizienz) nahe 0,90 wieder her. Die schicken Machine-Learning-Modelle wie Random Forest und XGBoost schnitten genauso gut ab wie die einfachen Modelle, konnten sie aber nie übertreffen. Es stellt sich heraus: Wenn man ein dichtes Netzwerk von Nachbarn hat, braucht man keinen Supercomputer; man braucht nur eine gute Karte davon, wer neben einem wohnt.
• Es gibt jedoch einen Haken. Das Paper fand heraus, dass die einfachen Methoden versagen, wenn die Lücken am Ende der Aufzeichnungen auftreten (weil Stationen zu einer Zeit geschlossen wurden, in der sich das Klima veränderte). Sie beginnen zu schätzen, dass es nasser war, als es tatsächlich war. Dies wird als „Wet Bias“ (Nass-Bias) bezeichnet. Da die Modelle auf feuchteren Jahren aus der Vergangenheit trainiert wurden, rissen sie immer wieder: „Es regnet!“, selbst als die Dürre bereits begonnen hatte. In diesen spezifischen „Terminal Gaps“ konnte der Bias mit einfachen Methoden 9,4 mm pro Monat erreichen.

Aber die Machine-Learning-Modelle retteten die Situation in diesem speziellen Szenario. Als die Forscher alle Stationen zusammenführten und dem Computer ein „Kalenderjahr“ als Hinweis gaben (indem sie ihm sagten: „Hey, wir sind in den 1990ern, es wird trockener“), konnten die Machine-Learning-Modelle den Bias korrigieren. Sie reduzierten den Fehler auf nur noch 2,0 mm pro Monat. Machine Learning ist also keine Magie für jedes Problem, aber es ist das einzige Werkzeug, das funktioniert, wenn sich das Klima verschiebt und das Datennetzwerk zerfällt.

Das Team überprüfte seine Arbeit auch anhand von Satellitendaten. Die Satelliten bestätigten, dass die Region tatsächlich von einer langen Dürre, die von 1968 bis 1993 anhielt, sich erholt. Die Satellitendaten zeigten jedoch, dass die Erholung sanfter verlief, als es die Regenmesser-Daten suggerierten. Dies bewies, dass das schrumpfende Netzwerk der Messstationen den jüngsten Regen stärker aussehen ließ, als er wirklich war – ein klassischer Fall von „Attrition Bias“ (Schwund-Bias).

Am Ende liefert uns dieses Paper ein sauberes, korrigiertes, jahrhundertelanges Tagebuch des Regens für das Senegal-Flusseinbecken. Es lehrt uns, dass für routinemäßige fehlende Daten die einfache, nachbarschaftsbasierte Mathematik immer noch der König ist. Aber wenn das Netzwerk schrumpft und das Klima sich verändert, brauchen wir intelligentere, gebündelte Machine-Learning-Modelle, um uns nicht selbst zu täuschen. Die Autoren haben diese bereinigte Datenbank der Öffentlichkeit zur Verfügung gestellt, um den vier Ländern, die den Fluss teilen, eine vertrauenswürdige Grundlage für die Wasserverwaltung, die Planung von Hochwasserschutz und die Verhandlung von Frieden zu geben. Es ist eine Erinnerung daran, dass in der Wissenschaft das Aufräumen der Vergangenheit genauso wichtig ist wie das Vorhersagen der Zukunft.