A century of monthly rainfall in the Senegal River Basin (1895–2020): automated quality control, machine learning gap-filling, and the cost of network attrition

L'histoire du grand détective de la pluie

Imaginez la Terre comme une immense machine respirante. L'un de ses organes les plus vitaux est le temps, et plus précisément la pluie qui tombe sur le sol. En science, on appelle cela l'hydrologie — l'étude de la manière dont l'eau circule à travers la terre, les rivières et les nuages. Pour comprendre comment cette machine fonctionne, les scientifiques ont besoin d'un journal intime long et ininterrompu des précipitations. Ils appellent cela des « séries temporelles ». Voyez cela comme un album photo de famille : si vous avez une photo chaque année pendant cent ans, vous pouvez voir comment la famille a grandi, qui est parti et quel temps il faisait lors des grands événements. Mais que se passe-t-il si quelqu'un arrache des pages, écrit de mauvais chiffres dans les marges ou arrête complètement de prendre des photos ? C'est le problème auquel les scientifiques sont confrontés en Afrique de l'Ouest.

Depuis des décennies, la région souffre d'un réseau de pluviomètres (les appareils qui captent la pluie) de plus en plus réduit et de vieux registres remplis de fautes de frappe. Cela importe car le bassin du fleuve Sénégal est une bouée de sauvetage pour des millions de personnes. Il fournit l'eau pour la consommation, l'agriculture et pour maintenir les réservoirs pleins. Si le « journal » de la pluie est brisé ou rempli de mensonges, les personnes qui gèrent l'eau pourraient commettre de terribles erreurs — comme ouvrir un barrage alors qu'une inondation est imminente, ou le fermer alors que les cultures sont en train de mourir. La grande question est la suivante : pouvons-nous réparer le journal brisé ? Pouvons-nous utiliser les astuces informatiques modernes pour remplir les pages manquantes et corriger les fautes de frappe sans inventer une nouvelle pluie qui n'est jamais tombée ?

La mission de sauvetage de la pluie séculaire

Ce document est une mission de sauvetage massive pour le bassin du fleuve Sénégal, une vaste zone partagée par la Guinée, le Mali, la Mauritanie et le Sénégal. Les auteurs, une équipe de chercheurs, ont décidé de rassembler tous les enregistrements mensuels de précipitations qu'ils pouvaient trouver de 1895 à 2020. Ils ne se sont pas contentés de les collecter ; ils ont construit un système automatisé ultra-intelligent pour nettoyer le désordre. Imaginez un bibliothécaire qui non seulement trouve des livres, mais repère aussi quand quelqu'un a écrit « 1000 » au lieu de « 10,00 » dans un registre, ou quand deux personnes différentes ont écrit deux histoires différentes pour le même jour.

L'équipe a assemblé une bibliothèque de 138 stations et plus de 80 000 observations. Mais avant de pouvoir utiliser ces données, ils ont dû jouer à « trouvez l'erreur ». Leur système automatisé a découvert que 1,4 % des enregistrements étaient erronés. Certaines erreurs étaient aberrantes : une station au Mali a enregistré 111 622,8 mm de pluie en un seul mois (ce qui représente plus de 111 mètres de pluie, ce qui est physiquement impossible !), et une autre a enregistré 90 120 mm. Le système a réalisé qu'il s'agissait simplement d'erreurs de virgule décimale et les a corrigées en divisant par 100. La leçon ici est effrayante mais importante : laisser une seule de ces erreurs sans correction peut déplacer l'histoire des précipitations de toute la région de dizaines d'écarts-types. C'est comme si une personne dans une pièce de 100 personnes pesait soudainement 10 tonnes ; le poids moyen de toute la pièce paraîtrait complètement faux.

Une fois les données nettoyées, les chercheurs se sont posé la question suivante : Comment combler les lacunes ? Au fil des ans, de nombreuses stations de pluie ont fermé, laissant de grands vides dans les archives, surtout après les années 1990. Les auteurs ont testé six méthodes différentes pour deviner ce qu'il en était de la pluie pendant ces mois manquants. Ils ont utilisé tout, des mathématiques simples (regarder ce que vos voisins ont reçu) aux apprentissages automatiques sophistiqués (des programmes informatiques qui apprennent des modèles).

C'est ici que l'histoire devient intéressante. Les chercheurs ont lancé des milliers de simulations, faisant semblant de cacher des parties des données pour voir quelle méthode pouvait les deviner le mieux.

• Pour les lacunes aléatoires (comme quelques mois manquants ici et là) ou les lacunes par blocs (des années entières manquantes), les méthodes les plus simples ont gagné. Une technique classique appelée la méthode du « rapport normal » et une simple régression linéaire ont été les championnes. Elles ont récupéré la pluie manquante avec un score de compétence (efficacité de Kling-Gupta) proche de 0,90. Les modèles d'apprentissage automatique sophistiqués, comme Random Forest et XGBoost, ont fait aussi bien que les modèles simples, mais n'ont jamais fait mieux. Il s'avère que lorsque vous avez un réseau dense de voisins, vous n'avez pas besoin d'un supercalculateur ; vous avez juste besoin d'une bonne carte de qui habite à côté.
• Cependant, il y a un bémol. Le document a révélé que lorsque les lacunes surviennent à la fin de l'enregistrement (parce que les stations ont fermé pendant une période où le climat changeait), les méthodes simples échouent. Elles commencent à deviner qu'il a plu plus qu'en réalité. C'est ce qu'on appelle un « biais humide ». Comme les modèles ont été entraînés sur des années plus humides par le passé, ils continuaient à deviner « il pleut ! » même quand la sécheresse avait commencé. Dans ces cas spécifiques de « lacunes terminales », le biais pouvait atteindre 9,4 mm par mois avec les méthodes simples.

Mais les modèles d'apprentissage automatique ont sauvé la mise dans ce scénario spécifique. Lorsque les chercheurs ont regroupé toutes les stations et ont donné à l'ordinateur un indice de « l'année civile » (en lui disant : « Hé, nous sommes dans les années 1990, les choses deviennent plus sèches »), les modèles d'apprentissage automatique ont pu corriger le biais. Ils ont réduit l'erreur à seulement 2,0 mm par mois. Ainsi, l'apprentissage automatique n'est pas magique pour chaque problème, mais c'est le seul outil qui fonctionne lorsque le climat change et que le réseau de données s'effondre.

L'équipe a également vérifié son travail par rapport aux données satellites. Les satellites ont confirmé que la région se remet effectivement d'une longue sécheresse qui a duré de 1968 à 1993. Cependant, les données satellites ont montré que la récupération était plus douce que ce que suggéraient les données des pluviomètres. Cela a prouvé que la réduction du réseau de jauges rendait la pluie récente plus forte qu'elle ne l'était réellement — un cas classique de « biais d'attrition ».

En fin de compte, ce document nous offre un journal de la pluie propre et corrigé, couvrant un siècle, pour le bassin du fleuve Sénégal. Il nous dit que pour les données manquantes de routine, les mathématiques simples basées sur le voisinage restent les reines. Mais lorsque le réseau diminue et que le climat change, nous avons besoin de modèles d'apprentissage automatique groupés plus intelligents pour éviter de nous tromper nous-mêmes. Les auteurs ont rendu cette base de données nettoyée au public, offrant aux quatre pays partageant le fleuve une base fiable pour gérer leur eau, planifier les inondations et négocier la paix. C'est un rappel qu'en science, nettoyer le passé est tout aussi important que de prédire l'avenir.