Data-driven Lake Water Quality Forecasting for Time Series with Missing Data using Machine Learning

Résumé technique : Prévision de la qualité de l'eau des lacs par l'apprentissage automatique pour des séries temporelles avec données manquantes

Énoncé du problème
Les programmes de surveillance des lacs menés par des bénévoles génèrent des séries temporelles irrégulières et saisonnièrement intermittentes, caractérisées par des lacunes importantes dues à la couverture de glace, aux contraintes météorologiques et aux erreurs humaines. Ces points de données manquants compliquent la prévision de la profondeur du disque de Secchi (SDD) — une métrique critique pour la clarté de l'eau et l'alerte précoce des fleurs d'algues nocives (HABs). Les approches existantes font face à plusieurs limites : la télédétection est souvent peu fiable pour les petits lacs peu profonds ou sujets aux nuages ; les études in situ reposent souvent sur de petits ensembles de données avec une généralisabilité limitée ; et la gestion standard des données manquantes (par exemple, la suppression par liste) dégrade la performance prédictive. De plus, les évaluations de prévision actuelles utilisent souvent des métriques dépendantes de l'échelle (comme la MAE) qui entravent la comparabilité entre les lacs, et peu d'études fournissent une stratégie unifiée pour déterminer simultanément l'historique d'entraînement minimal requis et l'ensemble de caractéristiques essentiel pour une prédiction précise.

Méthodologie
L'étude utilise un ensemble de données de trois décennies d'enregistrements in situ provenant de lacs du Maine, en se concentrant sur un sous-ensemble de 30 lacs présentant la plus haute densité de données. La méthodologie se déroule selon les étapes suivantes :

1. Prétraitement des données et imputation :

   • Exclusions : La chlorophylle-a a été exclue pour éviter la fuite de données (target leakage), car elle est un proxy direct de la SDD, et les observations de type « SDD-au-fond » ont été supprimées car elles sont non déterminables.
   • Imputation : Pour gérer les données manquantes, les auteurs utilisent l'imputation multiple par équations enchaînées (MICE). Cette méthode modélise chaque variable avec des données manquantes conditionnellement aux autres, en supposant que les données sont manquantes de manière aléatoire (Missing At Random - MAR). MICE a été choisi par rapport aux réseaux génératifs profonds en raison de performances comparables avec un coût de calcul inférieur. La SDD est traitée comme la cible et n'est jamais imputée.

2. Protocole de prévision :

   • Stratégie d'expansion vers l'arrière (Backward-Expanding Strategy) : Contrairement aux méthodes traditionnelles utilisant les données les plus anciennes disponibles, cette étude utilise un protocole « vers l'arrière ». Pour chaque lac, les 5 dernières années de données servent d'ensemble de test. L'ensemble d'entraînement est constitué des $n$ échantillons les plus récents de l'historique pré-test. Cette approche donne la priorité aux modèles climatiques et météorologiques récents.
   • Sélection de modèles : Six modèles candidats ont été évalués (ARIMA, SARIMA, TSMixer, Transformer, Forêt aléatoire et Régression Ridge). La régression Ridge a démontré la meilleure performance en termes d'erreur absolue moyenne (MAE), de MAE normalisée (nMAE) et de $R^2$, et a été sélectionnée comme principal outil de prévision.

3. Métriques d'évaluation :

   • MAE normalisée (nMAE) : Pour permettre la comparaison entre les lacs malgré les variations de profondeur et de clarté de base, l'étude utilise la nMAE, définie comme l'erreur absolue moyenne divisée par la SDD moyenne du bloc de test.
   • Seuil de performance : Une configuration « minimale » est définie comme une configuration où la nMAE est à moins de 5 % de la performance obtenue avec l'ensemble de l'historique et toutes les caractéristiques.

4. Sélection de caractéristiques et optimisation conjointe :

   • Classement des caractéristiques : Les caractéristiques ont été classées par diminution de l'impureté moyenne (MDI) à partir d'un modèle Ridge à caractéristiques complètes.
   • Sélection gloutonne vers l'avant (Greedy Forward Selection) : Les $k$ meilleures caractéristiques ont été testées pour trouver le sous-ensemble minimal ($k^*$) respectant la tolérance de 5 %.
   • Fonction de faisabilité conjointe : Une règle unifiée a été introduite pour identifier la paire minimale $(\hat{n}, \hat{k})$ — la longueur d'historique récent la plus courte et le plus petit nombre de prédicteurs — requis pour atteindre la cible de précision. La sélection donne la priorité à la minimisation de la taille de l'échantillon ($n$) en premier, puis du nombre de caractéristiques ($k$).

Résultats clés

• Taille d'échantillon minimale : L'étude a constaté que la performance prédictive s'améliore rapidement avec les 50 à 100 premiers échantillons et présente des rendements décroissants par la suite. En moyenne, un lac nécessite environ 176 échantillons d'entraînement (provenant de l'historique pré-test le plus récent) pour atteindre une précision à moins de 5 % de celle de l'historique complet.
• Ensemble de caractéristiques minimal : Un sous-ensemble compact de quatre caractéristiques — TPEC (Température de surface), OXIC (Oxygène dissous), SCHMIDT (Stabilité de Schmidt) et CONDUCT (Conductivité) — a atteint une performance à l'intérieur de la tolérance de 5 % par rapport à la référence de 13 caractéristiques.
• Configuration conjointe : Lors de l'application de la règle de faisabilité conjointe, la configuration minimale médiane à travers les 30 lacs était de 64 échantillons récents et 1 prédicteur.
  • Plus précisément, pour les lacs où un seul prédicteur suffisait (20 lacs sur 30), l'OXIC (Oxygène dissolu) a été sélectionné 90 % du temps, et le TPEC 10 % du temps.
  • Dix lacs n'ont pas atteint la tolérance de 5 % avec des données réduites et sont revenus à la base de données/caractéristiques complètes.

Signification et affirmations
L'article affirme fournir un cadre pratique et fondé sur les données pour optimiser les efforts de surveillance des lacs. En unifiant la détermination de la longueur de l'historique récent et la sélection des caractéristiques sous une cible de précision fixe, l'étude propose une « stratégie de faisabilité conjointe » qui produit des règles simples et efficaces pour fixer les priorités d'échantillonnage.

Les auteurs affirment que cette approche permet aux chercheurs et aux programmes de surveillance de :

1. Réduire la charge de travail : Identifier qu'un petit nombre de mesures récentes (médiane ~64) et un seul prédicteur de haute valeur (souvent l'oxygène dissous) peuvent suffire pour une prévision fiable, réduisant ainsi le besoin de campagnes d'échantillonnage étendues, coûteuses et laborieuses.
2. Permettre une surveillance ciblée : Passer d'un échantillonnage large et peu fréquent à une surveillance à haute fréquence de variables spécifiques et critiques.
3. Soutenir la résilience climatique : Fournir une méthode évolutive pour la détection précoce de la dégradation de la qualité de l'eau, aidant à l'anticipation des événements de fleurs d'algues exacerbés par le climat.

L'étude reconnaît des limites, notamment le recours à l'hypothèse de données manquantes de type « Missing-At-Random » pour l'imputation, le potentiel de biais de l'importance des caractéristiques par MDI, et les choix de conception spécifiques concernant la tolérance de 5 % et les règles de sélection lexicographiques. Les auteurs notent que ces conclusions sont préliminaires et basées sur un sous-ensemble de 30 lacs, avec des plans pour étendre l'étude à l'ensemble de la base de données et incorporer l'apprentissage automatique informé par la physique dans de futurs travaux.