Data-driven Lake Water Quality Forecasting for Time Series with Missing Data using Machine Learning

Technische Samenvatting: Datagestuurde voorspelling van de waterkwaliteit van meren voor tijdreeksen met ontbrekende gegevens met behulp van machine learning

Probleemstelling
Door vrijwilligers geleide programma's voor het monitoren van meren genereren onregelmatige, seizoensgebonden intermitterende tijdreeksgegevens die gekenmerkt worden door aanzienlijke hiaten als gevolg van ijsbedekking, weersomstandigheden en menselijke fouten. Deze ontbrekende gegevenspunten compliceren de voorspelling van de Secchi-schijf diepte (SDD) — een cruciale metriek voor de helderheid van het water en vroege waarschuwing voor schadelijke algenbloei (HABs). Bestaande benaderingen kampen met verschillende beperkingen: remote sensing is vaak onbetrouwbaar voor kleine, ondiepe of bewolkingsgevoelige binnenmeren; in-situ studies vertrouwen vaak op kleine datasets met beperkte generaliseerbaarheid; en standaard afhandeling van ontbrekende gegevens (bijv. listwise deletion) verslechtert de voorspellende prestaties. Bovendien gebruiken huidige evaluaties van voorspellingen vaak schaalafhankelijke metrieken (zoals MAE) die vergelijking tussen meren bemoeilijken, en weinig studies bieden een verenigde strategie om tegelijkertijd de minimale vereiste trainingsgeschiedenis en de essentiële feature-set voor nauwkeurige voorspelling te bepalen.

Methodologie
De studie maakt gebruik van een dataset van drie decennia aan in-situ records van Maine-meren, waarbij zich richt op een subset van 30 meren met de hoogste datadichtheid. De methodologie verloopt via de volgende fasen:

1. Data Preprocessing en Imputatie:

   • Uitsluitingen: Chlorofyl-a werd uitgesloten om target leakage te voorkomen (aangezien het een directe proxy is voor SDD), en "SDD-naar-bodem" observaties werden verwijderd omdat deze niet bepaalbaar zijn.
   • Imputatie: Om ontbrekende gegevens te behandelen, gebruiken de auteurs Multiple Imputation by Chained Equations (MICE). Deze methode modelleert elke variabele met ontbrekende gegevens conditioneel op de andere, uitgaande van data die Missing At Random (MAR) is. MICE werd gekozen boven deep generative networks vanwege vergelijkbare prestaties met een lagere computationele kosten. SDD zelf wordt behandeld als de target en wordt nooit geïmputeerd.

2. Voorspellingsprotocol:

   • Backward-Expanding Strategie: In tegen tegenoverking van traditionele methoden die de vroegst beschikbare data gebruiken, gebruikt deze studie een "backward" protocol. Voor elk meer dienen de meest recente 5 jaar aan data als de testset. De trainingsset bestaat uit de meest recente $n$ samples uit de pre-test geschiedenis. Deze aanpak geeft prioriteit aan recente klimaat- en weerpatronen.
   • Modelselectie: Zes kandidaatmodellen werden geëvalueerd (ARIMA, SARIMA, TSMixer, Transformer, Random Forest en Ridge Regression). Ridge Regression vertoonde de beste prestaties in termen van Mean Absolute Error (MAE), genormaliseerde MAE (nMAE) en $R^2$, en werd geselecteerd als de primaire voorspeller.

3. Evaluatiemetrieken:

   • Genormaliseerde MAE (nMAE): Om vergelijking tussen meren mogelijk te maken over variërende dieptes en baseline helderheid heen, gebruikt de studie nMAE, gedefinieerd als de gemiddelde absolute fout gedeeld door de gemiddelde SDD van het testblok.
   • Prestatiedrempel: Een "minimale" configuratie wordt gedefinieerd als een configuratie waarbij de nMAE binnen 5% ligt van de prestaties behaald met de volledige historische dataset en alle features.

4. Feature Selectie en Gezamenlijke Optimalisatie:

   • Feature Ranking: Features werden gerangschikt met behulp van Mean Decrease in Impurity (MDI) van een full-feature Ridge model.
   • Greedy Forward Selection: De top-$k$ features werden getest om de minimale subset ($k^*$) te vinden die aan de 5% tolerantie voldoet.
   • Joint Feasibility Function: Een verenigde regel werd geïntroduceerd om de minimale paar $(\hat{n}, \hat{k})$ te identificeren — de kortste recente geschiedenislengte en de minste voorspellers — die vereist zijn om de nauwkeurigheidsdoelstelling te halen. De selectie geeft prioriteit aan het minimaliseren van de steekproefomvang ($n$) eerst, en vervolgens het aantal features ($k$).

Belangrijkste Resultaten

• Minimale Steekproefomvang: De studie vond dat de voorspellende prestaties snel verbeteren bij de eerste 50–100 samples en daarna een afnemend rendement vertonen. Gemiddeld heeft een meer ongeveer 176 trainingssamples (uit de meest recente pre-test geschiedenis) nodig om binnen 5% van de full-history nauwkeurigheid te komen.
• Minimale Feature Set: Een compacte subset van vier features — TPEC (oppervlaktetemperatuur), OXIC (opgeloste zuurstof), SCHMIDT (Schmidt Stabiliteit) en CONDUCT (geleidbaarheid) — bereikte prestaties binnen de 5% tolerantie van de 13-feature baseline.
• Gezamenlijke Configuratie: Bij het toepassen van de joint feasibility rule was de mediane minimale configuratie over de 30 meren 64 recente samples en 1 voorspeller.
  • Specifiek, voor meren waar een enkele voorspeller volstond (20 van de 30 meren), werd OXIC (opgeloste zuurstof) in 90% van de gevallen geselecteerd, en TPEC in 10% van de gevallen.
  • Tien meren voldeden niet aan de 5% tolerantie met gereduceerde data en keerden terug naar de full-data/full-feature baseline.

Betekenis en Claims
Het artikel beweert een praktische, datagestuurde framework te bieden voor het optimaliseren van meerbewakingsinspanningen. Door de bepaling van recente geschiedenislengte en feature selectie te verenigen onder een vaste nauwkeurigheidsdoelstelling, biedt de studie een "joint feasibility strategy" die eenvoudige, efficiënte regels oplevert voor het vaststellen van bemonsteringsprioriteiten.

De auteurs stellen dat deze aanpak onderzoekers en monitoringsprogramma's in staat stelt om:

1. De Middelenlast te Verminderen: Identificeren dat een klein aantal recente metingen (mediaan ~64) en een enkele, hoogwaardige voorspeller (vaak opgeloste zuurstof) kunnen volstaan voor betrouwbare voorspelling, wat de noodzaak voor uitgebreide, kostbare en arbeidsintensieve bemonsteringscampagnes vermindert.
2. Gerichte Monitoring Mogelijk te Maken: De focus te verschuiven van brede, minder frequente bemonstering naar gerichte, hoogfrequente monitoring van specifieke, kritieke variabelen.
3. Klimaatresistentie te Ondersteunen: Een schaalbare methode te bieden voor de vroege detectie van verslechtering van de waterkwaliteit, wat helpt bij het anticiperen op door het klimaat verergerde algenbloei-events.

De studie erkent beperkingen, waaronder de afhankelijkheid van de Missing-At-Random assumptie voor imputatie, het potentiële bias van MDI feature belang, en de specifieke ontwerpkeuzes met betrekking tot de 5% tolerantie en de lexicografische selectieregels. De auteurs merken op dat deze bevindingen voorlopig zijn en gebaseerd zijn op een subset van 30 meren, met plannen om de studie uit te breiden naar de volledige database en physics-informed machine learning te integreren in toekomstig werk.