A transferable explainable and uncertainty-aware machine learning framework for water quality classification in data-scarce regions

Technische Samenvatting: Een Overdraagbaar Verklarend en Onzekerheidsbewust Machine Learning-Framework voor Waterkwaliteitsclassificatie in Gebieden met Schaarste aan Data

Probleemstelling
De beoordeling van de waterkwaliteit in regio's met een tekort aan data staat voor kritieke uitdagingen, waaronder gefragmenteerde monitoringsnetwerken, heterogene datasets, variabele labelkwaliteit en onzekerheid in beslissingsdrempels. Hoewel Waterkwaliteitsindices (WQI's) dienen als een vereenvoudigd communicatiemiddel, verhullen ze vaak de lokale hydrochemische complexiteit en onzekerheid, met name wanneer drempelwaarden worden overgedragen uit andere contexten. Bestaande machine learning (ML)-benaderingen geven vaak prioriteit aan voorspellende nauwkeurigheid boven taakdefinitie, waarbij ze onafhankelijke classificatieproblemen vaak verwarren met oefeningen voor het terugwinnen van regels op basis van index-afgeleide labels. Bovs wordt door dergelijke modellen vaak geen rekening gehouden met verklaarbaarheid en onzekerheidsschatting, wat leidt tot overmoedige voorspellingen in omgevingen waar fysisch-chemische parameters de waterkwaliteitsklassen mogelijk niet volledig kunnen scheiden. De studie adresseert de noodzaak van een behoedzaam, reproduceerbaar besluitvormingskader dat expliciet omgaat met dataschaarste, taakheterogeniteit en het risico op informatielekken.

Methodologie
De auteurs stellen een overdraagbaar framework voor dat open-access datasets, WQI-redenering, lekgevoelige taakconstructie, supervised learning, explainable AI (XAI) en onzekerheidsschatting integreert. De workflow verloopt via de volgende fasen:

1. Curatie en Harmonisatie van Data: Vijf open-access datasets werden gecontroleerd en geharmoniseerd. Dit omvatte het standaardiseren van kolomnamen, het converteren van variabelen naar numerieke formaten, het afhandelen van ontbrekende waarden via mediaan-imputatie (met gebruik van enkel statistieken uit de trainingsset) en het verwijderen van duplicaten. Cruciaal was dat een lekgevoelig protocol werd afgedwongen: variabelen die direct de doel-labels of WQI-scores coderen, werden uit de predictor-matrix uitgesloten om circulaire redenering te voorkomen.
2. Taakdefinitie: De studie scheidt expliciet drie verschillende taakfamilies om misinterpretatie van modelprestaties te voorkomen:
   • Binaire Water Drinkbaarheid Classificatie: De primaire "moeilijke" taak, gericht op het onderscheiden van drinkbare van niet-drinkbare monsters met behulp van fysisch-chemische beschrijvers.
   • Gestructureerde Grondwaterkwaliteit Classificatie: Een hydrochemische classificatietaak gebaseerd op parameters zoals saliniteit en sodiciteit.
   • WQI Regel-terugwinning: Een secundaire taak waarbij modellen proberen classificaties te reproduceren die zijn afgeleid van WQI-logica, dienend als een test van regelbenadering in plaats van onafhankelijke veldvalidatie.
3. Labelconstructie: Voor WQI-taken werden labels gegenereerd met diverse formuleringen (gelijke weging, gewogen rekenkundig, entropie-gewogen, CRITIC-gewogen en hybride entropie–CRITIC). Deze werden strikt gebruikt voor de regel-terugwinnings-taken, en niet als grondwaarheid voor drinkbaarheid.
4. Modellering en Optimalisatie: Een breed scala aan algoritmen (Random Forest, Extra Trees, HistGradientBoosting, XGBoost, LightGBM, SVM, KNN, MLP) werd geëvalueerd. Hyperparameteroptimalisatie richtte zich op F1-macro en balanced accuracy om klassenimbalans aan te pakken. Resampling-technieken (SMOTE, ADASYN) werden alleen binnen de trainingsfold toegepast om lekkage te voorkomen.
5. Verklaarbaarheid en Onzekerheid:
   • Verklaarbaarheid: SHAP (Shapley Additive Explanations) en permutatie-importantie werden gebruikt om fysisch-chemische drijfveren te identificeren.
   • Onzekerheid: Het framework maakt gebruik van waarschijnlijkheidskalibratie, betrouwbaarheidsscores, beslissingsmarges, entropie-analyse en split-conformal voorspelling. Dit stelt het systeem in staat om een enkele klasse te produceren wanneer het bewijs sterk is, of een set mogelijke klassen (of een vlag voor deskundige beoordeling) wanneer de onzekerheid hoog is.

Belangrijkste Resultaten

• Taakspecifieke Prestaties:
  • Binaire Drinkbaarheid: Het Random Forest-model behaalde matige prestaties (Nauwkeurigheid: 0,6890, Balanced Accuracy: 0,6627, F1-macro: 0,6655, ROC-AUC: 0,6902). Dit bevestigt dat beschikbare fysisch-chemische beschrijvers drinkbare en niet-drinkbare monsters slechts gedeeltelijk scheiden.
  • Grondwater Classificatie: Modellen behaalden bijna perfecte scores (Nauwkeurigheid: 1,0000) op Telangana-datasets, wat aangeeft dat de hydrochemische klassen in deze gecureerde datasets zeer gestructureerd en scheidbaar zijn.
  • WQI Regel-terugwinning: Modellen behaalden zeer hoge prestaties (Nauwkeurigheid > 0,98), wat bevestigt dat ML effectief index-gebaseerde beslissingsregels kan benaderen. De auteurs waarschuwen echter dat dit een reflectie is van regel-terugwinning en geen onafhankelijke veldvalidatie.
• Onzekerheidsanalyse: Voor de moeilijke drinkbaarheidstaak onthulde de onzekerheidslaag dat slechts ~6,25% van de voorspellingen zeer betrouwbaar was. Echter, deze betrouwbare subset behaalde een nauwkeurigheid van ~0,8780. Omgekeerd werd ~63,11% van de monsters gemarkeerd voor deskundige beoordeling, wat overmoedige beslissingen op ambigue data voorkomt.
• Verklaarbaarheid: De modellen identificeerden wetenschappelijk betekenisvolle drijfveren. Voor drinkbaarheid waren de belangrijkste variabelen sulfaat, pH, vaste stoffen, chloramines en hardheid. Voor grondwater waren elektrische geleidbaarheid, natrium-adsorptieratio (SAR) en totale hardheid dominant.

Belangrijkste Bijdragen

1. Methodologisch Onderscheid: De studie vestigt een cruciaal onderscheid tussen onafhankelijke classificatietaken en WQI regel-terugwinnings-taken, waardoor de overschatting van modelcapaciteiten wordt voorkomen wanneer labels zijn afgeleid van dezelfde kenmerken die voor de voorspelling worden gebruikt.
2. Onzekerheidsbewuste Besluitvormingsondersteuning: In plaats van te fungeren als een "blinde automatische classifier", fungeert het framework als een instrument voor besluitvormingsondersteuning dat onzekere monsters expliciet markeert voor deskundige beoordeling, een cruciaal kenmerk voor regio's met een tekort aan data.
3. Overdraagbaar Framework: De workflow biedt een reproduceerbare methodologie voor het auditeren, opschonen en modelleren van waterkwaliteitsgegevens die kan worden aangepast aan lokale contexten zodra veldgegevens beschikbaar komen.
4. Behoedzame Interpretatie: Het artikel vermijdt het claimen van universele generalisatie en positioneert het werk in plaats daarvan als een fundamentele fase voor toekomstige lokale kalibratie.

Betekenis en Claims
De auteurs claimen dat dit framework een "behoedzaam en reproduceerbaar besluitvormingskader" biedt in plaats van een definitieve automatische classifier. De primaire betekenis ligt in de toepasbaarheid op regio's met een tekort aan data (specifiek met het oog op de context van Guinee) waar lokale monitoringgegevens beperkt of gefragmenteerd zijn. Door verklaarbaarheid en onzekerheidsschatting te integreren, zorgt het framework ervoor dat voorspellingen gepaard gaan met een beoordeling van de betrouwbaarheid, waardoor het de volksgezondheid en het milieubeheer ondersteunt zonder noodzakelijke laboratoriumbevestigingen te vervangen.

Het artikel stelt expliciet dat de huidige resultaten gebaseerd zijn op open-access datasets en geen directe operationele voorspellingen vormen voor Guinese watersystemen. Het framework is ontworpen om in een tweede fase te worden aangepast, herkalibreerd en gevalideerd met lokale veldgegevens (putten, boorgaten, oppervlaktewateren) en uitgebreide variabelen (microbiologische indicatoren, zware metalen, seizoenseffecten). Het werk dient als een methodologische basis voor toekomstige implementatie in Afrikaanse contexten waar robuuste, transparante en onzekerheidsbewuste modellering vereist is voordat implementatie op veldniveau kan plaatsvinden.