📊 statistiek

Benchmarking machine learning against a regulatory rule-based baseline for drinking-water compliance classification

Deze studie toont aan dat voor de classificatie van naleving van de drinkwaterkwaliteit machine learning-modellen een regelgebaseerde baseline op basis van regelgeving niet kunnen overtreffen, omdat domein-gedefinieerde drempelwaarden al bijna alle beschikbare signalen vastleggen, wat benadrukt dat het verfijnen van regelgevende regels en het implementeren van consensusstrategieën effectiever zijn dan modelselectie.

Oorspronkelijke auteurs: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Gepubliceerd 2026-10-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aljaž Sovič, Barbara Hribar Lee, Zoran Bosnić

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke druppel water die uit een kraan stroomt, is het resultaat van een constante, onzichtbare waakzaamheid. Voordat het een glas bereikt, is het getoetst aan een strikte set regels die ontworpen zijn om het veilig te houden voor menselijke consumptie. Deze regels zijn geen suggesties; het zijn wettelijke limieten. Als een watermonster zelfs maar één chemische of biologische marker bevat boven een specifieke drempelwaarde, wordt de hele monster als onveilig beschouwd. Decennialang was het controleren van deze monsters een rechttoe-rechtaan, handmatig proces: wetenschappers meten het water, vergelijken de cijfers met het regelboek en verklaren het water ofwel conform ofwel niet-conform. Deze methode is betrouwbaar omdat deze gebaseerd is op duidelijke, schriftelijke wetten, maar het laat een vraag open die wetenschappers in de afgelopen jaren heeft gefascineerd: zou een computer dit werk beter kunnen leren doen?

Machine learning, het vakgebied van de computerwetenschap waar programma's leren van data in plaats van expliciete instructies te volgen, heeft enorme stappen gezet in veel gebieden. Het wordt vaak voorgesteld als een manier om verborgen patronen te vinden die het menselijk oog zou kunnen missen. In de wereld van milieuveiligheid is het idee dat een computer duizenden watermetingen kan bekijken en kan voorspellen welke gevaarlijk zijn, waarbij het misschien subtiele verbanden tussen verschillende chemicaliën ontdekt die een simpel regelboek niet kan zien. De hoop is dat deze slimme algoritmen gevaren eerder of nauwkeuriger kunnen detecteren dan het huidige systeem. Maar voor dit belofte echt te worden, moet het nieuwe systeem worden getest tegen het oude. Het is niet genoeg om te zeggen dat een computer slim is; het moet worden aangetoond dat hij slimmer is dan de gevestigde regels die hij bedoeld is te vervangen.

Een team van onderzoekers in Slovenië besloot dit idee te testen met behulp van een massaal archief van real-world data. Ze verzamelden 22.152 watermonsters die over een periode van zeven jaar door heel het land zijn verzameld. Elke monster was gemeten op honderden verschillende zaken, van bacteriën en metalen tot pesticiden en fysieke eigenschappen zoals temperatuur en helderheid. De onderzoekers stelden een uitdaging op: kon een machine learning-model, getraind op deze data, voorspellen of een monster veilig of onveilig was beter dan het officiële regelboek? Ze bouwden vier verschillende soorten leermodellen, variërend van eenvoudige beslissingsbomen tot complexe neurale netwerken, en vergeleken deze met de standaardmethode die door toezichthouders wordt gebruikt. Om de test eerlijk te maken, gebruikten ze een rigoureuze methode waarbij de modellen werden getraind op data van sommige jaren en werden getest op data van een jaar dat ze nog nooit hadden gezien, wat simuleert hoe deze systemen in de echte wereld zouden werken.

De resultaten waren verrassend en duidelijk. De machine learning-modellen presteerden zeer goed, maar ze versloegen het regelboek niet. Sterker nog, ze kwamen overeen met de prestaties van het regelboek, maar overtroffen het nooit. De onderzoekers ontdekten dat de bestaande regels al bijna alle informatie bevatten die nodig is om een juiste beslissing te nemen. De belangrijkste factoren voor het bepalen of water onveilig was, waren zaken zoals de aanwezigheid van bepaalde bacteriën, die het regelboek al onmiddellijk zou signaleren. De computermodellen leerden deze zelfde patronen, maar konden geen extra "geheime" signalen in de data vinden die de eenvoudige regels misten. De studie toonde aan dat voor deze specifieke taak de complexe algoritmen geen voordeel boden ten opzichte van de rechttoe-rechtaan, deterministische controle van de regelgeving.

Echter, het verhaal eindigt niet met een simpel "nee" tegen machine learning. De onderzoekers ontdekten dat de grootste verbeteringen niet voortkwamen uit het veranderen van het computermodel, maar uit het herstellen van een fout in de data zelf. Ze vonden een specifieke inconsistentie in de manier waarop de data werd gelabeld met betrekking tot een pesticide genaamd metolachloor. Voor enkele jaren waren de regels voor deze chemische stof anders dan in het laatste jaar van de studie, maar de historische registers waren niet bijgewerkt om deze verandering te weerspiegelen. Dit creëerde verwarring waarbij sommige watermonsters als veilig werden gelabeld terwijl ze volgens de nieuwe standaarden als onveilig zouden moeten zijn gemarkeerd. Wanneer de onderzoekers deze inconsistentie in de data corrigeerden, verbeterde de prestatie van het regelgebaseerde systeem drastisch. Het aantal fouten daalde met meer dan de helft, van 19 fouten naar slechts 9 over de gehele dataset.

Deze correctie was waardevoller dan elke wijziging aan de computermodellen. De onderzoekers probeerden ook een hybride aanpak, een tweestaps-systeem waarbij een monster pas als onveilig zou worden verklaard als zowel het regelboek als de computer het eens waren. Ze hoopten hiermee de sterke punten van beide methoden te combineren, maar het werkte niet zoals gehoopt. Omdat de computer en het regelboek fouten maakten op precies dezelfde monsters, zorgde het vragen om overeenstemming er alleen maar voor dat het systeem voorzichtiger werd zonder dat het nauwkeuriger werd. De studie concludeerde dat in een veld dat wordt beheerst door strikte drempelwaarden, de beste aanpak is om ervoor te zorgen dat de data schoon is en de regels correct worden toegepast. Hoewel machine learning een krachtig hulpmiddel is, was het in dit geval het zorgvuldige, menselijke begrip van de regelgeving en de data dat het werkelijke verschil maakte. De les is dat voordat we de haast hebben om gevestigde systemen te vervangen door kunstmatige intelligentie, we eerst moeten zorgen dat het fundament waarop we bouwen solide is.

Technische Samenvatting: Benchmarking van Machine Learning tegenover een Regelgebaseerde Baseline voor de Classificatie van Drinkwaternaleving

Probleemformulering
De studie behandelt de voorspelling van de naleving van voorgeschreven kwaliteitsindicatoren in drinkwatermonsters, geformuleerd als een binair classificatieprobleem. Het doel is om monsters te classificeren als wel of niet conform ( $y=0$ of $y=1$ ), waarbij niet-naleving wordt gedefinieerd door ten minste één gemeten parameter die een wettelijke limiet overschrijdt. De dataset bestaat uit 22.152 nationale monitoringsmonsters uit Slovenië over de periode 2019–2025. Het probleem wordt gekenmerkt door een sterke klassenonbalans, waarbij slechts ongeveer 9,4% van de monsters niet-conform is. De auteurs stellen dat hoewel machine learning (ML) veel wordt voorgesteld voor milieuhandhaving, het zelden wordt afgezet tegen de specifieke regelgebaseerde sets die het beoogt te vervangen, waardoor de marginale voorspellende waarde van geleerde modellen onduidelijk blijft.

Methodologie
Het onderzoek voert een systematische vergelijking uit tussen een regelgebaseerde (RB) regulatorische baseline en vier machine-learningmodellen: Gradient Boosting (GB), Random Forest (RF), LightGBM en een Multi-Layer Perceptron (MLP).

Data en Kenmerken: De ruwe dataset bevatte 231 parameters, die na filtering op volledigheid en gedefinieerde limietwaarden werd teruggebracht tot 68 attributen (69 inclusief een afgeleid kenmerk). De kenmerken werden gecategoriseerd in microbiologische, fysische, chemische, metalen en pesticiden. Ontbrekende waarden in niet-microbiologische parameters werden geïmputeerd met medianen, en uitschieters werden afgekapt op het 99e percentiel.
Kenmerkselectie: SHAP (SHapley Additive exPlanations)-waarden werden gebruikt om de belangrijkheid van attributen te rangschikken en het optimale aantal kenmerken ( $K$ ) voor modeltraining te bepalen.
Validatieprotocol: Om de data-lekkage te voorkomen die inherent is aan willekeurige splitsingen bij tijdreeksgegevens, maakte de studie gebruik van Leave-One-Year-Out (LOYO) kruisvalidatie. In zeven iteraties diende elk jaar als de testset, terwijl de overige zes jaren de trainingsset vormden.
Prestatie-indicatoren: Gezien de klassenonbalans was de primaire evaluatiemetriek de macro-gemiddelde F1-maatstaf, aangevuld met precisie en recall. Statistische significantie werd beoordeeld met de McNemar-toets, bootstrap betrouwbaarheidsintervallen en gepaarde t-toetsen.
Voorgestelde Interventies:
1. Regulatorische Correctie Metolachor: Een voorverwerkingsstap die een etiketteringsinconsistentie aanpakt die voortvloeit uit de aanscherping van de criteria voor de metabolieten van metolachor (ESA en OXA) in 2025. Waarden voor deze metabolieten vóór 2025 werden als ontbrekend ingesteld om te voorkomen dat het model spookcorrelaties leert tussen metingen van vóór 2025 en conforme labels.
2. Tweestaps Consensusmodel: Een hybride benadering waarbij een monster alleen als niet-conform wordt gelabeld als zowel de regelgebaseerde aanpak als een machine-learningmodel onafhankelijk van elkaar niet-naleving voorspellen (logische EN-functie).
3. Afgeleid Kenmerk: De inclusie van de totale pesticidenconcentratie als een aanvullende inputvariabele.

Belangrijkste Resultaten

Modelprestaties: In het basisscenario (zonder correcties) behaalde de regelgebaseerde aanpak de hoogste prestatie ( $F1 = 0,998$ bij $K=30$ ). Machine learningmodellen (met name GB en LightGBM) kwamen overeen met de regelgebaseerde baseline ( $F1 \approx 0,997$ ), maar waren deze statistisch gezien niet aan het overtreffen. De MLP presteerde aanzienlijk slechter op de volledige set attributen ( $F1 = 0,966$ ).
Kenmerkbelang: SHAP-analyse toonde aan dat het signaal voor niet-naleving sterk geconcentreerd is in microbiologische parameters (bijv. coliformen, E. coli), die de hoogst gerangschikte attributen zijn. Het verschil in belang tussen het belangrijkste microbiologische attribuut en het eerste niet-microbiologische attribuut was ongeveer 20-voudig.
Impact van Interventies:
- Afgeleide Kenmerken: Het toevoegen van de totale som van pesticiden leverde geen statistisch significante verbetering op van de F1-scores voor enig model.
- Metolachor Correctie: Deze interventie bleek cruciaal. Door de etiketteringsinconsistentie te verwijderen, daalde het aantal fouten van de regelgebaseerde aanpak van 19 naar 9 fouten over de gehele dataset (een reductie van meer dan 50%). De correctie verbeterde de F1-score van de regelgebaseerde aanpak naar 0,9988 (bij $K=40$ ), terwijl de impact op de ML-modellen verwaarloosbaar was.
- Tweestapsmodel: Het consensusmodel presteerde niet beter dan de regelgebaseerde baseline. Foutanalyse toonde aan dat de ML-modellen en de regelgebaseerde aanpak fouten maakten op bijna identieke monsters (hoge overlap), wat betekent dat de consensusstrategie er niet in slaagde om complementaire fouten te benutten. Het tweestapsmodel behaalde een hogere precisie maar een lagere recall vergeleken met de zelfstandige ML-modellen.

Betekenis en Claims
Het paper concludeert dat voor regelgevende taken waarbij het domein strikt wordt gedefinieerd door drempelwaarden en het signaal geconcentreerd is in enkele sleutelindicatoren, machine learningmodellen een getrouw gereconstrueerde regelgebaseerde baseline niet overtreffen. De studie stelt dat het "succes" van hoge F1-scores (bijv. >0,99) in de ML-literatuur vaak louter de reproductie is van bestaande deterministische drempelwaarden in plaats van de ontdekking van nieuwe voorspellende patronen.

De auteurs claimen dat de meest waardevolle interventies niet algoritmisch maar domeingestuurd waren:

Datakwaliteit boven Modelcomplexiteit: Het corrigeren van regulatorische etiketteringsinconsistenties (de metolachor-correctie) had een aanzienlijk grotere impact op de prestaties dan de keuze van de modelfamilie of hyperparameteroptimalisatie.
Noodzaak van Baselines: Een regelgebaseerde baseline is een onmisbare controlegroep in de regelgevende monitoring. Zonder deze baseline kunnen hoge ML-prestatiecijfers misleidend zijn, omdat ze simpelweg repliceren wat de wettelijke drempelwaarden al bereiken.
Beperkende Factoren: Bij de behaalde prestatieniveaus (9 fouten in 22.152 monsters) wordt het plafond voor verbetering bepaald door datakwaliteit en etiketteringsinconsistenties in plaats van door de modelarchitectuur.

Het protocol wordt gepresenteerd als overdraagbaar naar andere drempelgestuurde milieudomeinen (bijv. luchtkwaliteit, afvalwaterlimieten), waarbij benadrukt wordt dat de vergelijking altijd verankerd moet zijn in de specifieke regelgevende regels in plaats van in generieke parametersets.

Meer zoals dit