Optimizing Chlorination in Water Distribution Systems via Surrogate-assisted Neuroevolution

Dit artikel presenteert een neuro-evolutie framework met surrogate-modellering dat succesvol wordt ingezet om de chlorering in complexe waterdistributiesystemen te optimaliseren door meerdere doelstellingen te balanceren en hiermee standaardversterkingsleermethoden te overtreffen.

De kern

Stel je voor dat een stad een enorm, levend lichaam is, en het drinkwatersysteem is het bloedstelsel dat door de aderen (buizen) stroomt. Net als in ons bloed moet er een bepaalde hoeveelheid "bescherming" in zitten om ziektekiemen te doden. In dit geval is die bescherming chloor.

Maar hier zit de last: te weinig chloor betekent dat bacteriën kunnen groeien (gevaarlijk!), maar te veel chloor is ook slecht (het kan kanker veroorzaken en het water smaakt naar zwembad).

Het probleem is dat dit watersysteem heel complex is. Het water stroomt niet in rechte lijntjes; het beweegt, vertraagt, versnelt en reageert met vuil in de buizen. Het is alsof je probeert een perfecte hoeveelheid parfum te spuiten in een windstoot die constant verandert, terwijl je blindelings door een doolhof loopt.

Dit artikel beschrijft hoe onderzoekers een slimme, digitale oplossing hebben bedacht om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Digitale Tweeling (De "Videospelletjes"-Simulator)

Je kunt niet zomaar in een echt watersysteem experimenteren door chloor toe te voegen en te kijken wat er gebeurt; dat is te gevaarlijk en te duur.
In plaats daarvan bouwen de onderzoekers een digitale tweeling van het hele watersysteem. Dit is een computerprogramma (EPANET) dat precies nabootst hoe water stroomt en hoe chloor zich gedraagt.

• Het probleem: Deze simulator is zo nauwkeurig, maar ook zo zwaar, dat het duurt als een supercomputer om één dag te simuleren. Als je een AI-agent wilt laten leren door miljoenen keren te proberen, zou het eeuwen duren.

2. De Slimme "Vooruitblikker" (Het Surrogaat)

Om dit op te lossen, trainen ze een slimme voorspeller (een neurale netwerk).

• De analogie: Stel je voor dat je een chef-kok hebt die duizenden recepten kent (de zware simulator). Hij is perfect, maar langzaam. De onderzoekers trainen een jonge leerling (het surrogaat) die de chef observeert. Na een tijdje kan de leerling de uitkomst van een recept voorspellen in een seconde, terwijl de chef uren nodig heeft.
• De leerling is niet perfect, maar hij is ontzettend snel. De AI-agent leert dus eerst op deze snelle leerling, in plaats van op de trage chef.

3. De Evolutie van de "Chef-koks" (Neuroevolutie)

Hoe vinden ze de beste manier om chloor toe te voegen? Ze gebruiken geen standaard computerprogramma, maar laten het evolutie doen.

• Ze creëren een populatie van duizenden digitale "koks" (AI-agenten). Elke kok heeft een eigen "recept" (een neurale netwerk) om te beslissen wanneer en hoeveel chloor er moet worden toegevoegd.
• De meeste koks maken fouten: ze voegen te veel toe, te weinig, of op het verkeerde moment.
• De onderzoekers kijken wie het beste presteert (degenen die het veiligst en goedkoopst zijn) en laten die "koken" met elkaar. Ze mengen hun recepten en maken kleine variaties (mutaties).
• Na duizenden generaties ontstaan er koks die meesters zijn in het beheersen van het watersysteem.

4. De Kunst van het Afwegen (Meerdere Doelen)

Dit is het moeilijkste deel. De koks moeten niet alleen één ding goed doen, maar vier dingen tegelijk:

1. Kosten: Gebruik zo min mogelijk chloor (om geld te besparen).
2. Veiligheid: Zorg dat er nergens te weinig chloor is (geen bacteriën).
3. Gelijkheid: Zorg dat het water overal evenveel chloor heeft (niet te veel in de ene straat, te weinig in de andere).
4. Rust: Voeg niet ineens een enorme hoeveelheid toe, maar doe het rustig en geleidelijk.

Het is alsof je probeert een auto te besturen die tegelijkertijd zo snel mogelijk moet rijden, zo zuinig mogelijk moet zijn, en nooit mag botsen. De onderzoekers gebruiken een methode (NSGA-II) die een lijst van perfecte compromissen maakt. Ze vinden geen één perfecte oplossing, maar een hele reeks opties waarbij je kunt kiezen: "Wil je liever iets meer chloor gebruiken voor extra veiligheid, of juist minder voor lagere kosten?"

5. Het "Leerplan" (Curriculum Learning)

In het begin waren de koks erg verward omdat ze te veel regels tegelijk kregen.

• De oplossing: Ze leerden ze stap voor stap. Eerst leerden ze alleen hoe ze veilig moesten werken (geen bacteriën). Toen ze dat konden, leerden ze hoe ze het water gelijkmatig moesten verdelen. Pas daarna leerden ze hoe ze geld moesten besparen.
• Dit werkt net als een kind dat eerst leert optellen, dan aftrekken, en pas later complexe wiskunde. Door dit "leerplan" te volgen, werden de koks veel slimmer dan als ze alles in één keer hadden moeten leren.

6. De Magische Feedback-lus

Hier wordt het echt interessant. Omdat de "leerling" (het snelle surrogaat) niet perfect is, kan de AI-agent soms trucs gebruiken die de leerling niet goed begrijpt, maar die in het echte systeem wel werken.

• De onderzoekers laten de beste koks hun recepten testen in de trage, echte simulator.
• De resultaten van die echte tests gebruiken ze om de leerling bij te scholen.
• Hierdoor wordt de leerling steeds slimmer, en kan de AI-agent nog betere trucs bedenken. Het is een positieve cyclus: de leerling helpt de meester, en de meester maakt de leerling beter.

Conclusie

Kortom: De onderzoekers hebben een systeem bedacht dat leert hoe je drinkwater veilig houdt door een digitale simulatie te gebruiken, evolutie toe te passen om de beste strategieën te vinden, en stap-voor-stap leren om de complexiteit te doorbreken.

Het resultaat is een set van slimme regels die steden kunnen helpen om hun drinkwater schoner, veiliger en goedkoper te houden, zonder dat mensen 24/7 hoeven te kijken naar schermen. Het is een voorbeeld van hoe kunstmatige intelligentie en natuur (evolutie) samenwerken om een van de belangrijkste uitdagingen van onze wereld op te lossen.

Technische samenvatting

Probleemstelling

Het handhaven van microbiologische veiligheid in grote, heterogene waterdistributiesystemen (WDS) is een complexe uitdaging. Traditionele besturingsalgoritmen hebben moeite met de niet-lineaire en ruiseigenschappen van de vloeistofinteracties in deze netwerken.

• De uitdaging: Het is cruciaal om de chloorconcentraties binnen veilige grenzen te houden om ziekteverwekkers te doden, maar tevens te voorkomen dat de concentratie te hoog wordt (wat schadelijke bijproducten en gezondheidsrisico's veroorzaakt) of te laag (wat infectierisico's verhoogt).
• Beperkingen: Experimenten in actieve systemen zijn onmogelijk vanwege de kritieke infrastructuur. Simulaties zoals EPANET zijn nauwkeurig maar computationally zeer duur, waardoor ze ongeschikt zijn voor directe training van machine learning-modellen die duizenden iteraties vereisen.
• Doel: Het ontwikkelen van een besturingsstrategie die chloor injecteert op strategische locaties en tijdstippen om vier doelen te optimaliseren: minimale totale chloorgebruik, homogene verdeling, het niet overschrijden van veilige grenzen, en regelmatige injectie over de tijd.

Methodologie

De auteurs stellen een evolutionair raamwerk voor dat gebaseerd is op Neuroevolutie, Multi-objectieve optimalisatie en Surrogaatmodelleren. Het centrale kader is ESP (Evolutionary Surrogate-Assisted Prescription).

1. Surrogaatmodel (De Predictor):

   • Omdat EPANET te traag is voor directe evolutie, wordt een surrogaatmodel getraind om het gedrag van EPANET te emuleren.
   • Dit model is een unidirectionele LSTM (Long Short-Term Memory) die de hydraulische en kwaliteitsstaten (stroom, druk, chloorconcentratie) voorspelt op basis van waarnemingen en acties.
   • Kennisdistillatie: Om lange-termijnfouten te verminderen, wordt een "Teacher-Student" architectuur gebruikt. Een bi-directionele LSTM (Teacher) met lookahead-context leert een causale Student-LSTM. De student wordt getraind met een hybride verliesfunctie die zowel grondwaarheid als distillatie van de teacher omvat.
   • Fine-tuning: Het surrogaatmodel wordt continu bijgeschaald (fine-tuned) met data gegenereerd door de beste geëvolueerde agenten, waardoor het model steeds beter wordt in het voorspellen van de dynamiek die de agenten zelf creëren.

2. Neuroevolutie (De Prescriptor):

   • In plaats van gradient-based learning (zoals bij Deep Reinforcement Learning), worden de besturingsnetwerken geëvolueerd met NEAT (Neuroevolution of Augmenting Topologies).
   • NEAT evolueert zowel de gewichten als de topologie van het neurale netwerk, wat diversiteit bevordert en geen gradiëntinformatie vereist.
   • De agenten nemen waarnemingen (chloorpeil op 17 knopen, stroom op 2 pijpen) en beslissen hoeveel chloor er in 5 boosterstations moet worden geïnjecteerd.

3. Multi-objectieve Optimalisatie:

   • De agenten worden geëvalueerd op vier doelen: schending van grenswaarden (bound violations), homogeniteit (fairness), kosten (totaal chloorgebruik) en gladheid van injectie (smoothness).
   • NSGA-II: Dit algoritme wordt gebruikt om een Pareto-front van oplossingen te genereren, waarbij de beste trade-offs tussen de conflicterende doelen worden gevonden.
   • Curriculum Learning: Om de zoekruimte effectief te navigeren, worden de doelen geleidelijk ingevoerd. De evolutie begint met twee doelen (grenswaarden en homogeniteit) en voegt vervolgens gladheid en kosten toe. Dit voorkomt dat de agenten in lokale optima belanden of onintuïtieve trade-offs maken.

Belangrijkste Bijdragen

1. Kennisdistillatie voor Surrogaatmodellen: Het paper valideert dat kennisdistillatie (Teacher-Student) essentieel is voor het creëren van causale, contextbewuste state-predictiemodellen die nauwkeurig genoeg zijn om complexe WDS-dynamica te simuleren.
2. Curriculaire Multi-objectieve Neuroevolutie: Het toont aan dat het stapsgewijs introduceren van doelen via NSGA-II leidt tot superieure trade-offs in vergelijking met standaard methoden.
3. Automatische Regularisatie via Co-optimalisatie: Het paper demonstreert dat het continue fine-tunen van het surrogaatmodel op data van de agenten leidt tot "automatische regularisatie". De voorspellingen van het surrogaat worden gladder, wat de agenten stimuleert om chloor gelijkmatiger te injecteren, wat op zijn beurt weer de prestaties verbetert.

Resultaten

De methode werd getest op een WDS-simulatie (EPANET) met een complex netwerk en variabele vraag/contaminatie-evenementen.

• Vergelijking met Baselines: De geëvolueerde agenten (NSGA-II met curriculum) presteerden aanzienlijk beter dan:
  • Constante injectie: (Te weinig of te veel chloor).
  • Willekeurige injectie: (Hoog risico en inefficiënt).
  • PPO (Proximal Policy Optimization): Een standaard Reinforcement Learning-methode. PPO en standaard NEAT (zonder curriculum) "kollapsen" vaak naar zeer kleine injecties (< 0,01 mg/L) vanwege het ruisende beloningssignaal, wat resulteert in slechte prestaties.
• Trade-offs: De NSGA-II met curriculum leverde de beste balans:
  • Een ~40% reductie in schendingen van grenswaarden vergeleken met een hoge constante injectie, met een vergelijkbaar infectierisico.
  • Een 12-13x betere gladheid (smoothness) en een 18% lagere infectierisico vergeleken met willekeurige injectie.
  • Een ~30% verbetering in infectierisico en aanzienlijk betere homogeniteit en gladheid vergeleken met NSGA-II zonder curriculum.
• Surrogaatverbetering: Na fine-tuning van het surrogaatmodel ontstonden er nieuwe soorten (species) in de populatie die gebieden van de objectiveruimte bereikten die eerder ontoegankelijk waren, wat leidt tot innovatievolutie.

Betekenis en Toekomstperspectief

Dit paper biedt een nieuw pad voor het optimaliseren van kritieke stedelijke infrastructuur.

• Schaalbaarheid: Door het gebruik van een surrogaatmodel wordt de hoge rekenkosten van EPANET omzeild, waardoor machine learning-toepassingen op industriële schaal mogelijk worden.
• Veiligheid en Duurzaamheid: De methode helpt bij het garanderen van drinkwaterkwaliteit wereldwijd, wat direct bijdraagt aan de UN Sustainable Development Goals.
• Generalisatie: Het kader is niet beperkt tot water; het kan worden toegepast op andere spatiotemporele optimalisatieproblemen in vervoer, communicatie en constructie.
• Praktische Toepasbaarheid: De generatie van een Pareto-front stelt beleidsmakers in staat om een specifieke strategie te kiezen die past bij lokale middelen, beperkingen en prioriteiten, in plaats van één "optimale" oplossing te forceren.

Kortom, de combinatie van neuroevolutie, multi-objectieve optimalisatie met curriculum learning en een dynamisch bijgeschaald surrogaatmodel bewijst superieur in complexiteit en effectiviteit ten opzichte van traditionele RL-methoden voor dit type fysieke besturingsproblemen.