Optimizing Chlorination in Water Distribution Systems via Surrogate-assisted Neuroevolution

Cet article propose un cadre d'évolution neuronale assisté par des modèles de substitution pour optimiser l'injection de chlore dans les réseaux de distribution d'eau, générant des politiques multi-objectifs supérieures aux méthodes d'apprentissage par renforcement classiques tout en réduisant les coûts de calcul.

L'essentiel

🌊 Le Problème : La Ville qui a Soif (et qui a peur de la contamination)

Imaginez une ville comme un corps humain. Les tuyaux d'eau qui relient les réservoirs aux robinets de chaque maison sont comme les veines et les artères.

Le défi, c'est de garder ce "sang" (l'eau) propre et sain. Pour cela, on ajoute un peu de chlore (un désinfectant), un peu comme on mettrait un pansement ou un antibiotique pour tuer les bactéries.

Mais il y a un gros problème :

1. Trop peu de chlore : L'eau devient sale, les gens tombent malades.
2. Trop de chlore : L'eau a un goût terrible, et cela crée des sous-produits chimiques dangereux qui peuvent causer des cancers à long terme.
3. Le réseau est fou : L'eau circule dans des tuyaux de tailles différentes, à des vitesses variables, avec des demandes qui changent tout le temps (le matin, tout le monde se douche ; la nuit, tout le monde dort).

Gérer cela à la main est impossible. C'est comme essayer de diriger le trafic de toute une ville en criant des ordres à chaque carrefour. Les ordinateurs classiques essaient de le faire, mais ils se perdent souvent dans la complexité.

🤖 La Solution : Une Équipe de "Gardiens" Évolutive

Les chercheurs de l'Université du Texas ont proposé une idée géniale : au lieu de programmer un ordinateur avec des règles strictes, ils ont créé une équipe virtuelle de gardiens qui apprend par l'expérience, un peu comme des animaux qui évoluent dans la nature.

Voici comment ils ont fait, étape par étape, avec des analogies simples :

1. Le "Simulateur de Réalité" (Le Jumeau Numérique)

Avant de toucher aux vrais tuyaux de la ville (ce qui serait trop dangereux et trop cher), ils ont créé un simulateur ultra-réaliste sur ordinateur. C'est comme un jeu vidéo très complexe qui imite parfaitement la physique de l'eau.

• Le problème : Ce jeu vidéo est si réaliste qu'il est très lent à tourner. Si on veut entraîner un robot pour y jouer, il faudrait des années.

2. Le "Miroir Rapide" (Le Modèle Surrogate)

Pour accélérer les choses, ils ont créé un miroir magique (appelé "modèle surrogate"). C'est une intelligence artificielle plus petite et plus rapide qui a appris à imiter le jeu vidéo.

• L'analogie : Imaginez que vous voulez apprendre à conduire. Au lieu de rouler sur la vraie route (lents et dangereux), vous conduisez dans un simulateur de conduite (rapide et sûr). Ici, le "miroir" est ce simulateur. Il ne voit pas tout à 100 %, mais il est assez bon pour tester des idées rapidement.

3. L'Évolution par "Sélection Naturelle" (Neuroevolution)

Au lieu d'enseigner au robot une seule façon de faire, ils ont créé une population de 350 gardiens virtuels.

• Chaque gardien est un petit cerveau (un réseau de neurones) qui décide : "Dois-je ajouter du chlore ici ? Maintenant ? Combien ?"
• Au début, ils sont tous nuls. Ils ajoutent trop ou pas assez.
• La sélection naturelle : Les chercheurs regardent qui a fait le meilleur travail (eau propre, pas trop de chlore, pas trop cher). Les meilleurs gardiens se "reproduisent" (leurs idées sont combinées) et les moins bons disparaissent.
• La mutation : Parfois, on modifie légèrement le cerveau d'un gardien pour voir s'il trouve une idée encore meilleure. C'est comme si l'évolution naturelle créait de nouvelles espèces pour s'adapter à l'environnement.

4. L'Apprentissage Progressif (Le "Curriculum")

C'est ici que la méthode devient brillante. Au début, on ne demande pas aux gardiens de tout gérer d'un coup. C'est trop dur !

• Niveau 1 : On leur apprend juste à ne pas dépasser la limite de sécurité (ne pas tuer personne avec trop de chlore).
• Niveau 2 : Une fois qu'ils maîtrisent ça, on leur ajoute l'objectif d'égalité (que l'eau soit propre partout, pas juste dans un quartier).
• Niveau 3 : On ajoute l'objectif de régularité (ne pas faire des injections en "sauts" brusques).
• Niveau 4 : Enfin, on leur demande de faire tout ça en économisant de l'argent.

C'est comme apprendre à un enfant : d'abord l'addition, puis la soustraction, ensuite les fractions, et enfin l'algèbre. Si on lui donne l'algèbre tout de suite, il abandonne.

5. La Boucle Vertueuse (Le "Raffinement")

Une fois que les gardiens deviennent très bons, ils commencent à faire des choses que le "miroir rapide" n'avait jamais vues. Le système utilise alors ces nouvelles expériences pour mettre à jour le miroir et le rendre encore plus précis.

• L'analogie : C'est comme un entraîneur de sport qui regarde ses athlètes s'améliorer, puis ajuste la piste d'entraînement pour qu'elle soit encore plus réaliste, ce qui permet aux athlètes de devenir encore plus forts. C'est un cercle vertueux.

🏆 Les Résultats : Qui a gagné ?

Les chercheurs ont comparé leur méthode avec d'autres techniques classiques (comme l'apprentissage par renforcement standard, utilisé dans les jeux vidéo comme les échecs ou Go).

• Les méthodes classiques (PPO) : Elles ont souvent échoué ou ont trouvé des solutions "moyennes" et rigides.
• La méthode des chercheurs : Elle a produit une gamme complète de solutions optimales.
  • Vous voulez économiser de l'argent ? Il y a un gardien pour ça.
  • Vous voulez une sécurité maximale ? Il y a un autre gardien pour ça.
  • Vous voulez un équilibre parfait ? Il y a un troisième gardien.

C'est comme si, au lieu de vous donner une seule recette de cuisine, ils vous donnaient un livre de recettes avec des options pour chaque budget et chaque goût, toutes testées et approuvées.

💡 En Résumé

Ce papier nous dit que pour gérer des systèmes complexes comme l'eau dans une ville, il ne faut pas essayer de tout contrôler avec des règles rigides. Il faut :

1. Créer un simulateur rapide pour tester des idées.
2. Laisser une population d'IA évoluer naturellement pour trouver des solutions créatives.
3. Les faire grandir étape par étape (du simple au complexe).
4. Améliorer le simulateur en même temps que les IA s'améliorent.

C'est une méthode puissante qui pourrait bientôt aider à protéger l'eau potable dans le monde entier, en assurant qu'elle est saine, abordable et sûre pour tout le monde, sans gaspiller de produits chimiques.

Résumé technique

1. Problématique et Contexte

La sécurité microbiologique des grands réseaux de distribution d'eau (WDS - Water Distribution Systems) est un défi critique pour la croissance urbaine et les objectifs de développement durable. Pour garantir cette sécurité, le chlore est injecté dans le réseau pour désinfecter l'eau. Cependant, maintenir des niveaux de résidus de chlore optimaux est complexe en raison de :

• Dynamiques non linéaires et bruyantes : Les interactions hydrauliques (écoulement, pression) et les réactions chimiques (dégradation du chlore, formation de sous-produits toxiques) sont complexes.
• Contraintes contradictoires : Il faut minimiser la quantité totale de chlore (coût), éviter les dépassements de limites de sécurité (santé), assurer une homogénéité spatiale (équité) et maintenir une régularité temporelle des injections (lissage).
• Coût computationnel : Les simulateurs industriels de référence comme EPANET sont précis mais trop lents pour entraîner des algorithmes d'apprentissage par renforcement (RL) ou d'optimisation directe, car ils nécessitent des millions d'évaluations.

L'objectif de l'article est de développer un cadre de contrôle autonome capable de gérer ces injections de chlore de manière optimale, en surmontant les limitations des méthodes traditionnelles et de l'apprentissage par renforcement standard.

2. Méthodologie

Les auteurs proposent un cadre d'optimisation basé sur la Neuroévolution assistée par un modèle substitut (Surrogate Model), intégré dans la structure ESP (Evolutionary Surrogate-Assisted Prescription).

A. Modélisation et Simulation

• Simulateur : Le réseau est modélisé via EPANET (via l'interface Python EPyT), qui simule l'hydraulique et la qualité de l'eau sur une période de 3 jours avec une résolution de 5 minutes.
• Données d'entrée : Le contrôleur observe les niveaux de chlore à 17 nœuds de surveillance et les débits dans deux conduites. Il agit sur 5 stations d'injection (booster stations).
• Objectifs d'optimisation : Quatre objectifs sont optimisés simultanément :
  1. Minimisation des violations de bornes (concentration trop haute ou trop basse).
  2. Équité (homogénéité spatiale des concentrations).
  3. Coût (quantité totale de chlore injectée).
  4. Lissage (régularité des injections dans le temps).
     Note : Le risque d'infection est évalué a posteriori mais n'est pas directement optimisé car les événements de contamination sont aléatoires.

B. Architecture du Modèle Substitut (Surrogate)

Pour contourner la lenteur d'EPANET, un modèle substitut (un réseau de neurones) est entraîné pour imiter le simulateur.

• Architecture : Utilisation d'un LSTM unidirectionnel (élève) pour prédire l'état suivant (débits, observations, actions) basé sur un contexte causal.
• Distillation de Connaissance : Un modèle "professeur" (LSTM bidirectionnel avec contexte de regard vers l'avant) est utilisé pour générer des cibles non causales. L'élève est entraîné avec une fonction de perte hybride incluant une perte de distillation et une perte de "rollout" (prédiction multi-étapes).
• Prédiction incrémentale : Le modèle prédit les variations d'état ($\Delta_t$) plutôt que les valeurs brutes pour réduire l'erreur à long terme.

C. Neuroévolution et Optimisation Multi-Objectif

• Algorithme d'évolution : NEAT (Neuroevolution of Augmenting Topologies) est utilisé pour évoluer la topologie et les poids des réseaux de neurones (les "prescripteurs"). NEAT permet une exploration créative sans nécessiter de gradients.
• Optimisation Multi-Objectif : Le cadre NSGA-II est employé pour optimiser les quatre objectifs simultanément, générant un front de Pareto de solutions optimales.
• Apprentissage par Curriculum : Au lieu d'optimiser tous les objectifs dès le début, ils sont introduits progressivement (d'abord les violations de bornes et l'équité, puis le lissage, enfin le coût). Cela évite les compromis contre-intuitifs et guide l'évolution vers des niches de solutions plus raffinées.
• Boucle d'ESP :
  1. Collecte de données initiales (injections aléatoires) sur EPANET.
  2. Entraînement du modèle substitut.
  3. Évolution des agents NEAT en utilisant le substitut pour l'évaluation (très rapide).
  4. Sélection des meilleurs agents, évaluation sur EPANET réel, et mise à jour (fine-tuning) du substitut avec ces nouvelles données.

3. Résultats Clés

Les expériences ont été menées sur un réseau de distribution réel (topologie fixe) avec des scénarios de contamination aléatoires.

• Performance du Substitut : La distillation de connaissance et l'inclusion d'une perte de "rollout" ont considérablement réduit l'erreur de prédiction à long terme (Horizon MSE), rendant le substitut fiable pour l'entraînement des agents.
• Comparaison avec les Baselines :
  • Les agents évolués (NSGA-II avec curriculum) surpassent largement les politiques de base (injection constante ou aléatoire).
  • Vs PPO (Reinforcement Learning) : L'algorithme PPO (Proximal Policy Optimization) a échoué à trouver de bonnes solutions, tendant vers des injections quasi nulles (< $10^{-2}$) en raison de la complexité du paysage de récompense. Les agents neuroévolutifs ont trouvé des compromis équilibrés.
• Impact du Curriculum : L'approche par curriculum a amélioré le risque d'infection de près de 30 % par rapport à une optimisation simultanée de tous les objectifs, tout en réduisant les violations d'équité et de lissage.
• Régularisation Automatique : L'affinement continu du substitut avec les données des agents a conduit à une "régularisation automatique". Les prédictions du substitut sont devenues plus lisses, permettant aux agents d'optimiser l'objectif de lissage sans effort explicite supplémentaire.
• Front de Pareto : La méthode a produit un front de Pareto diversifié, offrant aux décideurs un éventail de politiques allant de la minimisation des coûts à la maximisation de la sécurité, selon les priorités locales.

4. Contributions Principales

1. Validation de la distillation de connaissance : Démonstration que l'utilisation d'un modèle "professeur" pour entraîner un modèle "élève" causal améliore la précision des prédictions d'état dans les systèmes dynamiques complexes.
2. Efficacité de l'optimisation multi-objectif par curriculum : Preuve que l'introduction progressive des objectifs dans un cadre neuroévolutif (NSGA-II + NEAT) permet de trouver des compromis supérieurs à ceux obtenus par l'apprentissage par renforcement standard (PPO) ou l'évolution simultanée.
3. Synergie Substitut-Agent : Mise en évidence d'un phénomène de régularisation automatique où l'évolution conjointe du contrôleur et du modèle substitut améliore la stabilité et l'exploration du paysage d'optimisation.

5. Signification et Perspectives

Ce travail ouvre une nouvelle voie pour la gestion des infrastructures critiques. En combinant la précision des simulateurs physiques (via des jumeaux numériques) avec la puissance de l'évolution artificielle et des modèles substituts, il devient possible de contrôler des systèmes complexes, non linéaires et bruyants que les méthodes de contrôle classiques ou le RL standard ne peuvent pas maîtriser efficacement.

Implications :

• Sécurité de l'eau : Amélioration potentielle de la sécurité microbiologique de l'eau potable à l'échelle mondiale.
• Généralisation : Le cadre proposé est applicable à d'autres problèmes d'optimisation spatio-temporelle (réseaux de transport, communications, construction).
• Défis futurs : Les auteurs soulignent la nécessité d'entraîner sur des périodes plus longues (mois/années) pour mieux généraliser face à des événements de contamination extrêmes et d'adapter le cadre à diverses topologies de réseaux.

En résumé, l'article démontre que l'approche Surrogate-assisted Neuroevolution est une méthode robuste et efficace pour résoudre des problèmes de contrôle complexes dans le domaine de l'ingénierie des infrastructures, surpassant les méthodes d'apprentissage par renforcement traditionnelles.