Optimizing Chlorination in Water Distribution Systems via Surrogate-assisted Neuroevolution

Este artículo propone un marco evolutivo basado en neuroevolución y modelos sustitutos para optimizar la inyección de cloro en sistemas de distribución de agua, logrando políticas de control superiores a los métodos tradicionales que equilibran la seguridad microbiológica, la homogeneidad y la eficiencia operativa.

Lo esencial

¡Claro que sí! Imagina que el sistema de agua de una ciudad es como un gigantesco laberinto de tuberías que lleva agua fresca a millones de casas. El problema es que, para que el agua sea segura y no tenga bacterias, necesitamos agregarle un poco de "cloro" (como el que usas para limpiar la piscina), pero hay un equilibrio muy delicado:

• Muy poco cloro: El agua se vuelve peligrosa y puedes enfermarte.
• Demasiado cloro: El agua sabe mal, puede ser tóxica y daña tu salud a largo plazo.

Además, el agua no se mueve de forma recta; fluye, se mezcla, cambia de velocidad y reacciona con cosas en las tuberías. Intentar controlar esto con fórmulas matemáticas tradicionales es como intentar adivinar el clima de la próxima semana mirando solo una gota de lluvia: es demasiado complejo y caótico.

Aquí es donde entra este paper, que propone una solución muy inteligente basada en evolución y aprendizaje automático. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El "Simulador de Vuelo" es muy lento

Para aprender a controlar el cloro, los científicos necesitan probar miles de ideas. Pero usar el simulador real de las tuberías (llamado EPANET) es como intentar aprender a volar un avión calculando cada turbulencia con una calculadora de bolsillo: tarda demasiado. Si esperas a que el simulador termine un cálculo, ya no tienes tiempo para probar la siguiente idea.

La Solución: El "Gemelo Digital" (El Surrogato)
Los investigadores crearon un "gemelo digital" o un "chico rápido" (un modelo de IA llamado Surrogate).

• Imagina que el simulador real es un chef experto que cocina un plato perfecto pero tarda 3 horas.
• El "chico rápido" es un aprendiz que ha visto al chef cocinar miles de veces. El aprendiz no es tan perfecto, pero puede predecir cómo quedará el plato en segundos.
• La IA usa a este aprendiz para probar miles de estrategias de cloro rápidamente. Cuando el aprendiz se equivoca, los investigadores lo mandan a la cocina real (el simulador) a corregir su error y aprender de nuevo. ¡Es un ciclo de mejora constante!

2. El Entrenador: La "Evolución" en lugar de "Entrenamiento"

Normalmente, las inteligencias artificiales aprenden como un estudiante que repite una lección hasta que la memoriza (esto se llama Aprendizaje por Refuerzo o RL). Pero en este caso, probaron un enfoque diferente: Neuroevolución.

Imagina que en lugar de tener un solo estudiante, tienes un estadio lleno de 1000 estudiantes (una población de redes neuronales).

1. El Examen: Todos intentan controlar el cloro en el "gemelo digital".
2. La Selección Natural: Los que hacen un trabajo terrible (poca seguridad o mucho desperdicio de cloro) son eliminados.
3. La Reproducción: Los mejores estudiantes se "cruzan" (mezclan sus ideas) y tienen "hijos" con pequeñas variaciones (mutaciones).
4. El Resultado: Después de muchas generaciones, la población evoluciona hacia soluciones geniales que nadie habría imaginado por sí solo.

3. El Maestro de Clases: El "Currículo"

Aquí está la parte más creativa. Si le dices a un niño que aprenda cálculo, física y química al mismo tiempo, se abrumará y no aprenderá nada.

Los investigadores usaron una técnica llamada Aprendizaje Curricular:

• Nivel 1: Primero, solo les enseñaron a los estudiantes a no violar las reglas (que el cloro no sea ni muy alto ni muy bajo).
• Nivel 2: Cuando ya dominaban eso, les añadieron el objetivo de ahorrar dinero (usar menos cloro).
• Nivel 3: Luego, les pidieron que el cloro estuviera uniformemente distribuido en toda la ciudad.
• Nivel 4: Finalmente, les pidieron que los cambios fueran suaves (no cambiar el cloro bruscamente cada minuto).

Al ir subiendo la dificultad poco a poco, como un videojuego, los estudiantes (las IAs) aprendieron a hacer un equilibrio perfecto entre todos los objetivos.

4. El Resultado: Un Menú de Opciones Perfectas

Al final, no obtuvieron una sola respuesta, sino un "menú de opciones" (llamado Frente de Pareto).

• Si la ciudad quiere ahorrar mucho dinero, pueden elegir una opción que use menos cloro pero tenga un riesgo un poco más alto.
• Si la ciudad quiere máxima seguridad y no le importa el costo, eligen otra opción.
• Si quieren un equilibrio perfecto, eligen la del medio.

¿Por qué es importante esto?

Este método superó a otros métodos de IA tradicionales (como PPO) que se quedaron atascados o no funcionaron bien. La combinación de:

1. Un gemelo digital rápido para entrenar.
2. La evolución para encontrar ideas creativas.
3. Un currículo paso a paso para no abrumar al sistema.

...creó un sistema que puede mantener el agua segura, limpia y económica en ciudades complejas. Es como tener un director de orquesta que sabe exactamente cuándo y cuánto cloro tocar en cada tubería, asegurando que la música (el agua) suene perfecta en toda la ciudad, sin importar cuán caótico sea el tráfico de las tuberías.

En resumen: Usaron la inteligencia de la naturaleza (evolución) y un "entrenador virtual" rápido para enseñar a una IA a cuidar el agua de nuestras ciudades de una manera más eficiente y segura que nunca antes.

Resumen técnico

Resumen Técnico: Optimización de la Cloración en Sistemas de Distribución de Agua mediante Neuroevolución Asistida por Surrogados

1. Planteamiento del Problema

El mantenimiento de la seguridad microbiológica en grandes sistemas de distribución de agua (WDS, por sus siglas en inglés) es un desafío crítico para el crecimiento urbano y el cumplimiento de los Objetivos de Desarrollo Sostenible de la ONU.

• Complejidad: Los WDS presentan interacciones de fluidos no lineales, ruidosas y dinámicas. Mantener niveles adecuados de residuos de desinfectante (cloro) es difícil debido a la edad del agua, la demanda variable de los consumidores y las reacciones químicas que generan subproductos nocivos (vinculados a cáncer y otras enfermedades).
• Limitaciones Actuales: La experimentación en sistemas reales es inviable por razones de seguridad e infraestructura. Los simuladores industriales precisos, como EPANET, son computacionalmente costosos, lo que impide su uso directo en algoritmos de aprendizaje por refuerzo (RL) o optimización evolutiva que requieren miles de evaluaciones.
• Objetivo: Desarrollar un marco de control autónomo que optimice la inyección de cloro en múltiples puntos estratégicos, equilibrando la seguridad microbiológica, la homogeneidad de la concentración, el costo y la suavidad de las inyecciones, sin depender de la ejecución costosa del simulador en tiempo real.

2. Metodología Propuesta

El artículo propone un marco evolutivo que combina Optimización Multiobjetivo, Modelado por Surrogados y Neuroevolución.

A. Marco de Prescripción Asistida por Surrogados (ESP)
Se utiliza el marco ESP, que consta de dos modelos co-optimizados:

1. Prescriptor ($P_s$): Una red neuronal (agente) que decide las acciones de inyección de cloro basándose en observaciones (niveles de cloro y flujo).
2. Predictor/Surrogado ($P_d$): Un modelo que emula el comportamiento del simulador EPANET. En lugar de predecir recompensas directamente, predice el estado hidráulico y de calidad del agua (flujos, presiones, concentraciones) en el siguiente paso temporal.

B. Generación y Entrenamiento del Surrogado

• Datos: Se utilizan datos del AI for Drinking Water Chlorination Challenge (IJCAI 2025), simulando 3 días de operación con eventos de contaminación aleatorios.
• Arquitectura: Se emplea un enfoque de destilación de conocimiento (Teacher-Student):
  • Maestro ($T_\phi$): Un LSTM bidireccional con contexto de "mirada hacia adelante" (non-causal) para generar objetivos precisos.
  • Estudiante ($S_\theta$): Un LSTM unidireccional (causal) entrenado para predecir incrementos de estado ($\Delta_t$) en lugar de valores absolutos, minimizando el error a largo plazo.
• Función de Pérdida: Se incluye una pérdida de "despliegue" (rollout loss) para mejorar la precisión en horizontes temporales largos (hasta 250 minutos), superando a configuraciones estándar.

C. Neuroevolución con NEAT y NSGA-II

• Algoritmo: Se utiliza NEAT (Neuroevolution of Augmenting Topologies) para evolucionar tanto los pesos como la topología de las redes neuronales de los agentes.
• Optimización Multiobjetivo: Se emplea NSGA-II para optimizar simultáneamente cuatro objetivos (sin usar una recompensa ponderada simple):
  1. Violación de límites: Mantener el cloro dentro de rangos seguros.
  2. Justicia (Fairness): Homogeneidad espacial de la concentración.
  3. Suavidad: Variación mínima entre inyecciones consecutivas.
  4. Costo: Minimizar la cantidad total de cloro inyectado.
• Aprendizaje Curricular: Para evitar óptimos locales y trade-offs contra-intuitivos, los objetivos se introducen gradualmente (curriculum learning). El orden óptimo encontrado fue: primero Violación de límites y Justicia, luego Suavidad, y finalmente Costo.

D. Ciclo de Retroalimentación
El proceso es iterativo:

1. Entrenar el surrogado con datos iniciales.
2. Evolucionar agentes contra el surrogado.
3. Evaluar los mejores agentes en el simulador real (EPANET).
4. Fine-tuning: Actualizar el surrogado con los nuevos datos generados por los agentes evolucionados, creando un ciclo virtuoso que regulariza el modelo y permite explorar regiones del espacio de búsqueda previamente inaccesibles.

3. Resultados Clave

Los experimentos se compararon contra políticas de inyección constante, aleatoria y un agente de PPO (Proximal Policy Optimization), estándar en RL.

• Rendimiento Superior de NSGA-II Curricular:
  • Los agentes evolucionados con NSGA-II y aprendizaje curricular superaron significativamente a PPO y a las políticas de inyección constante.
  • PPO y NEAT estándar: Colapsaron hacia inyecciones casi nulas (< 0.01 mg/L) debido al ruido en las recompensas compuestas, fallando en controlar la calidad del agua.
  • NSGA-II Curricular: Logró un equilibrio superior, reduciendo las violaciones de límites en un ~40% comparado con inyecciones altas, y mejorando la suavidad de inyección 12-13 veces comparado con inyecciones aleatorias, manteniendo un riesgo de infección bajo.
• Importancia del Orden Curricular: El orden en que se introducen los objetivos es crítico. Iniciar con "Justicia y Costo" (FC) permitió una mayor inyección de cloro necesaria para reducir el riesgo de infección, mientras que iniciar con "Límites y Costo" (BC) llevó a soluciones conservadoras con alto riesgo de infección.
• Efecto de la Ajuste Fino (Fine-tuning):
  • La actualización continua del surrogado con datos de agentes evolucionados permitió la aparición de nuevas "especies" en la población que superaron los límites de rendimiento anteriores.
  • Se observó una regularización automática: las predicciones del surrogado se volvieron más suaves, lo que a su vez indujo a los agentes a realizar inyecciones más estables, mejorando el objetivo de suavidad sin penalización explícita adicional.
• Frente de Pareto: El método generó un frente de Pareto diverso y completo, permitiendo a los tomadores de decisiones seleccionar políticas específicas según sus prioridades locales (ej. priorizar costo vs. seguridad máxima).

4. Contribuciones Principales

1. Validación de la Destilación de Conocimiento: Demostró que el uso de un modelo maestro no causal para entrenar un estudiante causal mejora significativamente la precisión de la predicción de estados en horizontes temporales largos para sistemas de agua.
2. Eficacia de la Optimización Curricular Multiobjetivo: Estableció que la introducción gradual de objetivos en la neuroevolución es crucial para encontrar trade-offs robustos, superando a métodos de RL tradicionales como PPO en entornos ruidosos y complejos.
3. Regularización Automática mediante Co-optimización: Identificó un nuevo fenómeno donde la co-optimización del predictor (surrogado) y el prescriptor (agente) en el marco ESP conduce a una regularización automática, mejorando tanto la estabilidad del modelo como la calidad de las soluciones.

5. Significado e Impacto

Este trabajo ofrece una vía viable para la implementación de sistemas de control inteligentes en infraestructuras críticas de agua.

• Viabilidad Computacional: Al reemplazar el simulador costoso (EPANET) con un surrogado entrenado dinámicamente, se hace factible la aplicación de algoritmos evolutivos complejos en problemas del mundo real.
• Seguridad Pública: Proporciona herramientas para garantizar la seguridad microbiológica del agua potable, reduciendo el riesgo de enfermedades y la formación de subproductos tóxicos.
• Generalización: El marco propuesto no se limita a la cloración; puede adaptarse a otros problemas de optimización espacio-temporal en transporte, redes de comunicación y construcción, contribuyendo al desarrollo de infraestructuras resilientes y sostenibles.

En conclusión, la combinación de neuroevolución, optimización multiobjetivo curricular y modelado por surrogados representa un avance significativo en la gestión automatizada de sistemas de distribución de agua complejos, superando las limitaciones de los métodos de control tradicionales y del aprendizaje por refuerzo estándar.