Coupled Nonlinear Dynamics of Reservoir Volume and Governance Quality: Stability Analysis and Reinforcement-Learning-Based Management

Resumen Técnico: Dinámica No Lineal Acoplada del Volumen de la Presa y la Calidad de la Gobernanza

Planteamiento del Problema
La gestión de embalses trata tradicionalmente los factores institucionales, como la calidad de la gobernanza y el esfuerzo de aplicación de la ley, como parámetros exógenos fijos. Sin embargo, la evidencia empírica sugiere que la extracción ilegal de agua y la degradación institucional son procesos endógenos que coevolucionan con los estados físicos de la presa. Específicamente, la escala de la extracción ilegal responde dinámicamente a la calidad del monitoreo y la aplicación de la ley, creando un bucle de retroalimentación donde una gobernanza débil conduce a un aumento de las pérdidas, lo que a su vez estresa el sistema y potencialmente degrada aún más la capacidad de gobernanza. Los modelos de operación de embalses existentes a menudo no logran capturar este acoplamiento socio-hidrológico y, aunque el aprendizaje por refuerzo (RL) se ha aplicado al control de embalses, rara vez se ha extendido para gobernar un estado dinámico de "calidad de la gobernanza" que, de por sí, se degrada y requiere un mantenimiento activo.

Metodología
El estudio propone un modelo de dinámica no lineal acoplada y un marco de aprendizaje por refuerzo (RL) para abordar estas brechas.

1. Modelado Matemático:

   • Variables de Estado: El sistema se define por el volumen del embalse $V(t)$ y la calidad de la gobernanza $s(t) \in [0,1]$.
   • Dinámica: La evolución de $V(t)$ está gobernada por una ecuación diferencial estocástica que incorpora la entrada de agua, la salida legal fija, las filtraciones, la evaporación y la extracción ilegal. Crucialmente, las filtraciones, la evaporación y la extracción ilegal se modelan como funciones no lineales tanto de $V$ como de $s$. Por ejemplo, la extracción ilegal aumenta a medida que la calidad de la gobernanza $s$ disminuye.
   • Dinámica de la Gobernanza: El estado de la gobernanza $s(t)$ evoluciona en función del esfuerzo de gestión $u(t)$ y una tasa de decaimiento natural, lo que representa la necesidad de inversión continua para mantener la efectividad institucional.
   • Forzamiento Estocástico: Los coeficientes de entrada y evaporación se modelan como procesos de Ornstein–Uhlenbeck de reversión a la media para simular la incertidumbre hidrológica.

2. Análisis de Estabilidad Analítica (Lazo Abierto):

   • Para el sistema de lazo abierto (donde $u(t)$ es una entrada exógena), los autores establecen la positividad, la acotación y la existencia/unicidad de un punto de equilibrio.
   • La estabilidad asintótica local se deriva mediante la linealización de Jacobian, mientras que la estabilidad asintótica global se demuestra utilizando el método directo de Lyapunov y el principio de invariancia de LaSalle.

3. Formulación del Aprendizaje por Refuerzo (RL):

   • Configuración del MDP: El sistema se integra en un Proceso de Decisión de Markov (MDP) donde el agente observa el estado (volumen, gobernanza, entrada, evaporación) y selecciona un esfuerzo de gestión $u$.
   • Algoritmo: Se utiliza el algoritmo Soft Actor-Critic (SAC), un método de actor-crítico de máxima entropía y fuera de la política (off-policy), para entrenar una política $\pi_\phi$. La función de recompensa penaliza las desviaciones de los niveles objetivo de volumen y gobernanza, los costos de control y los eventos de agotamiento.
   • Estabilidad de Lazo Cerrado: La política entrenada se trata como una función de retroalimentación de estado $u = \pi_\phi(V, s)$. Los autores demuestran que el sistema autónomo resultante de lazo cerrado resultante admite un equilibrio y satisface las condiciones de estabilidad asintótica local, siempre que la constante de Lipschitz de la política sea suficientemente pequeña en relación con el decaimiento natural de la gobernanza. También se establece la estabilidad práctica (de Entrada-a-Estado) bajo forzamiento estocástico.

4. Implementación Numérica:

   • El modelo se calibra utilizando parámetros motivados por la Presa Amir Kabir (Presa de Karaj) en Irán, un caso de estudio caracterizado por el declive documentado del almacenamiento y desafíos de gobernanza.
   • Se simulan cinco escenarios: un caso de referencia, reducción de la entrada de agua, debilitamiento de la capacidad de gestión, intensificación de la extracción ilegal y fortalecimiento de la capacidad de gestión.

Resultos Clave

• Reducción de Costos: En cinco escenarios representativos, la política SAC aprendida reduce los costos de control acumulados entre un 15% y un 45% en comparación con una línea base de esfuerzo fijo. Esta eficiencia se logra moderando el esfuerzo de gestión a medida que el sistema se acerca al punto operativo objetivo, en lugar de mantener un esfuerzo alto constante.
• Verificación de Estabilidad: La verificación numérica confirma que la política entrenada satisface las condiciones derivadas de Lipschitz y de estabilidad local. La política emergió naturalmente con una constante de Lipschitz lo suficientemente baja como para asegurar la estabilidad sin necesidad de una regularización explícita de la norma espectral durante el entrenamiento.
• El Compromiso Eficiencia-Riesgo: Un hallazgo significativo es un compromiso entre la eficiencia de costos y la seguridad. Si bien la política aprendida reduce los costos, resulta en una mayor frecuencia de excursiones por debajo del umbral de agotamiento ($V_{min}$) en la mayoría de los escenarios en comparación con la línea base de esfuerzo fijo. Por ejemplo, en el escenario de referencia, las excursiones de agotamiento aumentaron del 4.0% (línea base) al 8.5% (política aprendida).
• Análisis de Sensibilidad: Aumentar el peso de la penalización por agotamiento en la función de recompensa no redujo de manera monotónica la frecuencia de las excursiones de agotamiento, lo que sugiere que este compromiso es inherente al entorno estocástico y a la dinámica de exploración-explotación del algoritmo SAC, más que un simple problema de ajuste de parámetros.
• Límites Físicos: En el escenario de reducción de la entrada de agua, ni la política de esfuerzo fijo ni la aprendida pudieron prevenir el agotamiento de la presa, confirmando que ninguna política de control puede compensar balances de agua físicamente inviables.

Significancia y Reivindicaciones
El artículo sostiene que tratar la calidad de la gobernanza como un estado endógeno y dinámicamente evolutivo, en lugar de un parámetro exógeno, altera fundamentalmente el comportamiento a largo plazo de los embalses y el diseño de las políticas de gestión.

• Contribución Teórica: El estudio cierra la brecha entre el modelado socio-hidrológico y la teoría de control al proporcionar pruebas de estabilidad rigurosas (existencia, estabilidad local y práctica) para un sistema de lazo cerrado donde la entrada de control es una política aprendida dependiente del estado.
• Contribución Metodológica: Demuestra que el RL puede aplicarse con éxito a sistemas acoplados humano-naturales donde el componente "humano" (gobernanza) es una variable de estado sujeta a decaimiento y recuperación, extendiendo las aplicaciones de RL más allá de los esquemas de liberación puramente físicos.
• Implicación Práctica: Los resultados ofrecen un marco de apoyo a la decisión para embalses que enfrentan presiones hidrológicas e institucionales combinadas. Los autores enfatizan que, si bien las políticas aprendidas ofrecen ahorros de costos significativos, pueden requerir una gestión de riesgos cuidadosa para evitar un mayor aumento en la frecuencia de agotamiento, lo que sugiere que el trabajo futuro debería explorar objetivos sensibles al riesgo o la optimización de políticas con restricciones.

Los autores mantienen la modestia respecto a la calibración específica, señalando que los parámetros de gobernanza fueron calibrados mediante aproximaciones basadas en tendencias cualitativas en lugar de un ajuste directo de datos, y que el modelo sirve como una prueba de concepto para la dinámica acoplada más que como una herramienta predictiva específica para la Presa Amir Kabir.