Coupled Nonlinear Dynamics of Reservoir Volume and Governance Quality: Stability Analysis and Reinforcement-Learning-Based Management

Résumé Technique : Dynamique Non Linéaire Couplée du Volume du Réservoir et de la Qualité de la Gouvernance

Énoncé du Problème
La gestion des réservoirs traite traditionnellement les facteurs institutionnels, tels que la qualité de la gouvernance et l'effort d'application, comme des paramètres exogènes fixes. Cependant, des preuves empiriques suggèrent que l'extraction illégale d'eau et la dégradation institutionnelle sont des processus endogènes qui coévoluent avec les états physiques du réservoir. Plus précisément, l'échelle du prélèvement illégal répond dynamiquement à la qualité de la surveillance et de l'application, créant une boucle de rétroaction où une gouvernance faible entraîne une augmentation des pertes, ce qui, en retour, met le système à rude épreuve et peut davantage dégrader la capacité de gouvernance. Les modèles de fonctionnement des réservoirs existants échouent souvent à capturer ce couplage socio-hydrologique, et bien que l'apprentissage par renforcement (RL) ait été appliqué au contrôle des réservoirs, il a rarement été étendu pour gouverner un état de « qualité de la gouvernance » dynamique qui lui-même se dégrade et nécessite un entretien actif.

Méthodologie
L'étude propose un modèle de dynamique non linéaire couplée et un cadre d'apprentissage par renforcement (RL) pour combler ces lacunes.

1. Modélisation Mathématique :

   • Variables d'État : Le système est défini par le volume du réservoir $V(t)$ et la qualité de la gouvernance $s(t) \in [0,1]$.
   • Dynamique : L'évolution de $V(t)$ est régie par une équation différentielle stochastique incorporant l'apport, le débit sortant légal fixe, les fuites, l'évaporation et le prélèvement illégal. Crucialement, les fuites, l'évaporation et le prélèvement illégal sont modélisés comme des fonctions non linéaires de $V$ et de $s$. Par exemple, le prélèvement illégal augmente à mesure que la qualité de la gouvernance $s$ diminue.
   • Dynamique de la Gouvernance : L'état de la gouvernance $s(t)$ évolue en fonction de l'effort de gestion $u(t)$ et d'un taux de décomposition naturel, représentant la nécessité d'un investissement continu pour maintenir l'efficacité institutionnelle.
   • Forçage Stochastique : Les coefficients d'apport et d'évaporation sont modélisés comme des processus d'Ornstein–Uhlenbeck à retour à la moyenne pour simuler l'incertitude hydrologique.

2. Analyse de Stabilité Analytique (Boucle Ouverte) :

   • Pour le système en boucle ouverte (où $u(t)$ est un apport exogène), les auteurs établissent la positivité, le caractère borné et l'existence/unicité d'un point d'équilibre.
   • La stabilité asymptotique locale est dérivée via la linéarisation jacobienne, tandis que la stabilité asymptotique globale est prouvée en utilisant la méthode directe de Lyapunov et le principe d'invariance de LaSalle.

3. Formulation de l'Apprentissage par Renforcement :

   • Configuration MDP : Le système est intégré dans un processus de décision markovien (MDP) où l'agent observe l'état (volume, gouvernance, apport, évaporation) et sélectionne un effort de gestion $u$.
   • Algorithme : L'algorithme Soft Actor-Critic (SAC), une méthode acteur-critique off-policy à entropie maximale, est utilisé pour entraîner une politique $\pi_\phi$. La fonction de récompense pénalise les écarts par rapport au volume cible et aux niveaux de gouvernance, les coûts de contrôle et les événements d'épuisement.
   • Stabilité en Boucle Fermée : La politique entraînée est traitée comme une fonction de rétroaction d'état $u = \pi_\phi(V, s)$. Les auteurs prouvent que le système autonome en boucle fermée résultant admet un équilibre et satisfait les conditions de stabilité asymptotique locale, à condition que la constante de Lipschitz de la politique soit suffisamment petite par rapport à la décomposition naturelle de la gouvernance. La stabilité pratique (Input-to-State) est également établie sous forçage stochastique.

4. Implémentation Numérique :

   • Le modèle est calibré à l'aide de paramètres motivés par le barrage d'Amir Kabir (Barrage de Karaj) en Iran, un cas d'étude caractérisé par un déclin documenté du stockage et des défis de gouvernance.
   • Cinq scénarios sont simulés : un cas de référence, un apport réduit, une capacité de gestion affaiblie, un prélèvement illégal intensifié et une capacité de gestion renforcée.

Résultats Clés

• Réduction des Coûts : À travers cinq scénarios représentatifs, la politique SAC apprise réduit les coûts de contrôle cumulés de 15 à 45 % par rapport à une base de référence à effort constant. Cette efficacité est obtenue en modérant l'effort de gestion à mesure que le système approche du point de fonctionnement cible, plutôt qu'en maintenant un effort élevé constant.
• Vérification de la Stabilité : La vérification numérique confirme que la politique entraînée satisfait les conditions de Lipschitz et de stabilité locale dérivées. La politique a naturellement émergé avec une constante de Lipschitz suffisamment basse pour assurer la stabilité sans régularisation explicite de la norme spectrale pendant l'entraînement.
• Le Compromis Efficacité-Risque : Une découverte significative est un compromis entre l'efficacité des coûts et la sécurité. Bien que la politique apprise réduise les coûts, elle entraîne une fréquence plus élevée d'excursions sous le seuil d'épuisement ($V_{min}$) dans la plupart des scénarios par rapport à la base de référence à effort constant. Par exemple, dans le scénario de référence, les excursions d'épuisement sont passées de 4,0 % (base de référence) à 8,5 % (politique apprise).
• Analyse de Sensibilité : L'augmentation du poids de la pénalité d'épuisement dans la fonction de récompense n'a pas réduit de manière monotone la fréquence des excursions d'épuisement, suggérant que ce compromis est inhérent à l'environnement stochastique et à la dynamique exploration-exploitation de l'algorithme SAC, plutôt qu'à un simple problème de réglage.
• Limites Physiques : Dans le scénario d'apport réduit, ni la politique fixe ni la politique apprise ne pouvaient empêcher l'épuisement du réservoir, confirmant qu'aucune politique de contrôle ne peut compenser des bilans hydriques physiquement irréalisables.

Signification et Revendications
L'article affirme que traiter la qualité de la gouvernance comme un état endogène et évoluant dynamiquement plutôt que comme un paramètre exogène modifie fondamentalement le comportement à long terme des réservoirs et la conception des politiques de gestion.

• Contribution Théorique : L'étude comble le fossé entre la modélisation socio-hydrologique et la théorie du contrôle en fournissant des preuves de stabilité rigoureuses (existence, stabilité locale et pratique) pour un système en boucle fermée où l'entrée de contrôle est une politique apprise dépendante de l'état.
• Contribution Méthodologique : Elle démontre que le RL peut être appliqué avec succès à des systèmes couplés humain-nature où la composante « humaine » (gouvernance) est une variable d'état sujette à la décomposition et à la récupération, étendant les applications du RL au-delà des simples calendriers de lâchers physiques.
• Implication Pratique : Les résultats offrent un cadre d'aide à la décision pour les réservoirs confrontés à des pressions hydrologiques et institutionnelles combinées. Les auteurs soulignent que si les politiques apprises offrent des économies de coûts significatives, elles peuvent nécessiter une gestion des risques prudente pour éviter une augmentation de la fréquence d'épuisement, suggérant que les travaux futurs devraient explorer des objectifs sensibles au risque ou une optimisation de politique contrainte.

Les auteurs restent modestes quant à la calibration spécifique, notant que les paramètres de gouvernance ont été calibrés par procuration sur la base de tendances qualitatives plutôt que par un ajustement direct de données, et que le modèle sert de preuve de concept pour les dynamiques couplées plutôt que d'outil prédictif spécifique pour le barrage d'Amir Kabir.