Coupled Nonlinear Dynamics of Reservoir Volume and Governance Quality: Stability Analysis and Reinforcement-Learning-Based Management

Resumo Técnico: Dinâmica Não Linear Acoplada do Volume de Reservatórios e Qualidade da Governança

Definição do Problema
A gestão de reservatórios tradicionalmente trata fatores institucionais, como a qualidade da governança e o esforço de fiscalização, como parâmetros exógenos fixos. No entanto, evidências empíricas sugerem que a extração ilegal de água e a decadência institucional são processos endógenos que coevoluem com os estados físicos do reservatório. Especificamente, a escala de retirada ilegal responde dinamicamente à qualidade do monitoramento e da fiscalização, criando um ciclo de feedback onde uma governança fraca leva ao aumento das perdas, o que, por sua vez, sobrecarrega o sistema e pode degradar ainda mais a capacidade de governança. Os modelos existentes de operação de reservatórios frequentemente falham em capturar esse acoplamento socio-hidrológico e, embora o aprendizado por reforço (RL) tenha sido aplicado ao controle de reservatórios, raramente foi estendido para governar um estado dinâmico de "qualidade da governança" que, por si só, decai e requer manutenção ativa.

Metodologia
O estudo propõe um modelo de dinâmica não linear acoplada e uma estrutura de aprendizado por reforço (RL) para abordar essas lacunas.

1. Modelagem Matemática:

   • Variáveis de Estado: O sistema é definido pelo volume do reservatório $V(t)$ e pela qualidade da governança $s(t) \in [0,1]$.
   • Dinâmica: A evolução de $V(t)$ é regida por uma equação diferencial estocástica que incorpora afluência, vazão legal fixa, infiltração, evaporação e retirada ilegal. Crucialmente, a infiltração, a evaporação e a retirada ilegal são modeladas como funções não lineares de ambos $V$ e $s$. Por exemplo, a retirada ilegal aumenta conforme a qualidade da governança $s$ diminui.
   • Dinâmica da Governança: O estado da governança $s(t)$ evolui com base no esforço de gestão $u(t)$ e uma taxa de decaimento natural, representando a necessidade de investimento contínuo para manter a eficácia institucional.
   • Forçamento Estocástico: Os coefredos de afluência e evaporação são modelados como processos de Ornstein–Uhlenbeck de reversão à média para simular a incerteza hidrológica.

2. Análise de Estabilidade Analítica (Malha Aberta):

   • Para o sistema de malha aberta (onde $u(t)$ é um input exógeno), os autores estabelecem positividade, limitação e a existência/unicidade de um ponto de equilíbrio.
   • A estabilidade assintótica local é derivada via linearização Jacobiana, enquanto a estabilidade assintótica global é provada usando o método direto de Lyapunov e o princípio da invariância de LaSalle.

3. Formulação de Aprendizado por Reforço (RL):

   • Configuração do MDP: O sistema é inserido em um Processo de Decisão de Markov (MDP) onde o agente observa o estado (volume, governança, afluência, evaporação) e seleciona um esforço de gestão $u$.
   • Algoritmo: O algoritmo Soft Actor-Critic (SAC), um método de ator-crítico de máxima entropia e fora de política (off-policy), é usado para treinar uma política $\pi_\phi$. A função de recompensa penaliza desvios dos volumes e níveis de governança alvo, custos de controle e eventos de esgotamento.
   • Estabilidade de Malha Fechada: A política treinada é tratada como uma função de feedback de estado $u = \pi_\phi(V, s)$. Os autores provam que o sistema autônomo de malha fechada resultante admite um equilíbrio e satisfaz condições de estabilidade assintótica local, desde que a constante de Lipschitz da política seja suficientemente pequena em relação ao decaimento natural da governança. A estabilidade prática (Entrada-para-Estado) também é estabelecida sob forçamento estocástico.

4. Implementação Numérica:

   • O modelo é calibrado utilizando parâmetros motivados pela Barragem Amir Kabir (Barragem de Karaj) no Irã, um estudo de caso caracterizado pelo declínio documentado do armazenamento e desafios de governança.
   • Cinco cenários são simulados: um caso de referência, redução de afluência, enfraquecimento da capacidade de gestão, intensificação da retirada ilegal e fortalecimento da capacidade de gestão.

Principais Resultados

• Redução de Custos: Em cinco cenários representativos, a política SAC aprendida reduz os custos de controle cumulativos em 15–45% em comparação com uma linha de base de esforço fixo. Essa eficiência é alcançada ao moderar o esforço de gestão conforme o sistema se aproxima do ponto operacional alvo, em vez de manter um esforço alto constante.
• Verificação de Estabilidade: A verificação numérica confirma que a política treinada satisfaz as condições de Lipschitz e de estabilidade local derivadas. A política emergiu naturalmente com uma constante de Lipschitz baixa o suficiente para garantir a estabilidade sem regularização explícita da norma espectral durante o treinamento.
• O Trade-off Eficiência-Risco: Uma descoberta significativa é um compromisso entre eficiência de custo e segurança. Embora a política aprendida reduza os custos, ela resulta em uma maior frequência de excursões abaixo do limiar de esgotamento ($V_{min}$) na maioria dos cenários em comparação com a linha de base de esforço fixo. Por exemplo, no cenário de referência, as excursões de esgotamento aumentaram de 4,0% (linha de base) para 8,5% (política aprendida).
• Análise de Sensibilidade: O aumento do peso da penalidade de esgotamento na função de recompensa não reduziu monotonicamente a frequência das excursões de esgotamento, sugerindo que este trade-off é inerente ao ambiente estocástico e às dinâmicas de exploração-explotação do algoritmo SAC, em vez de um simples problema de ajuste de parâmetros.
• Limites Físicos: No cenário de redução de afluência, nem a política de esforço fixo nem a aprendida puderam evitar o esgotamento do reservatório, confirmando que nenhuma política de controle pode compensar balanços hídricos fisicamente inviáveis.

Significância e Alegações
O artigo alega que tratar a qualidade da governança como um estado endógeno e dinamicamente evolutivo, em vez de um parâmetro exógeno, altera fundamentalmente o comportamento de longo prazo previsto para os reservatórios e o desenho das políticas de gestão.

• Contribuição Teórica: O estudo faz a ponte entre a modelagem socio-hidrológica e a teoria de controle, fornecendo provas de estabilidade rigorosas (existência, estabilidade local e prática) para um sistema de malha fechada onde o input de controle é uma política aprendida dependente do estado.
• Contribuição Metodológica: Demonstra que o RL pode ser aplicado com sucesso a sistemas acoplados humano-naturais onde o componente "humano" (governança) é uma variável de estado sujeita a decaimento e recuperação, estendendo as aplicações de RL além dos cronogramas de liberação puramente físicos.
• Implicação Prática: Os resultados oferecem uma estrutura de suporte à decisão para reservatórios que enfrentam pressões hidrológicas e institucionais combinadas. Os autores enfatizam que, embora as políticas aprendidas ofereçam economias significativas de custo, elas podem exigir uma gestão de risco cuidadosa para evitar o aumento da frequência de esgotamento, sugerindo que trabalhos futuros devem explorar objetivos sensíveis ao risco ou otimização de política com restrições.

Os autores mantêm a modéstia quanto à calibração específica, observando que os parâmetros de governança foram calibrados por meio de proxies baseados em tendências qualitativas, em vez de ajuste direto de dados, e que o modelo serve como uma prova de conceito para as dinâmicas acopladas, e não como uma ferramenta preditiva específica para a Barragem Amir Kabir.