Coupled Nonlinear Dynamics of Reservoir Volume and Governance Quality: Stability Analysis and Reinforcement-Learning-Based Management

Sintesi Tecnica: Dinamica Non Lineare Accoppiata del Volume del Bacino e della Qualità della Governance

Definizione del Problema
La gestione dei bacini idrici tratta tradizionalmente i fattori istituzionali, come la qualità della governance e lo sforzo di applicazione delle norme, come parametri esogeni fissi. Tuttavia, l'evidenza empirica suggerisce che il prelievo illegale di acqua e il decadimento istituzionale siano processi endogeni che co-evolvono con gli stati fisici del bacino. Nello specifico, la scala del prelievo illegale risponde dinamicamente alla qualità del monitoraggio e dell'applicazione delle norme, creando un ciclo di feedback in cui una governance debole porta a un aumento delle perdite, che a loro volta mettono sotto pressione il sistema e potenzialmente degradano ulteriormente la capacità di governance. I modelli esistenti di gestione dei bacini spesso non riescono a catturare questo accoppiamento socio-idrologico e, sebbene l'apprendimento per rinforzo (RL) sia stato applicato al controllo dei bacini, è stato raramente esteso per governare uno stato dinamico di "qualità della governance" che esso stesso decade e richiede una manutenzione attiva.

Metodologia
Lo studio propone un modello dinamico non lineare accoppiato e un framework di apprendimento per rinforzo (RL) per colmare queste lacune.

1. Modellazione Matematica:

   • Variabili di Stato: Il sistema è definito dal volume del bacino $V(t)$ e dalla qualità della governance $s(t) \in [0,1]$.
   • Dinamica: L'evoluzione di $V(t)$ è governata da un'equazione differenziale stocastica che incorpora afflussi, deflusso legale fisso, perdite, evaporazione e prelievo illegale. Fondamentalmente, perdite, evaporazione e prelievo illegale sono modellati come funzioni non lineari sia di $V$ che di $s$. Ad esempio, il prelievo illegale aumenta man mano che la qualità della governance $s$ diminuisce.
   • Dinamica della Governance: Lo stato della governance $s(t)$ evolve in base allo sforzo di gestione $u(t)$ e a un tasso di decadimento naturale, rappresentando la necessità di investimenti continui per mantenere l'efficacia istituzionale.
   • Forzante Stocastica: Gli afflui e i coefficienti di evaporazione sono modellati come processi di Ornstein–Uhlenbeck a media costante per simulare l'incertezza idrologica.

2. Analisi di Stabilità Analitica (Open-Loop):

   • Per il sistema open-loop (dove $u(t)$ è un input esogeno), gli autori stabiliscono positività, limitatezza e l'esistenza/unicità di un punto di equilibrio.
   • La stabilità asintotica locale è derivata tramite linearizzazione Jacobiana, mentre la stabilità asintotica globale è dimostrata utilizzando il metodo diretto di Lyapunov e il principio di invarianza di LaSalle.

3. Formulazione dell'Apprendimento per Rinforzo (Reinforcement Learning):

   • Configurazione MDP: Il sistema è inserito in un Processo Decisionale di Markov (MDP) dove l'agente osserva lo stato (volume, governance, afflussi, evaporazione) e seleziona uno sforzo di gestione $u$.
   • Algoritmo: Viene utilizzato l'algoritmo Soft Actor-Critic (SAC), un metodo actor-critic off-policy a massima entropia, per addestrare una policy $\pi_\phi$. La funzione di ricompensa penalizza le deviazioni dai volumi target e dai livelli di governance, i costi di controllo e gli eventi di esaurimento.
   • Stabilità a Ciclo Chiuso (Closed-Loop): La policy addestrata è trattata come una funzione di feedback dello stato $u = \pi_\phi(V, s)$. Gli autori dimostrano che il sistema autonomo a ciclo chiuso risultante ammette un equilibrio e soddisfa le condizioni di stabilità asintotica locale, a condizione che la costante di Lipschitz della policy sia sufficientemente piccola rispetto al decadimento naturale della governance. È stata inoltre stabilita la stabilità pratica (Input-to-State) sotto forzante stocastica.

4. Implementazione Numerica:

   • Il modello è calibrato utilizzando parametri motivati dal bacino di Amir Kabir (Diga di Karaj) in Iran, un caso di studio caratterizzato da un declino documentato delle riserve e sfide di governance.
   • Vengono simulati cinque scenari: un caso di riferimento, afflusso ridotto, capacità di gestione indebolita, prelievo illegale intensificato e capacità di gestione rafforzata.

Risultati Chiave

• Riduzione dei Costi: In cinque scenari rappresentativi, la policy SAC appresa riduce i costi di controllo cumulativi del 15–45% rispetto a una baseline a sforzo costante. Questa efficienza è ottenuta moderando lo sforzo di gestione man mano che il sistema si avvicina al punto operativo target, piuttosto che mantenere uno sforzo elevato costante.
• Verifica della Stabilità: La verifica numerica conferma che la policy appresa soddisfa le condizioni di Lipschitz e di stabilità locale derivate. La policy è emersa naturalmente con una costante di Lipschitz sufficientemente bassa da garantire la stabilità senza necessità di regolarizzazione esplicita della norma spettrale durante l'addestramento.
• Il Trade-off Efficienza-Rischio: Un risultato significativo è il trade-off tra efficienza dei costi e sicurezza. Sebbene la policy appresa riduca i costi, essa comporta una maggiore frequenza di escursioni al di sotto della soglia di esaurimento ($V_{min}$) nella maggior parte degli scenari rispetto alla baseline a sforzo costante. Ad esempio, nello scenario di riferimento, le escursioni di esaurimento sono aumentate dal 4,0% (baseline) all'8,5% (policy appresa).
• Analisi di Sensibilità: L'aumento del peso della penalità di esaurimento nella funzione di ricompensa non ha ridotto monotonicamente la frequenza delle escursioni di esaurimento, suggerendo che questo trade-off è inerente all'ambiente stocastico e alle dinamiche di esplorazione-sfruttamento dell'algoritmo SAC, piuttosto che un semplice problema di sintonizzazione.
• Limiti Fisici: Nello scenario di afflusso ridotto, né la policy a sforzo costante né quella appresa sono riuscite a prevenire l'esaurimento del bacino, confermando che nessuna policy di controllo può compensare bilanci idrici fisicamente non fattibili.

Significatività e Rivendicazioni
Il lavoro sostiene che trattare la qualità della governance come uno stato endogeno ed evolutivo anziché come un parametro esogeno altera fondamentalmente il comportamento a lungo termine dei bacini idrici e la progettazione delle politiche di gestione.

• Contributo Teorico: Lo studio colma il divario tra la modellazione socio-idrologica e la teoria del controllo fornendo rigorose dimostrazioni di stabilità (esistenza, stabilità locale e pratica) per un sistema a ciclo chiuso in cui l'input di controllo è una policy appresa e dipendente dallo stato.
• Contributo Metodologico: Dimostra che l'RL può essere applicato con successo a sistemi accoppiati uomo-natura in cui la componente "umana" (governance) è una variabile di stato soggetta a decadimento e recupero, estendendo le applicazioni dell'RL oltre i puramente programmi di rilascio fisico.
• Implicazione Pratica: I risultati offrono un quadro di supporto decisionale per i bacini idrici che affrontano pressioni sia idrologiche che istituzionali. Gli autori sottolineano che, sebbene le policy apprese offrano significativi risparmi sui costi, esse possono richiedere una gestione attenta del rischio per evitare un aumento della frequenza di esaurimento, suggerendo che il lavoro futuro dovrebbe esplorare obiettivi sensibili al rischio o l'ottimizzazione della policy con vincoli.

Gli autori rimangono modesti riguardo alla specifica calibrazione, notando che i parametri di governance sono stati calibrati tramite proxy basati su tendenze qualitative piuttosto che su un adattamento diretto dei dati, e che il modello serve come prova di concetto per le dinamiche accoppiate piuttosto che come strumento predittivo specifico per la diga di Amir Kabir.