Coupled Nonlinear Dynamics of Reservoir Volume and Governance Quality: Stability Analysis and Reinforcement-Learning-Based Management

तकनीकी सारांश: जलाशय के आयतन और शासन की गुणवत्ता का युग्मित गैररेखीय गतिकी (Coupled Nonlinear Dynamics)

समस्या विवरण
जलाशय प्रबंधन पारंपरिक रूप से संस्थागत कारकों, जैसे कि शासन की गुणवत्ता और प्रवर्तन प्रयास (enforcement effort), को स्थिर बाह्य पैरामीटर (exogenous parameters) के रूप में मानता है। हालांकि, अनुभवजन्य साक्ष्य बताते हैं कि अवैध जल निष्कर्षण और संस्थागत क्षरण अंतर्जात प्रक्रियाएं (endogenous processes) हैं जो भौतिक जलाशय अवस्थाओं के साथ सह-विकसित होती हैं। विशेष रूप से, अवैध निकासी का पैमाना निगरानी और प्रवर्तन की गुणवत्ता के प्रति गतिशील रूप से प्रतिक्रिया करता है, जिससे एक फीडबैक लूप बनता है जहाँ कमजोर शासन से नुकसान बढ़ता है, जो बदले में प्रणाली पर दबाव डालता है और संभावित रूप से शासन क्षमता को और अधिक खराब कर देता है। मौजूदा जलाशय संचालन मॉडल अक्सर इस सामाजिक-जल विज्ञान संबंधी युग्मन (socio-hydrological coupling) को पकड़ने में विफल रहते हैं, और जबकि सुदृढीकरण लर्निंग (reinforcement learning - RL) को जलाशय नियंत्रण के लिए लागू किया गया है, इसे एक गतिशील "शासन की गुणवत्ता" अवस्था को नियंत्रित करने के लिए शायद ही कभी विस्तारित किया गया है, जो स्वयं क्षय होती है और जिसे सक्रिय रखरखाव की आवश्यकता होती है।

कार्यप्रणाली
यह अध्ययन इन कमियों को दूर करने के लिए एक युग्मित गैररेखीय गतिकी मॉडल और एक सुदृढीकरण लर्निंग (RL) ढांचे का प्रस्ताव करता है।

1. गणितीय मॉडलिंग:

   • अवस्था चर (State Variables): प्रणाली को जलाशय आयतन $V(t)$ और शासन की गुणवत्ता $s(t) \in [0,1]$ द्वारा परिभाषित किया गया है।
   • गतिकी (Dynamics): $V(t)$ का विकास एक स्टोकेस्टिक डिफरेंशियल इक्वेशन द्वारा नियंत्रित होता है जिसमें प्रवाह (inflow), निश्चित कानूनी बहिःप्रवाह (outflow), रिसाव (leakage), वाष्पीकरण (evaporation), और अवैध निकासी शामिल है। महत्वपूर्ण रूप से, रिसाव, वाष्पीकरण और अवैध निकासी को $V$ और $s$ दोनों के गैररेखीय कार्यों के रूप रूप में मॉडल किया गया है। उदाहरण के लिए, जैसे-जैसे शासन की गुणवत्ता $s$ घटती है, अवैध निकासी बढ़ती है।
   • शासन की गतिकी: शासन की अवस्था $s(t)$, प्रबंधन प्रयास $u(t)$ और एक प्राकृतिक क्षय दर (decay rate) के आधार पर विकसित होती है, जो संस्थागत प्रभावशीलता को बनाए रखने के लिए निरंतर निवेश की आवश्यकता को दर्शाती है।
   • स्टोकेस्टिक फोर्सिंग (Stochastic Forcing): हाइड्रोलॉजिकल अनिश्चितता को सिम्युलेट करने के लिए इनफ्लो और इवेपोरेशन गुणांकों को मीन-रिवर्टिंग ऑर्नस्टीन-उलेंबैक (Ornstein–Uhlenbeck) प्रक्रियाओं के रूप में मॉडल किया गया है।

2. विश्लेषणात्मक स्थिरता विश्लेषण (ओपन-लूप):

   • ओपन-लूप सिस्टम (जहाँ $u(t)$ एक बाह्य इनपुट है) के लिए, लेखक धनात्मकता (positivity), परिबद्धता (boundedness), और एक संतुलन बिंदु (equilibrium point) के अस्तित्व/अद्वितीयता को स्थापित करते हैं।
   • जैकोबियन रैखिकीकरण (Jacobian linearization) के माध्यम से स्थानीय स्पर्शोन्मुख स्थिरता (local asymptotic stability) प्राप्त की जाती है, जबकि लासले के अपरिवर्तनीयता सिद्धांत (LaSalle's invariance principle) और ल्यपुनोव की प्रत्यक्ष विधि का उपयोग करके वैश्विक स्पर्शोन्मुख स्थिरता सिद्ध की जाती है।

3. सुदृढीकरण लर्निंग (RL) फॉर्मूलेशन:

   • MDP सेटअप: प्रणाली को एक मार्कोव निर्णय प्रक्रिया (MDP) में समाहित किया गया है जहाँ एजेंट अवस्था (आयतन, शासन, इनफ्लो, इवेपोरेशन) को देखता है और एक प्रबंधन प्रयास $u$ चुनता है।
   • एल्गोरिदम: सॉफ्ट एक्टर-क्रिटिक (SAC) एल्गोरिदम, जो एक ऑफ-पॉलिसी, मैक्सिमम-एन्ट्रॉपी एक्टर-क्रिटिक विधि है, का उपयोग एक नीति $\pi_\phi$ को प्रशिक्षित करने के लिए किया जाता है। रिवॉर्ड फंक्शन लक्षित आयतन और शासन स्तरों से विचलन, नियंत्रण लागत, और रिक्तीकरण (depletion) की घटनाओं को दंडित करता है।
   • क्लोज्ड-लूप स्थिरता: प्रशिक्षित नीति को एक स्टेट-फीडबैक फंक्शन $u = \pi_\phi(V, s)$ के रूप में माना जाता है। लेखक सिद्ध करते हैं कि परिणामी स्वायत्त क्लोज्ड-लूप प्रणाली एक संतुलन स्वीकार करती है और स्थानीय स्पर्शोन्मुख स्थिरता की शर्तों को पूरा करती है, बशर्ते कि नीति का लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) शासन के प्राकृतिक क्षय के सापेक्ष पर्याप्त रूप से छोटा हो। स्टोकेस्टिक फोर्सिंग के तहत व्यावहारिक (इनपुट-टू-स्टेट) स्थिरता भी स्थापित की गई है।

4. संख्यात्मक कार्यान्वयन:

   • मॉडल को ईरान के अमीर कबीर बांध (कराज बांध) से प्रेरित मापदंडों का उपयोग करके कैलिब्रेट किया गया है, जो एक ऐसा केस स्टडी है जो दस्तावेजीकृत भंडारण गिरावट और शासन चुनौतियों द्वारा चिह्नित है।
   • पांच परिदृश्यों का अनुकरण किया गया है: एक संदर्भ मामला (reference case), कम इनफ्लो, कमजोर प्रबंधन क्षमता, तीव्र अवैध निकासी, और मजबूत प्रबंधन क्षमता।

प्रमुख परिणाम

• लागत में कमी: पांच प्रतिनिधि परिदृश्यों में, सीखा गया SAC नीति एक निश्चित-प्रयास बेसलाइन की तुलना में संचयी नियंत्रण लागत को 15–45% तक कम कर देता है। यह दक्षता एक निरंतर उच्च प्रयास बनाए रखने के बजाय, जैसे ही प्रणाली लक्षित ऑपरेटिंग पॉइंट के करीब पहुँचती है, प्रबंधन प्रयास को मध्यम करके प्राप्त की जाती है।
• स्थिरता सत्यापन: संख्यात्मक सत्यापन पुष्टि करता है कि प्रशिक्षित नीति प्राप्त लिप्सचिट्ज़ और स्थानीय स्थिरता शर्तों को पूरा करती है। नीति स्वाभाविक रूप से एक निम्न लिप्सचिट्ज़ स्थिरांक के साथ उभरी जो प्रशिक्षण के दौरान स्पष्ट स्पेक्ट्रल-नॉर्म रेगुलराइजेशन के बिना भी स्थिरता सुनिश्चित करने के लिए पर्याप्त था।
• दक्षता-जोखिम व्यापार (Efficiency-Risk Trade-off): एक महत्वपूर्ण निष्कर्ष लागत दक्षता और सुरक्षा के बीच एक व्यापार है। जबकि सीखी गई नीति लागत कम करती है, यह अधिकांश परिदृश्यों में निश्चित-प्रयास बेसलाइन की तुलना में रिक्तीकरण थ्रेशोल्ड ($V_{min}$) से नीचे जाने की उच्च आवृत्ति का परिणाम देती है। उदाहरण के लिए, संदर्भ परिदृश्य में, रिक्तीकरण विचलन (depletion excursions) बेसलाइन के 4.0% से बढ़कर सीखा गया नीति में 8.5% हो गए।
• संवेदनशीलता विश्लेषण: रिवॉर्ड फंक्शन में रिक्तीकरण दंड (depletion penalty) के भार को बढ़ाने से रिक्तीकरण विचलन की आवृत्ति में निरंतर कमी नहीं आई, जो यह सुझाव देता है कि यह व्यापार स्टोकेस्टिक वातावरण और SAC एल्गोरिदम की अन्वेषण-शोषण (exploration-exploitation) गतिशीलता के कारण अंतर्निहित है, न कि केवल एक ट्यूनिंग समस्या।
• भौतिक सीमाएँ: कम-इनफ्लो परिदृश्य में, न तो निश्चित और न ही सीखी गई नीति जलाशय के रिक्तीकरण को रोक सकी, जो पुष्टि करता है कि कोई भी नियंत्रण नीति भौतिक रूप से असंभव जल संतुलन की भरपाई नहीं कर सकती।

महत्व और दावे
यह शोध दावा करता है कि शासन की गुणवत्ता को एक बाह्य पैरामीटर के बजाय एक अंतर्जात, गतिशील रूप से विकसित होने वाली अवस्था के रूप में मानना जलाशयों के दीर्घकालिक व्यवहार और प्रबंधन नीतियों के डिजाइन को मौलिक रूप से बदल देता है।

• सैद्धांतिक योगदान: यह अध्ययन एक क्लोज्ड-लूप सिस्टम (जहाँ नियंत्रण इनपुट एक सीखा हुआ, अवस्था-निर्भर नीति है) के लिए कठोर स्थिरता प्रमाण (अस्तित्व, स्थानीय और व्यावहारिक स्थिरता) प्रदान करके सामाजिक-जल विज्ञान संबंधी मॉडलिंग और नियंत्रण सिद्धांत के बीच की खाई को पाटता है।
• कार्यप्रणाली संबंधी योगदान: यह प्रदर्शित करता है कि RL को सफलतापूर्वक उन युग्मित मानव-प्राकृतिक प्रणालियों में लागू किया जा सकता है जहाँ "मानव" घटक (शासन) एक अवस्था चर है जो क्षय और रिकवरी के अधीन है, जो शुद्ध भौतिक रिलीज शेड्यूल्स से परे RL अनुप्रयोगों का विस्तार करता है।
• व्यावहारिक निहितार्थ: परिणाम उन जलाशयों के लिए एक निर्णय-सहायता ढांचा प्रदान करते हैं जो संयुक्त हाइड्रोलॉजिकल और संस्थागत दबावों का सामना कर रहे हैं। लेखक इस बात पर जोर देते हैं कि जबकि सीखी गई नीतियां महत्वपूर्ण लागत बचत प्रदान करती हैं, उन्हें रिक्तीकरण की आवृत्ति बढ़ाने के जोखिम से बचने के लिए सावधानीपूर्वक जोखिम प्रबंधन की आवश्यकता हो सकती है, जो यह सुझाव देता है कि भविष्य के कार्यों को जोखिम-संवेदनशील उद्देश्यों या बाधा-आधारित नीति अनुकूलन की खोज करनी चाहिए।

लेखक अपने विशिष्ट अंशांकन (calibration) के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि शासन मापदंडों को प्रत्यक्ष डेटा फिटिंग के बजाय गुणात्मक रुझानों के आधार पर प्रॉक्सी-कैलिब्रेट किया गया था, और यह मॉडल अमीर कबीर बांध के लिए एक साइट-विशिष्ट भविष्य कहनेवाला उपकरण के बजाय युग्मित गतिकी के लिए एक 'प्रूफ-ऑफ-कॉन्सेप्ट' के रूप में कार्य करता है।