🔬 physics

Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

यह शोध पत्र सामाजिक-पर्यावरणीय जलवायु अंतःक्रियाओं को अनुकरण करने के लिए एकीकृत मूल्यांकन मॉडलों (Integrated Assessment Models) के भीतर मल्टी-एजेंट सुदृढीकरण लर्निंग (multi-agent Reinforcement Learning) के उपयोग का अन्वेषण करता है, जिसमें यह पाया गया है कि जबकि सहकारी एजेंट वांछनीय निम्न-कार्बन भविष्य के पथों को सफलतापूर्वक निर्धारित कर सकते हैं, प्रतिस्पर्धी गतिशीलता अक्सर इन परिणामों में बाधा डालती है, जिसके लिए एल्गोरिदम संबंधी सीमाओं को संबोधित करने हेतु आगे के नीतिगत अर्थ और अनुसंधान की आवश्यकता है।

मूल लेखक: James Rudd-Jones, Fiona Thendean, María Pérez-Ortiz

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James Rudd-Jones, Fiona Thendean, María Pérez-Ortiz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि पृथ्वी एक विशाल, जटिल वीडियो गेम है। इस गेम में, लक्ष्य ग्रह को स्वस्थ रखना (कम कार्बन) और अर्थव्यवस्था को मजबूत रखना (अधिक पैसा) है। इस गेम के "खिलाड़ी" विभिन्न राष्ट्र या समूह हैं, और उन सभी को हर साल यह निर्णय लेना होता है कि वे कितना जीवाश्म ईंधन जलाएंगे और कितनी हरित ऊर्जा (ग्रीन एनर्जी) में निवेश करेंगे।

यह शोध पत्र इस बारे में है कि कंप्यूटरों (विशेष रूप से, AI एजेंटों) को इस गेम को वर्तमान तरीके से बेहतर खेलने के लिए कैसे सिखाया जाए, जिसमें मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) नामक विधि का उपयोग किया गया है। रीइन्फोर्समेंट लर्निंग को एक कुत्ते को प्रशिक्षित करने की तरह समझें: कुत्ता अलग-अलग करतब आज़माता है, अच्छे करतबों के लिए उसे इनाम (रिवॉर्ड) मिलता है, और वह समय के साथ सही काम करना सीख जाता है।

यहाँ शोधकर्ताओं द्वारा किए गए कार्यों और उनकी खोजों का सरल उपमाओं के माध्यम से विवरण दिया गया है:

1. गेम बोर्ड: "AYS" मॉडल

शोधकर्ताओं ने दुनिया के एक सरलीकृत संस्करण का उपयोग किया जिसे AYS मॉडल कहा जाता है। यह तीन मुख्य चीजों को ट्रैक करता है:

वायुमंडलीय कार्बन (A): "प्रदूषण मीटर।"
आर्थिक उत्पादन (Y): "पैसा मीटर।"
नवीकरणीय ज्ञान (S): "ग्रीन टेक नॉलेज मीटर।"

इस गेम के दो मुख्य अंत (फिक्स्ड पॉइंट्स) हैं:

"ग्रीन" अंत: शून्य प्रदूषण, अनंत पैसा और अनंत हरित ज्ञान। यह जीतने वाली स्थिति है।
"ब्लैक" अंत: स्थिर अर्थव्यवस्था, जीवाश्म ईंधन पर पूर्ण निर्भरता और शून्य हरित ज्ञान। यह हारने वाली स्थिति है।

वर्तमान में, यदि आप गेम को बिना किसी खिलाड़ी के चलने देते हैं, तो यह स्वाभाविक रूप से "ब्लैक" अंत की ओर बढ़ता जाता है। AI का काम जहाज को "ग्रीन" अंत की ओर मोड़ना है।

2. प्रयोग: खिलाड़ियों को प्रशिक्षित करना

शोधकर्ताओं ने परीक्षण किया कि विभिन्न नियमों के तहत ये AI खिलाड़ी कैसे व्यवहार करते हैं।

परिदृश्य A: सहकारी टीम (सभी एक ही चीज़ चाहते हैं)

सेटअप: उन्होंने सभी AI खिलाड़ियों को एक ही लक्ष्य दिया: "प्रदूषण और गरीबी रेखाओं से जितना संभव हो सके दूर रहें।"
परिणाम: बिना यह कहे कि उन्हें "सहयोग" करना है, AI खिलाड़ियों ने इसे अपने आप समझ लिया। जब उन्होंने मिलकर काम किया, तो वे 90% से अधिक बार "ग्रीन" विजेता स्थिति तक पहुँचे।
सबक: यदि सभी एक ही बात पर सहमत हैं, तो समूह जलवायु संकट को प्रभावी ढंग से हल कर सकता है।

परिदृश्य B: मिश्रित बैग (अलग-अलग शुरुआती बिंदु)

सेटअप: उन्होंने खिलाड़ियों को अलग बनाया। कुछ अधिक पैसे के साथ शुरू हुए, कुछ कम पैसे के साथ। कुछ जलवायु क्षति के प्रति अधिक संवेदनशील थे (जैसे एक छोटा द्वीप राष्ट्र), जबकि कुछ कम संवेदनशील थे (जैसे एक समृद्ध देश जिसे समुद्र के बढ़ते स्तर के तत्काल प्रभाव महसूस नहीं होते)।
परिणाम: इन अंतरों के बावजूद, यदि वे सभी एक ही लक्ष्य चाहते थे, तो वे अभी भी जीत गए। हालाँकि, उन्हें रणनीति सीखने में अधिक समय लगा क्योंकि गेम अधिक जटिल था।
पेंच: यदि किसी खिलाड़ी को जलवायु परिवर्तन का दर्द महसूस नहीं हुआ (कम संवेदनशीलता), तो उसने प्रदूषण की परवाह करना छोड़ दिया। उसने पैसा बनाना जारी रखा लेकिन पर्यावरण को अनदेखा किया, जिससे पूरे समूह के लिए जीतना कठिन हो गया।

परिदृश्य C: प्रतिस्पर्धा (विपरीत लक्ष्य)

सेटअप: यहीं पर चीजें गड़बड़ा गईं। उन्होंने खिलाड़ियों को एक-दूसरे के विरुद्ध खड़ा कर दिया।
- खिलाड़ी 1: ग्रह को बचाना चाहता है (ग्रीन लक्ष्य)।
- खिलाड़ी 2: कार्बन उत्सर्जन को अधिकतम करना चाहता है (एक "विलेन" की भूमिका)।
- खिलाड़ी 3: पैसे को अधिकतम करना चाहता है, भले ही इससे ग्रह को नुकसान हो।
परिणाम: आपदा। जब खिलाड़ियों के लक्ष्य विपरीत थे, तो "ग्रीन" अंत तक पहुँचना लगभग असंभव हो गया। "विलेन" खिलाड़ी (जो अधिक कार्बन चाहता था) ने "हीरो" खिलाड़ी को पूरी तरह से पछाड़ दिया। भले ही अधिकांश खिलाड़ी ग्रह को बचाना चाहते थे, केवल एक खिलाड़ी जो पूरी तरह से लाभ या प्रदूषण पर केंद्रित था, सभी के लिए परिणाम बिगाड़ सकता था।
सबक: प्रतिस्पर्धा जलवायु परिवर्तन को हल करने में सबसे बड़ी बाधा है। यदि राष्ट्र बिना सहयोग के केवल अपने स्वार्थ में कार्य करते हैं, तो ग्रह हार जाता है।

3. पर्दे के पीछे देखना: "क्रिटिकल स्टेट्स"

शोधकर्ता यह भी जानना चाहते थे कि AI ने कुछ विशेष निर्णय क्यों लिए। उन्होंने "क्रिटिकल स्टेट्स" नामक एक विशेष विज़ुअलाइज़ेशन टूल का उपयोग किया।

कल्पना कीजिए कि आप गेम की एक फिल्म देख रहे हैं। अधिकांश समय, AI बस चल रहा होता है, छोटे और सुरक्षित निर्णय ले रहा होता है। लेकिन कुछ विशिष्ट क्षण होते हैं—जैसे सड़क का कोई चौराहा—जहाँ AI को एक बड़ा, महत्वपूर्ण निर्णय लेना होता है।

उच्च आत्मविश्वास (High Confidence): जब AI सुनिश्चित होता है कि क्या करना है, तो "क्रलिटिकल स्टेट" की रोशनी तेज होती है।
भ्रम/अनिश्चितता (Confusion/Uncertainty): जब AI अनिश्चित होता है, तो रोशनी मंद होती है।

उन्होंने पाया कि जब खिलाड़ी प्रतिस्पर्धा कर रहे थे, तो "ग्रीन" खिलाड़ी बहुत भ्रमित और अनिश्चित हो गया क्योंकि अन्य खिलाड़ी पर्यावरण को खराब कर रहे थे। AI एक "विलेन" के खिलाफ जीतने का तरीका नहीं समझ सका।

निचोड़ (The Bottom Line)

यह शोध पत्र एक प्रारंभिक अध्ययन (पहला कदम) है जो दिखाता है कि:

सहयोग काम करता है: यदि राष्ट्र (या AI एजेंट) एक साझा लक्ष्य रखते हैं, तो वे लगातार एक स्वच्छ, समृद्ध भविष्य का मार्ग खोज सकते हैं।
प्रतिस्पर्धा विफल होती है: यदि राष्ट्र अपने अल्पकालिक लाभ को प्राथमिकता देते हैं या सक्रिय रूप से एक-दूसरे का विरोध करते हैं, तो "ग्रीन" भविष्य अप्राप्य हो जाता है।
AI हमें समस्या देखने में मदद कर सकता है: इन सिमुलेशन का उपयोग करके, हम यह देख सकते हैं कि सिस्टम कहाँ और क्यों टूट जाता है, जिससे हमें यह समझने में मदद मिलती है कि सबसे बड़ी बाधा तकनीक नहीं, बल्कि मानवीय (या राष्ट्रीय) व्यवहार और प्रतिस्पर्धा है।

लेखक इस बात पर जोर देते हैं कि यह एक शुरुआत है। वे यह नहीं कह रहे हैं कि यह AI तुरंत वास्तविक दुनिया में जलवायु परिवर्तन को हल कर देगा, बल्कि यह कि यह विभिन्न देशों के बीच के जटिल नृत्य को समझने और सिम्युलेट करने का एक नया तरीका प्रदान करता है जो ग्रह को बचाने की कोशिश कर रहे हैं।

तकनीकी सारांश: RL के साथ वांछनीय जलवायु प्रक्षेपवक्रों (Trajectories) का निर्माण करना

समस्या विवरण
जलवायु परिवर्तन नीति निर्धारण एक जटिल निर्णय लेने की समस्या है जिसमें परस्पर विरोधी संस्थाएं, अनिश्चित साक्ष्य और विशाल समाधान स्थान शामिल हैं। जबकि एकीकृत मूल्यांकन मॉडल (IAMs) नीति मार्गदर्शन (जैसे, IPCC रिपोर्टों के लिए) हेतु सामाजिक-पर्यावरणीय गतिशीलता को सिम्युलेट करने के लिए मानक ढांचा हैं, पारंपरिक IAMs पुनरावृत्ति समीकरण समाधानों (recursive equation solvers) या अनुकूलन नियंत्रण समस्याओं (optimal control problems) पर निर्भर करते हैं। ये पारंपरिक विधियाँ अनिश्चितता के तहत निर्णय लेने में संघर्ष करती हैं और अक्सर राष्ट्रों या हितधारकों के बीच विषमता, प्रतिस्पर्धा और संचार गतिशीलता को पर्याप्त रूप से दर्शाने में विफल रहती हैं। इसके अलावा, मौजूदा एजेंट-आधारित मॉडल (ABMs) अक्सर सीखे जाने वाले व्यवहारिक नीतियों के बजाय पूर्व-निर्धारित व्यवहारिक नीतियों की आवश्यकता रखते हैं, जो अत्यधिक परिवर्तनशील जलवायु परिदृश्यों में उनकी मजबूती को सीमित करता है। हालांकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ने एकल-एजेंट IAM सेटिंग्स में आशा दिखाई है, मानवजनित जलवायु परिवर्तन को संचालित करने वाली अंतर-राष्ट्र अंतःक्रियाओं को मॉडल करने के लिए मल्टी-एजेंट सुदृढीकरण शिक्षण (Multi-Agent Reinforcement Learning - MARL) का अनुप्रयोग अभी भी कम खोजा गया है। इसके अतिरिक्त, RL एल्गोरिदम की "ब्लैक-बॉक्स" प्रकृति वास्तविक दुनिया की नीति को सूचित करने के लिए व्याख्यात्मकता तंत्रों के बिना विश्वसनीयता संबंधी चिंताएं पैदा करती है।

कार्यप्रणाली
लेखक एक निम्न-जटिलता वाले IAM, जिसे AYS मॉडल (Kittel et al., 2021) के रूप में जाना जाता है, का विस्तार करते हैं, जो साधारण अवकल समीकरणों (ODEs) के माध्यम से वायुमंडलीय कार्बन ( $A$ ), आर्थिक उत्पादन ( $Y$ ), और नवीकरणीय ज्ञान स्टॉक ( $S$ ) के बीच परस्पर क्रिया को सिम्युलेट करता है। यह अध्ययन इस वातावरण को एक 'पार्शियल ऑब्जर्वेबल स्टोकेस्टिक गेम' (Partially Observable Stochastic Game - POSG) के रूप में पुनर्गठित करता है ताकि कई परस्पर क्रिया करने वाले एजेंटों को समायोजित किया जा सके।

पर्यावरण विस्तार: एकल-एजेंट AYS मॉडल को एक मल्टी-एजेंट सेटिंग में अनुकूलित किया गया है जहाँ एक वैश्विक चर (अतिरिक्त वायुमंडलीय कार्बन, $A$ ) साझा किया जाता है, जबकि आर्थिक उत्पादन ( $Y$ ) और नवीकरणीय ज्ञान ( $S$ ) एजेंट-विशिष्ट होते हैं। एजेंट अपने व्यक्तिगत उत्सर्जन के माध्यम से वैश्विक कार्बन स्तर को प्रभावित करते हैं।
एल्गोरिदम: यह अध्ययन इंडिपेंडेंट प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (IPPO) का उपयोग करता है, जो एक 'डीसेंट्रलाइज्ड ट्रेनिंग डीसेंट्रलाइज्ड एक्जीक्यूशन' (DTDE) एल्गोरिदम है। इस सेटअप में, एजेंट पूरी तरह से स्वतंत्र होते हैं, कोई पैरामीटर साझा नहीं करते हैं, और केवल अपने स्थानीय अवस्था चरों (state variables) और वैश्विक कार्बन स्तर को देखते हैं।
पुरस्कार फलन (Reward Functions): विभिन्न व्यवहारिक प्रेरणाओं का परीक्षण करने के लिए तीन अलग-अलग पुरस्कार फलनों का उपयोग किया गया है:
1. $R_{PB}$ (सहकारी): कार्बन और आर्थिक उत्पादन दोनों के लिए 'प्लैनेटरी बाउंड्रीज़' (PBs) से यूक्लिडियन दूरी को अधिकतम करता है, जो एक "हरित" भविष्य को प्रोत्साहित करता है।
2. $R_{maxY}$ (आर्थिक प्राथमिकता): आर्थिक उत्पादन की सीमा से दूरी को अधिकतम करता है, जो आर्थिक लाभ को प्राथमिकता देता है।
3. $R_{maxA}$ (प्रतिरोधी/Adversarial): अतिरिक्त वायुमंडलीय कार्बन ( $A$ ) को अधिकतम करता है, जो पर्यावरणीय क्षरण को प्राथमिकता देने वाली इकाई का प्रतिनिधित्व करता है।
व्याख्यात्मकता (Interpretability): RL में स्पष्टीकरण की कमी को दूर करने के लिए, लेखक "क्रिटिकल स्टेट्स" विश्लेषण का उपयोग करते हैं। यह तकनीक उन अवस्थाओं की पहचान करती है जहाँ नीति का 'लॉगिट डिफरेंस' (उच्चतम संभाव्यता वाले एक्शन और औसत के बीच का अंतर) अधिक होता है, जो यह दर्शाता है कि एजेंट अपने एक्शन के प्रति कितना आश्वस्त है। यह नीति अनिश्चितता के दृश्यता और एजेंट प्रक्षेपवक्रों में विफलता के बिंदुओं की पहचान करने की अनुमति देता है।

प्रमुख योगदान

मल्टी-एजेंट IAM ढांचा: यह शोध पत्र एकल-एजेंट IAMs का एक प्रारंभिक विस्तार प्रस्तुत करता है, जो अंतर-राष्ट्र सहयोग और प्रतिस्पर्धा को सिम्युलेट करने में सक्षम है।
प्रतिस्पर्धा बनाम सहयोग का विश्लेषण: यह अध्ययन व्यवस्थित रूप से जांच करता है कि एजेंट समरूपता (homogeneity), विषमता (heterogeneity), और परस्पर विरोधी पुरस्कार फलनों का "जलवायु सकारात्मक" स्थिति (ग्रीन फिक्स्ड पॉइंट) तक पहुँचने की क्षमता पर क्या प्रभाव पड़ता है।
नीति व्याख्यात्मकता: जलवायु सिमुलेशन में MARL में क्रिटिकल स्टेट विज़ुअलाइज़ेशन का अनुप्रयोग एजेंटों के निर्णय लेने में संघर्ष और नीति अनिश्चितता को समझने के लिए एक विधि प्रदान करता है।

प्रायोगिक परिणाम

सहकारी समरूपता (RQ1): जब एजेंट एक ही $R_{PB}$ पुरस्कार साझा करते हैं और समान अवस्थाओं से शुरू होते हैं, तो वे एजेंटों की संख्या (8 तक परीक्षण किया गया) के बावजूद लगातार ग्रीन फिक्स्ड पॉइंट तक पहुँचते हैं (जीत की दर >90%)। सहयोग स्वाभाविक रूप से साझा पुरस्कार सिग्नल से उभरता है।
सहकारी विषमता (RQ2): जब एजेंट अलग-अलग अवस्थाओं से शुरू होते हैं या उनके पास अलग-अलग जलवायु क्षति पैरामीटर ( $\xi_i$ ) होते हैं, तो भी वे पर्याप्त प्रशिक्षण समय मिलने पर उच्च जीत दर (>90%) प्राप्त करते हैं। हालाँकि, यदि कोई एजेंट जलवायु क्षति से सुरक्षित है (कम $\xi_i$ ), तो वह वैश्विक कार्बन पर अपने उत्सर्जन के नकारात्मक प्रभाव को सीखने में विफल रहता है, जिससे ऐसे प्रक्षेपवपथ बनते हैं जो सहकारी पुरस्कार का पालन करने के बावजूद आर्थिक लाभ को प्राथमिकता देने वाले एजेंटों के समान होते हैं।
प्रतिस्पर्धा (RQ3): प्रतिस्पर्धा को पेश करने से सफलता काफी बाधित होती है।
- मिश्रित प्रेरणाओं ( $R_{PB}$ बनाम $R_{maxY}$ ) वाले एजेंट पूरी तरह से सहकारी समूहों की तुलना में कम सफलता दर दिखाते हैं।
- कार्बन स्थानीकरण ( $R_{maxA}$ ) के लिए अनुकूलित एजेंट की उपस्थिति प्रभावी रूप से सिस्टम को ग्रीन फिक्स्ड पॉइंट तक पहुँचने से रोक देती है, जो अन्य एजेंटों के सहकारी प्रयासों को विफल कर देती है।
क्रिटिकल स्टेट्स: विज़ुअलाइज़ेशन से पता चलता है कि सहकारी एजेंट प्रक्षेपव-पथों की शुरुआत और अंत में उच्च लॉगिट डिफरेंस (निश्चितता) प्रदर्शित करते हैं। प्रतिस्पर्धी परिदृश्यों में, एजेंट कम लॉगिट डिफरेंस दिखाते हैं, जो उच्च नीति अनिश्चितता का संकेत देता है। $R_{maxA}$ एजेंट अपने विशिष्ट पुरस्कार को अधिकतम करने के लिए लगातार "एनर्जी ट्रांजिशन" एक्शन चुनता है, जबकि $R_{PB}$ एजेंट इस व्यवहार का प्रभावी ढंग से मुकाबला करने में विफल रहता है।

महत्व और दावे
लेखक इस कार्य को जलवायु नीति में MARL लागू करने के क्षेत्र में एक प्रारंभिक खोज के रूप में प्रस्तुत करते हैं। प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि जबकि सहकारी एजेंट विश्वसनीय रूप से वांछनीय भविष्य के मार्ग बना सकते हैं, प्रतिस्पर्धा का प्रवेश—जो वास्तविक दुनिया के भू-राजनीतिक संघर्षों को दर्शाता है—जलवायु लक्ष्यों को प्राप्त करने की क्षमता को गंभीर रूप से कम कर देता है।

यह शोध पत्र भविष्य के अनुसंधान के लिए "विरोधी जागरूकता" (opponent awareness) वाले एल्गोरिदम (जैसे कि सेंट्रलाइज्ड ट्रेनिंग डीसेंट्रलाइज्ड एक्जीक्यूशन या अपोनेंट शेपिंग) की आवश्यकता को रेखांकित करते हुए इन परिणामों को विनम्रतापूर्वक प्रस्तुत करता है ताकि मल्टी-एजेंट जलवायु सिमुलेशन में नॉन-स्टेशनैरिटी और प्रतिस्पर्धा को प्रबंधित किया जा सके। लेखक जोर देते हैं कि वर्तमान सीमाओं में एजेंट लर्निंग एल्गोरिदम पर नियंत्रण की धारणा और जटिल, उच्च-आयामी IAMs तक MARL को स्केल करने की चुनौती शामिल है। वे निष्कर्ष निकालते हैं कि हालांकि यह तकनीक साक्ष्य-आधारित नीति निर्धारण के लिए आशाजनक है, वास्तविक दुनिया में अपनाने से पहले आधारभूत मॉडलों की वैधता और एजेंट व्यवहारों की व्याख्यात्मकता सुनिश्चित करने के लिए महत्वपूर्ण कार्य शेष है।

1. गेम बोर्ड: "AYS" मॉडल

2. प्रयोग: खिलाड़ियों को प्रशिक्षित करना

3. पर्दे के पीछे देखना: "क्रिटिकल स्टेट्स"

निचोड़ (The Bottom Line)

इसी तरह के और पेपर