तकनीकी सारांश: निरंतर सुदृढीकरण शिक्षण (Continual Reinforcement Learning) के लिए एर्गोडिक जोखिम माप (Ergodic Risk Measures)

समस्या विवरण

निरंतर सुदृढीकरण शिक्षण (Continual RL) का लक्ष्य आजीवन शिक्षण और अनंत अनुकूलन को औपचारिक रूप देना है, जिसके लिए एजेंटों को स्थिरता-प्लास्टिसिटी द्वंद्व (stability-plasticity dilemma) को संतुलित करने की आवश्यकता होती है: उपयोगी पूर्व ज्ञान को बनाए रखना और नए अनुभवों के प्रवाह के प्रति लचीला बने रहना। अब तक, निरंतर RL को लगभग विशेष रूप से एक जोखिम-तटस्थ (risk-neutral) दृष्टिकोण के माध्यम से खोजा गया है, जहाँ एजेंट दीर्घकालिक अपेक्षित प्रदर्शन (जैसे, औसत पुरस्कार) को अनुकूलित करते हैं।

हालाँकि, वास्तविक दुनिया में तैनाती के लिए अक्सर जोखिम-जागरूक (risk-aware) निर्णय लेने की आवश्यकता होती है, जहाँ एजेंट माध्य (mean) से परे प्रदर्शन के मापों (जैसे, विचरण/variance, टेल रिस्क) को अनुकूलित करते हैं। एक महत्वपूर्ण अंतर मौजूद है: शास्त्रीय जोखिम माप का सिद्धांत, जो गैर-निरंतर जोखिम-जागरूक RL का आधार है, निरंतर शिक्षण की आवश्यकताओं के साथ मौलिक रूप से असंगत है। विशिष्ट ढांचे (स्थिर और नेस्टेड जोखिम माप) उन शर्तों को पूरा करने में विफल रहते हैं जो एक एजेंट के लिए परिमित स्मृति (finite memory) के साथ अनंत समय क्षितिज पर जोखिम-जागरूक होने के लिए आवश्यक हैं।

कार्यप्रणाली

1. निरंतर जोखिम-जागरूक RL को औपचारिक रूप देना

लेखक पहले निरंतर RL ढांचे (Abel et al., 2025) को एक जोखिम-जागरूक सेटिंग में सामान्यीकृत करते हैं। वे एक जोखिम-जागरूक अवलोकन (risk-aware observation) को एक पर्यावरणीय अवलोकन और एजेंट के वर्तमान जोखिम दृष्टिकोण के टुपल (tuple) के रूप में परिभाषित करते हैं। फलस्वरूप, एक जोखिम मूल्यांकन (risk assessment) को जोखिम-जागरूक अवलोकनों के एक अनुक्रम से एक स्केलर मान के मानचित्रण के रूप में परिभाषित किया जाता है जो उस अनुक्रम के जोखिम को दर्शाता है।

2. निरंतर जोखिम-जागरूकता के लिए अभिधारणाएँ (Axioms)

इस धारणा के आधार पर कि निरंतर एजेंटों के पास परिमित स्मृति (finite memory) और गैर-शून्य प्लास्टिसिटी (non-zero plasticity) होती है, यह शोध पत्र निरंतर सेटिंग्स में जोखिम-जागरूकता के लिए दो आवश्यक और पर्याप्त अभिधारणाओं को स्थापित करता है:

• व्यवहार्यता अभिधारणा (Feasibility Axiom): जोखिम मूल्यांकन को अवलोकनों के एक परिमित समय अंतराल और उस अंतराल के दौरान एजेंट के जोखिम दृष्टिकोण के आधार पर गणनीय (computable) होना चाहिए।
• प्लास्टिसिटी अभिधारणा (Plasticity Axiom): एजेंट के जोखिम मूल्यांकन और व्यवहार को नए अवलोकनों और जोखिम दृष्टिकोण में परिवर्तनों से अनंत बार प्रभावित होना चाहिए।

3. मौजूदा मापों की असंगति

यह शोध पत्र प्रदर्शित करता है कि शास्त्रीय जोखिम माप इन अभिधारणाओं को विफल करते हैं:

• स्थिर जोखिम माप (Static Risk Measures): ये व्यवहार्यता अभिधारणा को विफल करते हैं क्योंकि जैसे-जैसे समय क्षितिज अनंत की ओर बढ़ता है (अनंत स्मृति की आवश्यकता होती है) या यदि क्षितिज परिमित है तो ये प्लास्टिसिटी अभिधारणा को विफल करते हैं (भविष्य के अवलोकनों को अनदेखा करते हैं)।
• नेस्टेड (गतिक) जोखिम माप (Nested/Dynamic Risk Measures): ये प्लास्टिसिटी अभिधारणा को विफल करते हैं क्योंकि वे समय निरंतरता (time consistency) को लागू करते हैं। समय निरंतरता का अर्थ है कि यदि किसी परिणाम को समय $t$ पर कम जोखिम वाला माना जाता है, तो उसे भविष्य के सभी समयों पर कम जोखिम वाला ही रहना चाहिए, जो एजेंट को नई जानकारी के आधार पर अपने जोखिम मूल्यांकन को अनुकूलित करने से रोकता है।

4. प्रस्तावित समाधान: एर्गोडिक जोखिम माप (Ergodic Risk Measures)

इस असंगति को हल करने के लिए, लेखक एर्गोडिक जोखिम माप पेश करते हैं। इन्हें सशर्त जोखिम मापों के एक अनुक्रम के रूप में परिभाषित किया गया है जहाँ:

• किसी भी समय $t$ पर जोखिम को केवल पिछले इतिहास के एक परिमित, रोलिंग विंडो (rolling window) का उपयोग करके सटीक रूप से गणनीय किया जा सकता है।
• समय निरंतरता को सख्ती से लागू नहीं किया जाता है, जिससे एजेंट को नया डेटा आने पर अपने जोखिम मूल्यांकन को अपडेट करने की अनुमति मिलती है।

लेखक इस अवधारणा को औसत-पुरस्कार मार्कोव निर्णय प्रक्रिया (average-reward MDP) के रूप में मैप करते हैं। वे एक जोखिम-जागरक उद्देश्य का प्रस्ताव करते हैं जो प्रति-चरण पुरस्कार वितरण के सीमित एर्गोडिक वितरण के समय-औसत जोखिम को अनुकूलित करता है। मानक एर्गोडिसिटी धारणाओं (जैसे, unichain या communicating MDPs) के तहत, वे सिद्ध करते हैं कि यह उद्देश्य एक एर्गोडिक जोखिम माप के अनुरूप है, जो व्यवहार्यता और प्लास्टिसिटी दोनों अभिधारणाओं को संतुष्ट करता है।

मुख्य योगदान

1. प्रथम औपचारिक उपचार: यह कार्य विशेष रूप से निरंतर (lifelong) शिक्षण सेटिंग के भीतर जोखिम-जागरूक निर्णय लेने का पहला औपचारिक सैद्धांतिक उपचार प्रस्तुत करता है।
2. सैद्धांतिक असंगति प्रमाण: शोध पत्र कठोरता से सिद्ध करता है कि शास्त्रीय स्थिर और नेस्टेड जोखिम माप निरंतर शिक्षण के अभिधारणाओं के साथ असंगत हैं क्योंकि उनकी आवश्यकता अनंत स्मृति या सख्त समय निरंतरता की होती है।
3. एर्गोडिक जोखिम माप: लेखक एर्गोडिक जोखिम मापों का एक नया वर्ग प्रस्तावित करते हैं जो निरंतर शिक्षण के अनुकूल है। ये माप परिमित-स्मृति गणना और अनंत अनुकूलन क्षमता (प्लास्टिकिटी) की अनुमति देते हैं।
   दान, यह कार्य जोखिम-जागरूक RL से जुड़े गैर-मार्कोवियन इष्टतम नीति मुद्दों को दरकिनार करते हुए, एक स्थिर, नियतात्मक इष्टतम नीति (stationary, deterministic optimal policy) को अनुकूलित करने का मार्ग प्रशत करता है।
4. सैद्धांतिक गारंटी: यह प्रदर्शित करता है कि एक औसत-पुरस्कार MDP सेटिंग में एर्गोडिक जोखिम माप को अनुकूलित करने से एक स्थिर, नियतात्मक इष्टतम नीति प्राप्त होती है, जो अक्सर गैर-निरंतर जोखिम-जागरूक सेटिंग्स में देखे जाने वाले गैर-मार्कोवियन इष्टतम नीति संबंधी मुद्दों को दूर करती है।
5. अनुभवजन्य सत्यापन: कंडीशनल वैल्यू-एट-रिस्क (CVaR) को एक एर्गोडिक जोखिम माप के रूप में उपयोग करते हुए एक केस स्टडी प्रस्तुत की गई है।

परिणाम

लेखक "रेड-पिल ब्लू-पिल" (RPBP) कार्य के दो निरंतर शिक्षण विविधताओं पर RED CVaR Q-learning एल्गोरिदम का उपयोग करके अपने सिद्धांत को सत्यापित करते हैं:

1. $\tau$-RPBP कार्य (बदलता जोखिम दृष्टिकोण): एजेंट का जोखिम पैरामीटर ($\tau$) समय के साथ जोखिम-तटस्थ से जोखिम-अवरोधक (risk-averse) में बदल जाता है।
   • परिणाम: एजेंट सफलतापूर्वक शुरू में "ब्लू वर्ल्ड" (उच्च माध्य, निम्न CVaR) में रहने के लिए सीखता है, और फिर जब उसका जोखिम दृष्टिकोण जोखिम-अवरोधक हो जाता है, तो वह "रेड वर्ल्ड" (निम्न माध्य, उच्च CVaR) को प्राथमिकता देने के लिए सही ढंग से अनुकूलित होता है।
2. S-RPBP कार्य (बदलता वातावरण): अवस्थाओं (states) के पुरस्कार वितरण समय के साथ बदलते हैं, जिसके लिए एजेंट को एक निश्चित जोखिम दृष्टिकोण के तहत सर्वश्रेष्ठ CVaR वाले राज्य को खोजने की आवश्यकता होती है।
   • परिणाम: एजेंट निरंतर अनुकूलित होता है और जैसे-जैसे वातावरण बदलता है, बेहतर CVaR वाले राज्य की सफलतापूर्वक पहचान करता है।

ये परिणाम दर्शाते हैं कि एर्गोडिक जोखिम माप एजेंटों को बदलते जोखिम दृष्टिकोणों और पर्यावरणीय गतिकी के अनुकूल होते हुए भी तर्कसंगत जोखिम-जागरूक व्यवहार बनाए रखने में सक्षम बनाते हैं।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह निरंतर RL के लिए एक जोखिम-जागरूक आधार प्रदान करता है। इसका प्राथमिक महत्व जोखिम-जागरूक निर्णय लेने और आजीवन शिक्षण के बीच के अंतर को पाटने में निहित है।

• सैद्धांतिक आधार: यह स्थापित करता है कि निरंतर सेटिंग्स में जोखिम-जागरूकता के लिए समय-सुसंगत, नेस्टेड जोखिम मापों से हटकर एर्गोडिक मापों की ओर जाने की आवश्यकता है जो अनुकूलन क्षमता और परिमित गणनीयता को प्राथमिकता देते हैं।
• व्यावहारिक उपयोगिता: यह दिखाकर कि एर्गोडिक जोखिम माप (जैसे, समय-औसत CVaR) स्थिर इष्टतम नीतियों को स्वीकार करते हैं, यह कार्य गैर-निरंतर सेटिंग्स में पाए जाने वाले जटिल, गैर-मार्कोवियन जोखिम-जागरूक उद्देश्यों के लिए एक व्यावहारिक विकल्प प्रदान करता है।
• सीमित दायरा: लेखक इस कार्य को "प्रथम चरणों" और "एक औपचारिक सैद्धांतिक अन्वेषण" के रूप में देखते हैं। वे यह दावा नहीं करते हैं कि उन्होंने जोखिम-जागरूक आजीवन शिक्षण की सभी चुनौतियों को हल कर दिया है, बल्कि वे आवश्यक सैद्धांतिक शर्तें (अभिधारणाएं) और एक संगत गणितीय ढांचा (एर्गोडिक जोखिम माप) प्रदान करते हैं ताकि "जोखिम-जागरूक आजीवन एजेंटों" को विकसित करने में भविष्य की प्रगति संभव हो सके।

शोध पत्र निष्कर्ष निकालता है कि एर्गोडिक जोखिम माप जोखिम-जागरूक सीखने के लिए एक नया, आकर्षक विकल्प प्रदान करते हैं जो व्याख्यात्मकता (स्थिर मापों की तरह) और स्थिरता एवं अनुकूलन क्षमता (सख्त नेस्टेड मापों के विपरीत) के बीच संतुलन बनाता है, जिससे वे निरंतर और गैर-निरंतर औसत-पुरस्कार सेटिंग्स दोनों के लिए उपयुक्त बनते हैं।