तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में वितरण संबंधी बदलावों (Distributional Shifts) का एक एकीकृत कारण-मूल (Causal-Origin) वर्गीकरण

1. समस्या विवरण

सुदृढीकरण शिक्षण (RL) प्रणालियाँ अक्सर तब खराब प्रदर्शन करती हैं जब परिचालन स्थितियाँ प्रशिक्षण वातावरण से भिन्न हो जाती हैं, जिसे 'वितरण संबंधी बदलाव' (distributional shift) के रूप में जाना जाता है। हालांकि व्यापक साहित्य इस समस्या के विशिष्ट रूपों—जैसे कि आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण, गैर-स्थिर (non-stationary) वातावरण, और ऑफलाइन-टू-ऑनलाइन बेमेल (mismatches)—को संबोधित करता है, लेकिन एक एकीकृत संरचनात्मक विवरण का अभाव है। मौजूदा कार्य अक्सर वितरण संबंधी बदलाव को एक सामान्य बेमेल के रूप में देखते हैं या केवल शमन रणनीतियों (mitigation strategies) पर ध्यान केंद्रित करते हैं, बिना एजेंट-वातावरण की परस्पर क्रिया प्रक्रिया के भीतर बदलाव के कारण-मूल (causal origin) को स्पष्ट रूप से पहचाने।

सुपरवाइज्ड लर्निंग (Supervised Learning) में, वितरण संबंधी बदलाव को संयुक्त वितरण के गुणनखंडन (जैसे, कोवेरिएट शिफ्ट बनाम कॉन्सेप्ट ड्रिफ्ट) के माध्यम से अच्छी तरह से समझा जाता है। हालाँकि, RL में, डेटा एक क्लोज्ड-लूप, अनुक्रमिक अंतःक्रिया (sequential interaction) के माध्यम से उत्पन्न होता है जो एक पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) द्वारा नियंत्रित होता है। RL में वर्तमान परिभाषाएँ अक्सर दृश्यमान विसंगतियों (जैसे, प्रक्षेपवक्र विचलन या अवस्था-दर्शन बेमेल) पर निर्भर करती हैं, न कि उन विशिष्ट जनरेटिव घटकों (अवस्था, अवलोकन, नीति, संक्रमण, पुरस्कार) के अपघटन पर जिनके कारण यह बदलाव हुआ है। यह पर्यावरण-संचालित परिवर्तनों और एजेंट-संचालित परिवर्तनों के बीच के अंतर को धुंधला कर देता है, जिससे निदान और उपयुक्त अनुकूलन रणनीतियों के चयन में जटिलता आती है।

2. कार्यप्रणाली

लेखक एक एकीकृत कारण-मूल वर्गीकरण (Unified Causal-Origin Taxonomy) प्रस्तावित करते हैं जो RL में वितरण संबंधी बदलाव को सुपरवाइज्ड लर्निंग के डेटासेट-शिफ्ट सिद्धांतों को RL की जनरेटिव इंटरेक्शन प्रक्रिया में स्थानांतरित करके पुनर्गठित करता है।

2.1 जनरेटिव अपघटन (Generative Decomposition)

कार्यप्रणाली एक POMDP सेटिंग में एजेंट-वातावरण की अंतःक्रिया को मॉडल करने से शुरू होती है। एक एकल अंतःक्रिया चरण के संयुक्त वितरण को पाँच परस्पर निर्भर घटकों में विभाजित किया गया है:

1. अवस्था वितरण (State distribution): $p(s)$
2. अवलोकन मानचित्रण (Observation mapping): $p(o|s)$
3. नीति (Policy): $\pi(a|o)$
4. संक्रमण गतिकी (Transition dynamics): $p(s'|s, a)$
5. पुरस्कार तंत्र (Reward mechanism): $p(r|s, a, s')$

लेखक इन चरों को एक इनपुट $X = (s, o)$ और एक आउटपुट $Y = (a, s', r)$ में समूहित करके सुपरवाइज्ड लर्निंग के साथ एक संरचनात्मक सेतु स्थापित करते हैं, जिससे कारण अपघटन (causal decomposition) का अनुप्रयोग संभव हो पाता है।

2.2 द्वि-आयामी वर्गीकरण (The Two-Dimensional Taxonomy)

प्रस्तावित वर्गीकरण दो पूरक आयामों के साथ वितरण संबंधी बदलावों को वर्गीकृत करता है:

A. MDP घटक पहलू (बदलाव का मूल - Origin of Shift)
यह आयाम बदलाव को जनरेटिव प्रक्रिया के विशिष्ट घटकों तक सीमित करता है, जो निम्नलिखित के बीच अंतर करता है:

• बाहरी (पर्यावरण-संचालित) बदलाव: $p(s)$, $p(s'|s, a)$, या $p(r|s, a, s')$ में परिवर्तन। ये वातावरण की गतिकी, प्रारंभिक अवस्थाओं, या पुरस्कार संरचनाओं में परिवर्तनों से उत्पन्न होते हैं।
• आंतरिक (एजेंट-संचालित) बदलाव: $p(o|s)$ (अवलोकन मानचित्रण) या $\pi(a|o)$ (नीति) में परिवर्तन। ये एजेंट के बोध (perception), प्रतिनिधित्व, या निर्णय लेने वाली प्रक्रियाओं में परिवर्तनों से उत्पन्न होते हैं।

B. सीमा पहलू (समय संबंधी अभिव्यक्ति - Temporal Manifestation)
यह आयाम यह लक्षणित करता है कि बदलाव समय के साथ कैसे प्रकट होता है, जिसे "शिफ्टेड-टाइम बाउंड्री" द्वारा परिभाषित किया गया है:

• स्पष्ट सीमा (Explicit Boundary): प्रशिक्षण और मूल्यांकन के बीच एक स्पष्ट अलगाव (जैसे, फ्रोजन पॉलिसी)। बदलाव तब होते हैं जब मूल्यांकन वातावरण प्रशिक्षण वातावरण से भिन्न होता है (ID/OOD सामान्यीकरण)।
• निहित सीमा (Implicit Boundary): निरंतर सीखना जहाँ एक स्थिर नीति के बिना समय के साथ वातावरण की जनरेटिव प्रक्रिया बदलती है (गैर-स्थिरता)।
• हाइब्रिड सीमा (Hybrid Boundary): एक निर्धारित प्रशिक्षण-मूल्यांकन विभाजन वाला परिवेश जहाँ अंतःक्रिया के दौरान बदलाव भी निहित रूप से होते हैं।

2.3 मल्टी-एजेंट आरएल (MARL) में विस्तार

यह ढांचा विकेंद्रीकृत MARL में विस्तार करता है, जहाँ अन्य एजेंटों की विकसित होती नीतियों को बाहरी बदलावों के रूप में वर्गीकृत किया जाता है। एक एकल एजेंट के दृष्टिकोण से, साथियों के बदलते व्यवहार प्रभावी संक्रमण गतिकी और पुरस्कार संरचनाओं को बदल देते हैं, जो भौतिक दुनिया स्थिर रहने के बावजूद एक पर्यावरण-संचालित परिवर्तन का निर्माण करते हैं।

2.4 मूल्यांकन ढांचा

इन बदलावों के प्रभाव को मापने के लिए, लेखक एक मूल्यांकन ढांचा पेश करते हैं जिसमें पाँच मेट्रिक्स शामिल हैं:

1. तत्काल बदलाव प्रभाव (Immediate Shift Impact): तात्कालिक प्रदर्शन में गिरावट।
2. सबसे खराब स्थिति का क्षरण (Worst-Case Degradation): देखा गया अधिकतम प्रदर्शन नुकसान।
3. रिकवरी की गति (Recovery Speed): पूर्व-बदलाव प्रदर्शन के एक अंश को पुनः प्राप्त करने के लिए आवश्यक टाइम स्टेप्स।
4. रिकवरी की गुणवत्ता (Recovery Quality): पूर्व-बदलाव बेसलाइन के मुकाबले पोस्ट-शिफ्ट औसत प्रदर्शन का अनुपात।
5. अनुकूलन दक्षता (Adaptation Efficiency): एक संयुक्त मेट्रिक जो रिकवरी गुणवत्ता और गति को संतुलित करता है।

3. प्रमुख योगदान

1. एकीकृत संरचनात्मक सूत्रीकरण: शोध पत्र एक सिद्धांतवादी सूत्रीकरण प्रदान करता है जो सुपरवाइज्ड लर्निंग में डेटासेट शिफ्ट के संभाव्य आधार को RL की जनरेटिव इंटरेक्शन प्रक्रिया से जोड़ता है, यह प्रदर्शित करते हुए कि दोनों एक साझा चेन-रूल गुणनखंडन (chain-rule factorization) को स्वीकार करते हैं।
2. कारण-मूल वर्गीकरण: यह एक ऐसा वर्गीकरण व्युत्पन्न करता है जो बदलावों को उनके मूल (आंतरिक बनाम बाहरी) और उनके अस्थायी सीमा (स्पष्ट, निहित, हाइब्रिड) के आधार पर अलग करता है। यह बताता है कि कैसे मानक RL सेटिंग्स (ID/OOD, गैर-स्थिरता) जनरेटिव प्रक्रिया में विशिष्ट परिवर्तनों से उत्पन्न होती हैं।
3. मौजूदा विधियों के लिए विश्लेषणात्मक ढांचा: यह वर्गीकरण मौजूदा साहित्य (जैसे, डोमेन रैंडमाइजेशन, मेटा-RL, ऑफलाइन RL) को वर्गीकृत करने के लिए एक लेंस के रूप में कार्य करता है, जो यह प्रकट करता है कि अधिकांश विधियाँ बाहरी बदलावों को लक्षित करती हैं, जबकि आंतरिक बदलाव (नीति-प्रेरित) कम स्पष्ट रूप से संबोधित किए गए हैं।
4. मूल्यांकन मेट्रिक्स: कुल प्रदर्शन के बजाय, बदलाव के प्रभाव और एजेंट अनुकूलन को मापने के लिए एक ढांचे का परिचय, जो मजबूती (robustness), रिकवरी डायनेमिक्स और निरंतर प्रदर्शन के बीच अंतर करता है।

4. परिणाम

लेखकों ने वर्गीकरण को मान्य करने के लिए ग्रिडवर्ल्ड वातावरण में डीप क्यू-नेटवर्क (DQN) का उपयोग करके एक नियंत्रित अनुभवजन्य अध्ययन किया। उन्होंने पाँच विशिष्ट बदलाव पेश किए:

• बाहरी (External): अवस्था वितरण बदलाव ($p(s)$), संक्रमण गतिकी बदलाव ($p(s'|s, a)$), और पुरस्कार तंत्र बदलाव ($p(r|s, a, s')$)।
• आंतरिक (Internal): अवलोकन मानचित्रण बदलाव ($p(o|s)$) और नीति-प्रेरित बदलाव ($\pi(a|o)$)।

निष्कर्ष:

• विशिष्ट क्षरण पैटर्न: एक स्पष्ट-सीमा (फ्रोजन पॉलिसी) सेटिंग के तहत, सभी बदलावों ने प्रदर्शन में गिरावट पैदा की, लेकिन विफलता की प्रकृति भिन्न थी। उदाहरण के लिए, अवस्था वितरण बदलावों ने अनदेखी शुरुआती क्षेत्रों के कारण तत्काल विफलता उत्पन्न की, जबकि अवलोकन बदलावों ने सीखे गए धारणा-क्रिया मानचित्रण को तोड़ दिया।
• अनुकूलन परिवर्तनशीलता: एक निहित-सीमा (निरंतर शिक्षण) सेटिंग के तहत, एजेंटों ने अलग-अलग रिकवरी प्रोफाइल दिखाए। संक्रमण गतिकी जैसे बाहरी बदलावों के कारण अस्थिर उतार-चढ़ाव हुए, जबकि आंतरिक बदलावों (विशेष रूप से अवलोकन मानचित्रण और नीति क्वांटाइजेशन) के कारण गंभीर और अक्सर अपरिवर्तनीय क्षरण हुआ।
• मेट्रिक संवेदनशीलता: प्रस्तावित मूल्यांकन मेट्रिक्स ने सफलतापूर्वक उन बदलावों के बीच अंतर किया जिन्होंने तत्काल पतन (collapse) किया बनाम वे जिन्होंने आंशिक रिकवरी की अनुमति दी, और उन बदलावों के बीच भी जो रिकवर करने योग्य थे बनाम वे जिन्होंने प्रदर्शन को स्थायी रूप से कम कर दिया।

परिणाम दर्शाते हैं कि वितरण संबंधी बदलाव को एक अखंड (monolithic) घटना के रूप में मानना विफलता के विशिष्ट कारणों को छिपा देता है। विभिन्न कारण-मूल अलग-अलग क्षरण और रिकवरी सिग्नेचर उत्पन्न करते हैं, जो घटक-स्तरीय विश्लेषण की आवश्यकता को प्रमाणित करते हैं।

5. महत्व और दावे

यह शोध पत्र वितरण संबंधी बदलाव के तहत सुदृढीकरण शिक्षण में मजबूती (robustness) का विश्लेषण करने के लिए एक सिद्धांतवादी आधार प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

• एकीकरण: यह सुपरवाइज्ड लर्निंग में घटक-स्तरीय बदलाव विश्लेषण को RL की जनरेटिव इंटरेक्शन प्रक्रिया के साथ एकीकृत करता है।
• नैदानिक स्पष्टता (Diagnostic Clarity): बदलाव को कारण-मूल संरचना में स्थापित करके, यह बेमेल के स्रोत को उसके दृश्य प्रभावों से अलग करता है, जिससे यह निदान करना अधिक सटीक हो जाता है कि एक एजेंट क्यों विफल होता है।
• रणनीतिक संरेखण: यह सुझाव देता है कि अनुकूलन रणनीतियों को विशिष्ट प्रकार के बदलाव के साथ संरेखित होना चाहिए (उदाहरण के लिए, एक एजेंट-संचालित बदलाव के लिए एक पर्यावरण-संचालित बदलाव की तुलना में अलग शमन की आवश्यकता होती है)।
• व्यवस्थित आधार: यह मौजूदा विधियों की तुलना करने और भविष्य की मजबूती रणनीतियों को डिजाइन करने के लिए एक व्यवस्थित आधार स्थापित करता है, जो बेंचमार्क-उन्मुख मूल्यांकन से हटकर समस्या की संरचनात्मक समझ की ओर ले जाता है।

लेखक इस कार्य को एक नए एल्गोरिदम या बेंचमार्क सूट के रूप में नहीं, बल्कि एक वैचारिक ढांचे के रूप में प्रस्तुत करते हैं जो वितरण संबंधी बदलाव के "क्यों" और "कहाँ" को स्पष्ट करता है, जिससे भविष्य में अधिक लक्षित और प्रभावी समाधानों को सक्षम बनाया जा सके।