Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies

तकनीकी सारांश: स्वतंत्र मल्टी-एजेंट नीतियों के विश्वसनीय सह-प्रशिक्षण (Co-Training) के लिए केंद्रीकृत अनुकूलनशील नमूनाकरण (Centralized Adaptive Sampling)

समस्या विवरण

स्वतंत्र ऑन-पॉलिसी पॉलिसी ग्रेडिएंट एल्गोरिदम, सहकारी और नो-कॉन्फ्लिक्ट (no-conflict) खेलों में मल्टी-एजेंट सुदृढीकरण शिक्षण (MARL) के लिए एक मानक दृष्टिकोण हैं। हालाँकि, ये विधियाँ उप-इष्टतम अभिसरण (sub-optimal convergence) से ग्रस्त होने के लिए जानी जाती हैं। जबकि पूर्व साहित्य इस विफलता का मुख्य कारण व्यक्तिगत पॉलिसी ग्रेडिएंट्स द्वारा इष्टतम संयुक्त संतुलन (optimal joint equilibrium) से दूर जाने को मानता है (इक्विलिब्रियम सिलेक्शन संबंधी मुद्दे), यह शोध पत्र एक नवीन विफलता मोड की पहचान करता है: संयुक्त नमूनाकरण त्रुटि (joint sampling error)।

लेखक देखते हैं कि भले ही सभी एजेंटों के अपेक्षित व्यक्तिगत पॉलिसी ग्रेडिएंट्स सही ढंग से इष्टतम संयुक्त समाधान की ओर संकेत कर रहे हों, फिर भी उप-इष्टतम अभिसरण हो सकता है। यह इसलिए होता है क्योंकि, सीमित डेटा संग्रह में, स्वतंत्र एक्शन सैंपलिंग की स्टोकेस्टिसिटी (stochasticity) अनुभवजन्य संयुक्त डेटा वितरण (empirical joint data distribution) को अपेक्षित संयुक्त ऑन-पॉलिसी वितरण से विचलित कर देती है। यह विचलन गलत ग्रेडिएंट अनुमानों की ओर ले जाता है। महत्वपूर्ण बात यह है कि एजेंटों में अपने स्वयं के मार्जिनल एक्शन वितरण के संबंध में शून्य नमूनाकरण त्रुटि हो सकती है, फिर भी वे महत्वपूर्ण संयुक्त नमूनाकरण त्रुटि से पीड़ित हो सकते हैं, जिससे वे उप-इष्टतम संयुक्त कार्यों को सुदृढ़ (reinforce) करते हैं।

कार्यप्रणाली

इसे संबोधित करने के लिए, यह शोध पत्र सहकारी नमूनाकरण त्रुटि न्यूनीकरण (Cooperative Sampling Error Reduction - CoSER) का प्रस्ताव करता है, जो एक अनुकूलनशील एक्शन सैंपलिंग एल्गोरिदम है और सेंट्रलइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) फ्रेमवर्क के भीतर कार्य करता है।

मुख्य तंत्र

मानक स्वतंत्र नमूनाकरण या एकल-एजेंट अनुकूलनशील नमूनाकरण विधियों के विकेंद्रीकृत विस्तारों के विपरीत, CoSER डेटा एकत्र करने के लिए एक केंद्रीकृत व्यवहार नीति (centralized behavior policy) ($\pi_\phi$) का उपयोग करता है। इस व्यवहार नीति को वर्तमान संयुक्त लक्ष्य नीति ($\pi_\theta$) के सापेक्ष कम-नमूने वाले (under-sampled) संयुक्त कार्यों की संभावना बढ़ाने के लिए निरंतर अनुकूलित किया जाता है।

एल्गोरिदम का विवरण

1. आर्किटेक्चर: CoSER एक केंद्रीकृत व्यवहार नीति $\pi_\phi(a|s)$ को परिभाषित करता है जो पूर्ण संयुक्त अवस्था $s$ पर आधारित होती है। यह सुनिश्चित करने के लिए कि $\pi_\phi$ को विकेंद्रीकृत लक्ष्य नीति $\pi_\theta$ के अनुरूप आरंभ (initialize) किया जा सके, लेखक एक विशेष आर्किटेक्चर पेश करते हैं:
   $$\pi_\phi(\cdot|s) = \sigma(\log \pi_\theta(\cdot|s) + \Delta_\phi(s))$$
   यहाँ, $\Delta_\phi(s)$ एक न्यूरल नेटवर्क है जो लॉजिट एडजस्टमेंट्स (logit adjustments) आउटपुट करता है। इसे शून्य के रूप में आरंभ किया गया है, जिससे अपडेट की शुरुआत में $\pi_\phi \equiv \pi_\theta$ सुनिश्चित होता है।
2. अपडेट नियम: व्यवहार नीति को क्लिप्ड सरोगेट ऑब्जेक्टिव (PPO और PROPS से प्रेरित) पर ग्रेडिएंट एसेंट के माध्यम से अपडेट किया जाता है ताकि अनुभवजन्य डेटा वितरण और लक्ष्य नीति वितरण के बीच के विचलन (divergence) को कम किया जा सके। यह ऑब्जेक्टिव कम-नमूने वाले संयुक्त कार्यों की संभावना बढ़ाता है और अधिक-नमूने वाले (over-sampled) कार्यों की संभावना को घटाता है।
3. MA-PROPS के साथ तुलना: यह शोध पत्र MA-PROPS के साथ CoSER की तुलना करता है, जो एकल-एजेंट PROPS एल्गोरिदम का एक मल्टी-एजेंट विस्तार है। MA-PROPS प्रत्येक एजेंट के लिए स्वतंत्र व्यवहार नीतियांों का उपयोग करता है। लेखक सैद्धांतिक और अनुभवजन्य रूप से प्रदर्शित करते हैं कि जबकि MA-PROPS व्यक्तिगत एजेंटों के लिए नमूनाकरण त्रुटि को कम करता है, यह संयुक्त नमूनाकरण त्रुटि को कम करने में विफल रहता है क्योंकि यह एजेंटों के बीच एक्शन चयन को समन्वित नहीं करता है।

प्रमुख योगदान

1. एक नवीन विफलता मोड की पहचान: लेखक पहले हैं जिन्होंने दिखाया है कि संयुक्त नमूनाकरण त्रुटि स्वतंत्र ऑन-पॉलिसी पॉलिसी ग्रेडिएंट RL में उप-इष्टतम अभिसरण का कारण बन सकती है, भले ही अपेक्षित ग्रेडिएंट्स इष्टतम व्यवहार के अनुरूप हों।
2. सैद्धांतिक अंतर्दृष्टि: वे सिद्ध करते हैं कि एजेंटों को स्वतंत्र रूप से (जैसा कि MA-PROPS करता है) नमूनाकरण त्रुटि को कम करना, संयुक्त नमूनाकरण त्रुटि में कमी की गारंटी नहीं देता है। संयुक्त वितरण को ठीक करने के लिए समन्वित एक्शन चयन आवश्यक है।
3. एल्गोरिदम विकास (CoSER): वे CoSER पेश करते हैं, जो एक केंद्रीकृत अनुकूलनशील नमूनाकरण विधि है जो कम-नमूने वाले संयुक्त कार्यों पर उच्च संभावना रखकर कुशलतापूर्वक संयुक्त नमूनाकरण त्रुटि को कम करती है।
4. अभिसरण विश्लेषण: वे एकल-एजेंट सेटिंग्स से MARL तक अभिसरण विश्लेषण का विस्तार करते हैं, यह दिखाते हुए कि CoSER के तहत, अनुभवजन्य संयुक्त अवस्था विज़िटेशन वितरण (state visitation distribution) संभाव्यता 1 के साथ वास्तविक वितरण की ओर अभिसरित होता है, और संयुक्त नमूनाकरण त्रुटि के लिए अभिसरण दर $O_p(1/m^2)$ है, जो मानक ऑन-पॉलिसी सैंपलिंग के $O_p(1/m)$ की तुलना में बेहतर है।

प्रयोगात्मक परिणाम

लेखक विभिन्न नो-कॉन्फ्लिक्ट मल्टी-एजेंट गेम्स में CoSER का मूल्यांकन करते हैं, जिनमें लेवल-बेस्ड फोरेजिंग (LBF), बोल्डरपुश (BoulderPush), ग्रिडवर्ल्ड (GridWorld) और विभिन्न मैट्रिक्स गेम्स (2x2 और 3x3) शामिल हैं।

• नमूनाकरण दक्षता (Sampling Efficiency): स्थिर लक्ष्य नीतियों वाले कार्यों में, CoSER मानक ऑन-पॉलिसी सैंपलिंग और MA-PROPS दोनों की तुलना में संयुक्त नमूनाकरण त्रुटि को काफी तेजी से कम करता है। कुछ मामलों में, CoSER 30%–50% कम नमूनों के साथ समान त्रुटि न्यूनीकरण प्राप्त करता है। उल्लेखनीय रूप से, MA-PROPS अक्सर संयुक्त नमूनाकरण त्रुटि को कम करने में पूरी तरह विफल रहता है।
• अभिसरण की विश्वसनीयता: पूर्ण RL प्रशिक्षण (MAPPO को आधार के रूप में उपयोग करते हुए) के दौरान, CoSER बेसलाइन्स की तुलना में एजेंटों के इष्टतम संयुक्त नीति पर अभिसरित होने की संभावना को 10%–20% बढ़ा देता है।
  • कठिन मैट्रिक्स गेम्स (जहाँ मानक विधियाँ अक्सर विफल हो जाती हैं) में, CoSER लगातार इष्टतम नीति पर अभिसरित होने वाला एकमात्र एल्गोरिदम है।
  • GridWorld और BoulderPush जैसे जटिल वातावरण में, CoSER ऑन-पॉलिसी सैंपलिंग की तुलना में सफलता दर में 15–19 प्रतिशत अंक का सुधार करता है।
• MA-PROPS के साथ तुलना: MA-PROPS विश्वसनीयता या संयुक्त नमूनाकरण त्रुटि न्यूनीकरण के मामले में मानक ऑन-पॉलिसी सैंपलिंग की तुलना में सामान्यतः कोई सुधार प्रदान नहीं करता है, जो पुष्टि करता है कि मल्टी-एजेंट सेटिंग के लिए स्वतंत्र अनुकूलनशील नमूनाकरण अपर्याप्त है।

महत्व और दावे

यह शोध पत्र दावा करता है कि प्राथमिक योगदान MARL में उप-इष्टतम अभिसरण के कारणों की समझ में बदलाव है। संघर्षपूर्ण उद्देश्यों या खराब इक्विलिब्रियम सिलेक्शन (जहाँ ग्रेडिएंट्स गलत दिशा में होते हैं) के बजाय, लेखक तर्क देते हैं कि डेटा संग्रह अक्षमता (संयुक्त नमूनाकरण त्रुटि) एक महत्वपूर्ण, पहले से अनदेखा किया गया कारक है।

CoSER का महत्व इसकी क्षमता में निहित है कि यह लर्निंग ऑब्जेक्टिव या ग्रेडिएंट अपडेट नियमों को बदले बिना स्वतंत्र पॉलिसी ग्रेडिएंट एल्गोरिदम की विश्वसनीयता में सुधार करता है। केवल एक केंद्रीकृत व्यवहार नीति के माध्यम से डेटा संग्रह को समन्वित करके, यह विधि सुनिश्चित करती है कि अनुभवजन्य डेटा अपेक्षित संयुक्त वितरण का बेहतर अनुमान लगाता है, जिससे अधिक सटीक ग्रेडिएंट अनुमान और इष्टतम संयुक्त नीतियां खोजने की उच्च संभावना मिलती है। लेखक CoSER को संयुक्त नमूनाकरण त्रुटि को कम करने की दिशा में एक पहला कदम मानते हुए, बहुत बड़ी संख्या में एजेंटों तक स्केल करने की सीमाओं को स्वीकार करते हैं (एक्स्पोनेंशियल ग्रोथ के कारण)।