EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games

तकनीकी सारांश: EMAgnet

समस्या विवरण

दो-खिलाड़ी शून्य-योग अपूर्ण-सूचना वाले खेलों (IIGs) को हल करने में हालिया प्रगति ने प्रदर्शित किया है कि नियमितीकृत पॉलिसी ग्रेडिएंट विधियाँ, जैसे कि प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), स्व-खेल (self-play) में उपयोग किए जाने पर विशिष्ट गेम-थ्योरेटिक एल्गोरिदम के बराबर या उनसे बेहतर प्रदर्शन कर सकती हैं। इस ढांचे में एक महत्वपूर्ण डिज़ाइन निर्णय रेगुलराइजेशन लक्ष्य का चयन करना है। यूनिफॉर्म डिस्ट्रीब्यूशन (समान वितरण) एक मानक लक्ष्य के रूप में उभरा है, जिसे एंट्रॉपी बोनस के माध्यम से लागू किया जाता है। हालाँकि, यूनिफॉर्म लक्ष्य रणनीतिक रूप से उदासीन (agnostic) है; यह नीति को सभी क्रियाओं की ओर समान रूप से रेगुलराइज़ करता है, चाहे वे कितनी भी व्यवहार्य क्यों न हों।

बड़े स्ट्रैटेजी स्पेस वाले खेलों में, जिनमें कई सख्त प्रभावी (strictly dominated) रणनीतियाँ (उप-इष्टतम विकल्प) होती हैं, यूनिफॉर्म लक्ष्य अप्रासंगिक रणनीतियों पर अपना रेगुलराइजेशन बजट बर्बाद कर देता है। खेल की जटिलता बढ़ने और रणनीतिक रूप से प्रासंगिक रणनीतियों का अंश घटने के साथ यह सीमा अधिक परिणामी होती जाती है। इसके अलावा, एनेल्ड यूनिफॉर्म रेगुलराइजेशन (annealed uniform regularization) का उपयोग करने वाले मौजूदा दृष्टिकोण एक दुविधा का सामना करते हैं: मजबूत प्रारंभिक रेगुलराइजेशन नीति को प्रभावी (dominated) रणनीतियों की ओर जाने के लिए मजबूर करता है, जबकि कमजोर देर-चरण का रेगुलराइजेशन रणनीतिक मिश्रण (strategic mixing) को प्रोत्साहित करने के लिए पर्याप्त दबाव देने में विफल रहता है, जो अक्सर नैश इक्विलिब्रियम के बजाय शुद्ध रणनीतियों (pure strategies) पर अभिसरण (convergence) की ओर ले जाता है।

कार्यप्रणाली

लेखक EMAgnet पेश करते हैं, जो एक विधि है जो "मूविंग मैग्नेट" (चलते हुए चुंबक) रेगुलराइजेशन लक्ष्य की अवधारणा को टैबुलर सेटिंग्स से डीप रिइन्फोर्समेंट लर्निंग तक विस्तारित करती है। एक निश्चित यूनिफॉर्म डिस्ट्रीब्यूशन की ओर रेगुलराइज़ करने के बजाय, EMAgnet नीति के अपने नेटवर्क पैरामीटर्स के एक्सपोनेंशियल मूविंग एवरेज (EMA) की ओर रेगुलराइज़ करता है।

मुख्य तंत्र

यह विधि सममित स्व-खेल (symmetric self-play) में PPO के आधार पर निर्मित है। मानक PPO ऑब्जेक्टिव को एक क्लैब-लीबर डाइवर्जेंस (KL divergence) टर्म के साथ बढ़ाया जाता है जो वर्तमान नीति मापदंडों ($\theta$) को एक "मैग्नेट" नीति ($\theta_{mag}$) की ओर खींचता है:

$$L_{PPO-EM}(\theta) = L_{PPO}(\theta) + \lambda_{KL} \mathbb{E}_{z \sim \mathcal{T}} \left[ D_{KL}(\pi_{\theta_{mag}}(\cdot | z) \parallel \pi_{\theta}(\cdot | z)) \right]$$

मैग्नेट मापदंडों को प्रत्येक PPO स्टेप के बाद पैरामीटर स्पेस में अंकगणितीय औसत (arithmetic average) का उपयोग करके अपडेट किया जाता है:
$$\theta_{mag} \leftarrow (1 - \tau) \theta_{mag} + \tau \theta$$
जहाँ $\tau \in (0, 1]$ स्टेप साइज है। मैग्नेट को नीति के समान रैंडम वेट्स के साथ इनिशियलाइज़ किया जाता है।

अनुकूलन गुण (Adaptive Properties)

मुख्य नवाचार लक्ष्य की अनुकूलन प्रकृति है:

1. खराब रणनीतियों को भूलना (Forgetting Bad Strategies): जैसे-जैसे नीति सख्त प्रभावी रणनीतियों से बचने के लिए सीखती है, EMA मैग्नेट धीरे-धीरे उन रणनीतियों की ओर रेगुलराइजेशन करना बंद कर देता है क्योंकि नीति के वेट अब उन क्रियाओं का समर्थन नहीं करते हैं।
2. अच्छी रणनीतियों को याद रखना (Remembering Good Strategies): EMA स्वाभाविक रूप से स्व-खेल चक्रण के दौरान सामना की गई रणनीतियों के एक स्मूथ मिश्रण को संचित करता है। यह नीति को रणनीतिक रूप से प्रासंगिक विकल्पों पर कवरेज बनाए रखने के लिए प्रोत्साहित करता है।
3. स्थिर शक्ति (Constant Strength): एनेल्ड यूनिफॉर्म रेगुलराइजेशन के विपरीत, KL रेगुलराइजेशन स्ट्रेंथ ($\lambda_{KL}$) स्थिर रहती है, लेकिन लक्ष्य विकसित होता है। यह उस "दुविधा" से बचाता है जहाँ मजबूत रेगुलराइजेशन प्रभावी रणनीतियों की खोज के लिए मजबूर करता है या कमजोर रेगुलराइजेशन शुद्ध रणनीतियों पर पतन को रोकने में विफल रहता है।

प्रमुख योगदान

1. एल्गोरिद्मिक विस्तार: पेपर टैबुलर मूविंग मैग्नेट अवधारणा (जिसे सोकोटा एट अल. द्वारा पहले खोजा गया था) को नीति वेट के पैरामीटर-स्पेस EMA के रूप में कार्यान्वित करके डीप RL तक विस्तारित करता है।
2. अनुकूलन योग्य रेगुलराइजेशन: विधि एक अनुकूलन योग्य रेगुलराइजेशन लक्ष्य प्रदान करती है जो एजेंट की बेहतर होती रणनीति के साथ विकसित होता है, जो यूनिफॉर्म डिस्ट्रीब्यूशन जैसे निश्चित लक्ष्यों से भिन्न है।
3. अनुभवजन्य मूल्यांकन: लेखक तीन श्रेणियों के खेलों में PPO-EMAg का PPO स्व-खेल के साथ मूल्यांकन करते हैं (यूनिफॉर्म मैग्नेट के साथ, जिसमें लीनियर और पावर-लॉ एनिलिंग शेड्यूल्स शामिल हैं):
   • मानक बेंचमार्क (Biased RPS, Goofspiel-4, Kuhn Poker)।
   • एक एकल सख्त प्रभावी "सरेंडर" (forfeit) एक्शन के साथ संशोधित बेंचमार्क (FF वेरिएंट)।
   • ग्रिडवर्ल्ड नेविगेशन कार्यों के माध्यम से अधिकांश रणनीति स्पेस के प्रभावी होने वाले संशोधित बेंचमार्क (Control वेरिएंट)।

परिणाम

मूल्यांकन दर्शाता है कि PPO-EMAg सख्त प्रभावी रणनीतियों वाले वातावरण में यूनिफॉर्म बेसलाइन्स की तुलना में कम एक्सप्लोिटेबिलिटी (exploitability) प्राप्त करता है, जबकि मानक बेंचमार्क में प्रतिस्पर्धी बना रहता है।

• मानक खेल: Biased RPS, Goofspiel-4, और Kuhn Poker में, PPO-EMAg बेसलाइन्स के साथ प्रतिस्पर्धी है, जिसमें EMA मैग्नेट पॉलिसी अक्सर सबसे कम अंतिम एक्सप्लोिटेबिलिटी प्राप्त करती है।
• सरेंडर (FF) गेम्स: एक सख्त प्रभावी सरेंडर एक्शन के साथ बढ़े हुए खेलों में, PPO-EMAg यूनिफॉर्म बेसलाइन्स से काफी बेहतर प्रदर्शन करता है। यूनिफॉर्म मैग्नेट पूरे प्रशिक्षण के दौरान सरेंडर एक्शन की ओर रेगुलराइजेशन करना जारी रखता है, जबकि EMA मैग्नेट इसे कम करने के लिए अनुकूलित होता है क्योंकि नीति इसे टालना सीख जाती है।
• कंट्रोल गेम्स: उन वातावरणों में जहाँ अधिकांश रणनीतियाँ (नेविगेशन विफलताओं के कारण) सख्त प्रभावी हैं, PPO-EMAg बेहतर प्रदर्शन और काफी तेज़ अभिसरण दिखाता है।
  • Control Biased RPS में, यूनिफॉर्म लीनियर एनिलिंग लगभग 7 मिलियन स्टेप्स तक सीखने में विफल रहता है, जबकि PPO-EMAg 2 मिलियन स्टेप्स तक अभिसरित हो जाता है।
  • Control Goofspiel में, यूनिफॉर्म लीनियर एनिलिंग 6 मिलियन स्टेप्स तक मुश्किल से सुधार करता है, जबकि PPO-EMAg बहुत पहले ही कम एक्सप्लोिटेबिलिटी तक पहुँच जाता है।
• ट्रैजेक्टरी विश्लेषण: स्ट्रैटेजी सिम्प्लेक्स में पॉलिसी ट्रैजेक्टरीज के विज़ुअलाइज़ेशन से पता चलता है कि यूनिफॉर्म एनिलिंग नीतियों को जल्दी में प्रभावी रणनीतियों पर फँसा देता है या बाद में शुद्ध रणनीतियों पर पतन (collapse) का कारण बनता है। PPO-EMAg प्रभावी क्रियाओं पर द्रव्यमान (mass) को धीरे-धीरे कम करते हुए और मिश्रण दबाव (mixing pressure) बनाए रखते हुए इससे बचता है, जिससे नीति नैश इक्विलिब्रियम के पास चक्रित (cycle) होने की अनुमति मिलती है।

महत्व और दावे

पेपर का दावा है कि EMAgnet एक सरल और प्रभावी तंत्र प्रदान करता है जो बड़े खेलों में एजेंट की विकसित होती रणनीति के अनुसार रेगुलराइजेशन लक्ष्यों को अनुकूलित करता है। नीति के अपने वेट के पैरामीटर-स्पेस EMA की ओर रेगुलराइज़ करके, यह विधि सख्त प्रभावी रणनीतियों के उच्च घनत्व वाले खेलों में यूनिफॉर्म रेगुलराइजेशन की खामियों से बचती है।

लेखक तर्क देते हैं कि जैसे-जैसे खेल जटिल होते जाते हैं, रणनीति स्पेस का वह हिस्सा जो रणनीतिक रूप से प्रासंगिक है, कम होता जाता है। ऐसे परिदृश्यों में, उप-इष्टतम विकल्पों को रेगुलराइजेशन बजट आवंटित करना बढ़ता हुआ खर्च है। EMAgnet इसे खराब रणनीतियों को "भूलकर" और अच्छी रणनीतियों को "याद रखकर" संबोधित करता है, जिसके लिए मानक PPO लूप के अतिरिक्त केवल एक EMA अपडेट की आवश्यकता होती है। पेपर निष्कर्ष निकालता है कि जबकि PPO-EMAg मानक बेंचमार्क पर प्रतिस्पर्धी है, इसका प्राथमिक लाभ उन खेलों में है जहाँ प्रभावी रणनीतियों का घनत्व अधिक है, जहाँ यह एनेल्ड यूनिफॉर्म रेगुलराइजेशन की तुलना में तेज़ अभिसरण और कम अंतिम एक्सप्लोिटेबिलिटी सक्षम करता है।