तकनीकी सारांश: दो-खिलाड़ी खेलों में स्थिर और कुशल सुदृढीकरण शिक्षण के लिए नियमितीकृत नीति अनुकूलन का पुनरावलोकन

समस्या विवरण

दो-खिलाड़ी शून्य-योग (zero-sum) खेल, विशेष रूप से बोर्ड गेम, सुदृढीकरण शिक्षण (RL) के लिए पारंपरिक बेंचमार्क रहे हैं। हालांकि अल्फाजीरो (AlphaZero) जैसे खोज-आधारित (search-based) तरीकों ने लुक-अहेड सर्च (जैसे मोंटे-कार्लो ट्री सर्च, MCTS) के साथ डीप न्यूरल नेटवर्क को जोड़कर अलौकिक प्रदर्शन हासिल किया है, लेकिन वे भारी कम्प्यूटेशनल लागत वहन करते हैं। उदाहरण के लिए, अल्फाजीरो को प्रशिक्षित करने के लिए कथित तौर पर 10 GPU-वर्षों से अधिक की आवश्यकता होती है। यह संसाधन-गहनता पुनरुत्पादकता और संसाधन-सीमित वातावरणों में व्यावहारिक अनुप्रयोग में बाधा डालती है।

यद्यपि हाल के अध्ययनों ने ट्री डेप्थ या रोलआउट काउंट को सीमित करके खोज-आधारित विधियों के कम्प्यूटेशनल बोझ को कम करने का प्रयास किया है, वे फिर भी मौलिक रूप से लुक-अहेड सर्च पर निर्भर करते हैं। इसके विपरीत, मॉडल-मुक्त (model-free) RL विधियां, जो रोबोटिक्स और निरंतर नियंत्रण में कुशल हैं, मल्टी-एजेंट सेल्फ-प्ले सेटिंग्स में कथित अस्थिरता के कारण बोर्ड गेम में पूरी तरह से खोजी नहीं गई हैं। इस कार्य द्वारा संबोधित केंद्रीय प्रश्न यह है: क्या एक शुद्ध मॉडल-मुक्त RL एल्गोरिदम, खोज-आधारित समकक्षों की तुलना में काफी कम प्रशिक्षण संसाधनों के साथ, दो-खिलाड़ी खेलों में स्थिर और प्रतिस्पर्धी शिक्षण प्राप्त कर सकता है?

कार्यप्रणाली

लेखक KLENT (KL और एंट्रॉपी नियमितीकृत नीति अनुकूलन) प्रस्तावित करते हैं, जो एक मॉडल-मुक्त RL एल्गोरिदम है जो प्रशिक्षण के दौरान MCTS की आवश्यकता को समाप्त करता है। यह दृष्टिकोण दो विशिष्ट घटकों: रिवर्स कुलबैक-लीब्लर (KL) नियमितीकरण और एंट्रॉपी नियमितीकरण के साथ नियमितीकृत नीति अनुकूलन के पुनरावलोकन पर आधारित है।

1. नीति अपडेट नियम

KLENT का मूल एक नियमितीकृत नीति अनुकूलन समस्या है जिसे इस प्रकार परिभाषित किया गया है:
$$\max_{\pi'} \mathbb{E}_{A \sim \pi'(\cdot|s)}[Q^\pi(s, A)] - \beta D_{KL}(\pi'(\cdot|s) \parallel \pi(\cdot|s)) + \alpha H(\pi'(\cdot|s))$$
जहाँ:

• $\pi'$ नई नीति है, और $\pi$ पूर्ववर्ती (prior) नीति है।
• $D_{KL}(\pi' \parallel \pi)$ रिवर्स KL डाइवर्जेंस है, जो सेल्फ-प्ले में नॉन-स्टेशनैरिटी को संभालने के लिए क्रमिक नीति अपडेट को बढ़ावा देता है।
• $H(\pi')$ एंट्रॉपी है, जो एजेंट की अपनी नीति के प्रति ओवरफिटिंग को रोकने के लिए निरंतर अन्वेषण (exploration) को प्रोत्साहित करती है।
• $\alpha$ और $\beta$ गैर-ऋणात्मक हाइपरपैरामीटर हैं।

बोर्ड गेम के सीमित एक्शन स्पेस को देखते हुए, इष्टतम नीति $\pi'$ एक क्लोज्ड-फॉर्म एनालिटिकल समाधान प्रदान करती है:
$$\pi'(a|s) = \frac{1}{Z(s)} \exp\left( \frac{Q^\pi(s, a) + \beta \log \pi(a|s)}{\alpha + \beta} \right)$$
KLENT में, एक न्यूरल नेटवर्क $\pi_\theta$ को इस एनालिटिकल रूप से व्युत्पन्न लक्ष्य $\pi'$ और अपने आउटपुट के बीच क्रॉस-एन्ट्रॉपी को कम करने के लिए प्रशिक्षित किया जाता है।

2. वैल्यू फंक्शन लर्निंग

उन विधियों के विपरीत जो MCTS के माध्यम से एक्शन वैल्यू का अनुमान लगाती हैं, KLENT सीधे एक न्यूरल नेटवर्क का उपयोग करके एक्शन-वैल्यू फंक्शन $Q^\pi(s, a)$ को पैरामीटराइज़ करता है। लर्निंग को स्थिर करने और बायस-वेरिएंस ट्रेड-ऑफ को प्रबंधित करने के लिए, एल्गोरिदम मानक मोंटे कार्लो रिटर्न्स ($\lambda=1$) के बजाय वैल्यू फंक्शन के लिए लर्निंग टारगेट के रूप में $\lambda$-रिटर्न्स ($G^\lambda$) का उपयोग करता है। प्रारंभिक प्रयोगों ने संकेत दिया कि एक मध्यवर्ती $\lambda \in (0, 1)$ $\lambda=1$ की तुलना में स्क्वेर्ड बायस और वेरिएंस के योग को बेहतर ढंग से कम करता है।

3. एल्गोरिदम संरचना

KLENT एक सेल्फ-प्ले चरण (ऑन-पॉलिसी डेटा एकत्र करना) और एक फिटिंग चरण (नेटवर्क पैरामीटर अपडेट करना) के बीच बारी-बारी से चलता है। लॉस फंक्शन नीति और एक्शन-वैल्यू नेटवर्क दोनों को एक साथ ऑप्टिमाइज़ करता है:
$$L(\theta) = \mathbb{E}_D \left[ -\sum_{a \in A} \pi'(a|S) \log \pi_\theta(a|S) + (Q_\theta(S, A) - G^\lambda)^2 \right]$$
महत्वपूर्ण रूप से, KLENT प्रशिक्षण के दौरान किसी भी ट्री सर्च की आवश्यकता नहीं रखता है, यह केवल न्यूरल नेटवर्क के अनुमानों और एनालिटिकल नीति अपडेट पर निर्भर करता है।

मुख्य योगदान

यह शोध तीन प्राथमिक योगदान देता है, जो पूरी तरह से नए एल्गोरिदम बनाने के बजाय इस विशिष्ट नियमितीकरण संयोजन के सैद्धांतिक और अनुभवजन्य लक्षण वर्णन पर ध्यान केंद्रित करता है:

1. एल्गोरिदम फॉर्मूलेशन: लेखक रिवर्स-KL और एंट्रॉपी नियमितीकरण के संयोजन पर आधारित एक व्यावहारिक मॉडल-मुक्त RL एल्गोरिदम (KLENT) व्युत्पन्न करते हैं, जो एक क्लोज्ड-फॉर्म नीति अपडेट नियम प्रदान करता है।
2. सैद्धांतिक गारंटी: दो सेटिंग्स में नीति अपडेट नियम के लिए नवीन अभिसरण (convergence) गारंटी प्रदान की गई है:
   • नॉर्मल-फॉर्म गेम्स: पेपर $\alpha(\alpha + 2\beta) > \|R\|_2^2/4$ की स्थिति के तहत एक अद्वितीय फिक्स्ड पॉइंट तक लोकल लीनियर कन्वर्जेंस को सिद्ध करता है। यह स्थिति पिछले परिणामों (जैसे, Sokota et al., 2022) की तुलना में नियमितीकरण गुणांकों की एक विस्तृत श्रृंखला को कवर करती है।
   • फाइनाइट-लेंथ गेम्स: लेखक सिद्ध करते हैं कि KLENT नीति, एक परिमित गेम होराइजन को मानते हुए, बैकवर्ड इंडक्शन के माध्यम से एक एंट्रॉपी-नियमित इष्टतम नीति (क्वांटल रिस्पॉन्स इक्विलिब्रियम) की ओर अभिसरित होती है।
3. अनुभवजन्य सत्यापन: पांच बोर्ड गेम्स (Animal Shogi, Gardner Chess, 9x9 Go, Hex, और Othello) पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि KLENT मौजूदा खोज-आधारित और मॉडल-मुक्त बेसलाइन की तुलना में काफी उच्च प्रशिक्षण दक्षता प्राप्त करता है।

परिणाम

प्रशिक्षण दक्षता

प्रयोग दर्शाते हैं कि KLENT सभी परीक्षण किए गए वातावरण में मौजूदा विधियों की तुलना में अधिक कुशलता से सीखता है।

• प्रदर्शन लाभ: औसतन, KLENT ने Gumbel AlphaZero (अध्ययन में सबसे मजबूत खोज-आधारित बेसलाइन) की तुलना में 4 गुना अधिक प्रशिक्षण दक्षता प्राप्त की। उदाहरण के लिए, Gumbel AlphaZero को 50% जीत दर तक पहुँचने के लिए 300 मिलियन सिम्युलेटर मूल्यांकन की आवश्यकता थी, जबकि KLENT को केवल 75 मिलियन की आवश्यकता थी।
• स्केलेबिलिटी: दक्षता का अंतर उन खेलों में बढ़ जाता है जहाँ ब्रांचिंग फैक्टर अधिक होता है (जैसे, 9x9 Go, Hex), जहाँ खोज-आधारित विधियों को पर्याप्त सिम्युलेटर बजट की आवश्यकता होती है। KLENT का लाभ लुक-अहेड सर्च से बचने और स्थिर $\lambda$-रिटर्न्स का उपयोग करने के कारण है।
• बड़े पैमाने पर प्रदर्शन: 19x19 Go में, बढ़ी हुई जटिलता के बावजूद, KLENT ने AlphaZero के साथ प्रतिस्पर्धी लर्निंग एफिशिएंसी बनाए रखी।

एब्लेशन स्टडीज (Ablation Studies)

अध्ययन तीन प्रमुख तकनीकों की आवश्यकता को प्रमाणित करता है:

• रिवर्स-KL नियमितीकरण: इसे हटाने ( $\beta=0$ सेट करने) से नीति में अचानक बदलाव आते हैं और प्रदर्शन गिर जाता है, विशेष रूप से 9x9 Go में।
• एंट्रॉपी नियमितीकरण: इसे हटाने ( $\alpha=0$ सेट करने) से नीति अत्यधिक डिटर्मिनिस्टिक हो जाती है (एंट्रॉपी शून्य के करीब गिर जाती है), जिससे अस्थिर लर्निंग और प्रदर्शन में गिरावट आती है।
• $\lambda$-रिटर्न्स: $\lambda$-रिटर्न्स को 1-स्टेप बैकअप या मोंटे कार्लो रिटर्न्स से बदलने के परिणामस्वरूप प्रदर्शन में गिरावट आई, जो बायस और वेरिएंस को संतुलित करने के महत्व की पुष्टि करता है।

टेस्ट-टाइम प्रदर्शन

टेस्ट-टाइम MCTS (800 रोलआउट्स) से लैस होने पर, KLENT एजेंटों ने 9x9 Go और 19x19 Go पर हेड-टू-हेड मैचों में बेसलाइन के मुकाबले उच्च जीत दर हासिल की, और AlphaZero तथा Gumbel AlphaZero को पीछे छोड़ दिया।

महत्व और दावे

लेखक इस कार्य को इस रूप में प्रस्तुत करते हैं कि मौजूदा नियमितीकरण तकनीकों का उचित पुनरावलोकन उन डोमेन में भी स्थिर और कुशल शिक्षण की ओर ले जा सकता है, जिन पर लंबे समय से खोज-आधारित विधियों का प्रभुत्व रहा है।

• मामूली दावे: पेपर स्पष्ट रूप से कहता है कि इसका मुख्य योगदान कोई नया एल्गोरिदम घटक नहीं बल्कि दो-खिलाड़ी खेलों में नियमितीकृत नीति अनुकूलन का एक नया सैद्धांतिक और अनुभवजन्य लक्षण वर्णन है।
• सीमाएं: लेखक स्वीकार करते हैं कि जबकि KLENT उच्च दक्षता प्राप्त करता है, यह आवश्यक रूप से असीमित कम्प्यूटेशनल संसाधनों के उपलब्ध होने पर श्रेष्ठ एसिम्प्टोटिक (asymptotic) प्रदर्शन की गारंटी नहीं देता है। वे यह भी स्पष्ट करते कि जब विशाल संसाधन (जैसे, हजारों GPU) सुलभ हों, तो AlphaZero जैसी खोज-आधारित दृष्टिकोणों की प्रभावशीलता को खारिज नहीं करते हैं।
• व्यापक प्रभाव: लेखक सुझाव देते हैं कि अंतर्निहित धारणा (फाइनाइट-एक्शन MDP) वास्तविक दुनिया की समस्याओं जैसे कि डिस्क्रीट ऑप्टिमाइजेशन, एल्गोरिथमिक डिस्कवरी और गणितीय प्रमाणों पर लागू होती है, जहाँ वर्तमान में खोज-आधारित विधियाँ प्रचलित हैं। वे आशा करते हैं कि यह कार्य ऐसे कुशल, मॉडल-मुक्त दृष्टिकोणों को अन्य क्षेत्रों में विस्तारित करने के लिए प्रोत्साहित करेगा।

संक्षेप में, KLENT बोर्ड गेम्स के लिए खोज-आधारित RL का एक कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है, जो रिवर्स-KL और एंट्रॉपी नियमितीकरण की स्थिरता का लाभ उठाकर प्रशिक्षण संसाधनों के एक अंश के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।