Mastering Baghchal by Self-Play with Deep Reinforcement Learning
यह शोध पत्र स्व-खेल (self-play) के माध्यम से असममित नेपाली बोर्ड गेम बाघचैल (Baghchal) में महारत हासिल करने के लिए चार डीप रिइन्फोर्समेंट लर्निंग एल्गोरिदम (DQN, REINFORCE, PPO, और MuZero) का एक व्यवस्थित मूल्यांकन प्रस्तुत करता है, जिससे यह पता चलता है कि MuZero मॉडल-आधारित योजना (model-based planning) के माध्यम से उच्चतम जीत दर प्राप्त करता है जबकि PPO प्रदर्शन और कम्प्यूटेशनल दक्षता का सबसे व्यावहारिक संतुलन प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दशकों से, आर्टिफिशियल इंटेलिजेंस का क्षेत्र खेलों के प्रति जुनूनी रहा है, जिसने मशीनों को सोचने का तरीका सिखाने के लिए उन्हें एक परीक्षण स्थल के रूप में इस्तेमाल किया है। लक्ष्य केवल शतरंज या गो (Go) में जीतना नहीं है, बल्कि यह समझना है कि एक एजेंट बिना किसी मानव शिक्षक द्वारा नियम बताए, शून्य से जटिल रणनीतियों को कैसे सीख सकता है। यह प्रक्रिया, जिसे 'रिनफोर्समेंट लर्निंग' (reinforcement learning) कहा जाता है, प्रयास और त्रुटि के एक डिजिटल रूप की तरह काम करती है। एक एजेंट खेल खेलता है, एक अच्छे कदम के लिए इनाम प्राप्त करता है या एक बुरे कदम के लिए दंड पाता है, और भविष्य के पुरस्कारों को अधिकतम करने के लिए धीरे-धीरे अपने आंतरिक तर्क को समायोजित करता है। हालांकि इस दृष्टिकोण ने उन सममित (symmetric) खेलों में महारत हासिल कर ली है जहाँ दोनों खिलाड़ियों के पास समान मोहरे और लक्ष्य होते हैं, लेकिन जब खिलाड़ी मौलिक रूप से भिन्न होते हैं, तो इसे बहुत कठिन चुनौती का सामना करना पड़ता है। इन विषम (asymmetric) परिदृश्यों में, एक पक्ष के पास कुछ शक्तिशाली इकाइयाँ हो सकती हैं जबकि दूसरे के पास एक बड़ी, धीमी सेना हो सकती है, जो एक ऐसी पहेली बनाता है जहाँ विजय का मार्ग प्रत्येक खिलाड़ी के लिए पूरी तरह से अलग दिखता है। मशीनें इन असमान खेल के मैदानों में कैसे नेविगेट करती हैं, इसे समझना न केवल बेहतर गेम बॉट्स के लिए, बल्कि ऐसी आर्टिफिशियल इंटेलिजेंस विकसित करने के लिए भी महत्वपूर्ण है जो वास्तविक दुनिया की अव्यवस्थित और असमान सच्चाइयों को संभाल सके।
हाल ही में एक अध्ययन में, नेपाल के काठमांडू विश्वविद्यालय के शोधकर्ताओं ने 'बाघचल' (Baghchal) की ओर ध्यान आकर्षित किया, जो उनके अपने देश का एक पारंपरिक बोर्ड गेम है और इस विषमता को पूरी तरह से दर्शाता है। पांच-बाय-पांच ग्रिड पर खेले जाने वाले इस खेल में चार फुर्तीले बाघों के मुकाबले बीस बकरियाँ होती हैं। बाघ पहले चलते हैं और बकरियों को पकड़ने के लिए उनके ऊपर से कूद सकते हैं, जिनका लक्ष्य जीतने के लिए बोर्ड से पाँच बकरियों को हटाना होता है। बकरियाँ, जिन्हें शुरुआती चरण में एक-एक करके बोर्ड पर रखा जाता है, बाघों को घेरने और उनकी सभी गतिविधियों को रोकने के लिए मिलकर काम करती हैं। यदि बकरियाँ बाघों को इस तरह फँसाने में सफल होती हैं कि वे हिल न सकें, तो बकरियाँ जीत जाती हैं। यह खेल पूर्ण सूचना (perfect information) के साथ खेला जाता है, जिसका अर्थ है कि दोनों पक्ष हर समय पूरे बोर्ड को देख सकते हैं, फिर भी चुनौती बेहद अलग भूमिकाओं में निहित है: बाघों को शिकार करने के लिए आक्रामक, अल्पकालिक रणनीति की आवश्यकता होती है, जबकि बकरियों को एक रक्षात्मक दीवार बनाने के लिए दीर्घकालिक, समन्वित योजना की आवश्यकता होती है। अपनी रणनीतिक गहराई के बावजूद, बाघचल पर आधुनिक आर्टिफिशियल इंटेलिजेंस शोधकर्ताओं का बहुत कम ध्यान गया है, जिन्होंने मुख्य रूप से पश्चिमी या पूर्वी एशियाई खेलों पर ध्यान केंद्रित किया है।
मशीनें इस अनूठी चुनौती को कैसे संभालती हैं, यह जानने के लिए, टीम ने चार अलग-अलग प्रकार के लर्निंग एल्गोरिदम को खेल के दोनों पक्षों को अपने आप के विरुद्ध खेलने के लिए प्रशिक्षित किया। उन्होंने एजेंटों को विशिष्ट रणनीतियों के साथ प्रोग्राम नहीं किया; इसके बजाय, उन्होंने एल्गोरिदम को अपने ही स्वरूपों के खिलाफ हजारों खेल खेलने दिया, और परिणामों से सीखा। शोधकर्ताओं ने विभिन्न शिक्षण शैलियों का परीक्षण किया: एक जिसने विशिष्ट बोर्ड स्थितियों के मूल्य को याद करके सीखा, दूसरा जिसने पूरे गेम अनुक्रमों का अनुमान लगाकर और जाँच करके सीखा, तीसरा जिसने स्थिरता के साथ सीखने का संतुलन बनाया, और चौथा जिसने भविष्य के कदमों की कल्पना करने के लिए खेल का एक आंतरिक मॉडल बनाया। प्रत्येक एल्गोरिदम को बाघ और बकरी दोनों के रूप में खिलाकर, शोधकर्ता यह देख सके कि क्या एक एकल सीखने की विधि दो पूरी तरह से अलग तरीकों के अनुकूल हो सकती है, या क्या वह एक भूमिका में महारत हासिल करने में संघर्ष करेगी और दूसरी में विफल हो जाएगी।
परिणामों ने यह स्पष्ट किया कि ये मशीनें खेलने में कितनी अच्छी तरह से सीखती हैं, इसके लिए एक स्पष्ट पदानुक्रम था। सबसे सफल एल्गोरिदम वह था जिसने खेल का एक आंतरिक मॉडल बनाया, जिससे यह कदम उठाने से पहले भविष्य के परिदृश्यों का अनुकरण कर सका। 'मॉडल-बेस्ड प्लानिंग' (model-based planning) के रूप में ज्ञात इस दृष्टिकोण ने एजेंट को कई कदम आगे सोचने में सक्षम बनाया, जो बकरियों के लिए एक महत्वपूर्ण कौशल है जिन्हें घेराबंदी को सावधानीपूर्वक योजना बनानी होती है। सिमुलेशन में, इस उन्नत एजेंट ने बाघ के रूप में खेलते समय 86 प्रतिशत और बकरी के रूप में खेलते समय 62 प्रतिशत खेल जीते। इसने बलिदान करना सीखा, जैसे कि बाद में एक बेहतर जाल बिछाने के लिए अस्थायी रूप से एक बकरी को भागने देना, और बाघों को रोकने के लिए आवश्यक दीर्घकालिक समन्वय में उत्कृष्ट प्रदर्शन किया। शोधकर्ताओं ने पाया कि आगे की योजना बनाने की क्षमता ही जीतने का सबसे बड़ा कारक था, क्योंकि इसने एजेंट को भविष्य में अपने कार्यों के परिणामों को देखने में सक्षम बनाया।
हालाँकि, इस अध्ययन ने एक व्यावहारिक समझौता (trade-off) भी उजागर किया। जबकि मॉडल-आधारित एजेंट सबसे मजबूत खिलाड़ी था, वह सबसे अधिक मांग वाला भी था, जिसे प्रशिक्षित करने के लिए काफी अधिक कंप्यूटर शक्ति और समय की आवश्यकता थी। अपने शिखर प्रदर्शन तक पहुँचने के लिए इसे निरंतर प्रोसेसिंग के लगभग पच्चीस घंटे लगे, और यह खेल के दौरान निर्णय लेने में भी धीमा था। इसके विपरीत, एक अन्य एल्गोरिदम, जिसने अन्वेषण (exploration) और स्थिरता के बीच संतुलन बनाकर सीखा, एक आकर्षक मध्य मार्ग प्रदान करता है। इसने दोनों पक्षों के लिए मजबूत जीत दर हासिल की—टाइगर के रूप में 73 प्रतिशत और बकरी के रूप में 58 प्रतिशत—लेकिन ऐसा उसने बहुत कम कंप्यूटेशनल प्रयास और आधे से भी कम प्रशिक्षण समय में किया। यह सुझाव देता है कि कई वास्तविक दुनिया के अनुप्रयोगों के लिए जहाँ संसाधन सीमित होते हैं, एक थोड़ा कम शक्तिशाली लेकिन बहुत अधिक कुशल सिस्टम बेहतर विकल्प हो सकता है।
शोधकर्ताओं ने यह भी पता लगाया कि खेल की प्रकृति ने सीखने की प्रक्रिया को कैसे आकार दिया। बाघ की भूमिका सभी एल्गोरिदम के लिए महारत हासिल करना आसान साबित हुई क्योंकि पुरस्कार तत्काल और स्पष्ट थे: एक बकरी को पकड़ने से तुरंत बढ़त मिलती थी। इसने सीखने की प्रक्रिया को स्थिर और तेज़ बना दिया। हालाँकि, बकरी की भूमिका बहुत कठिन थी। बकरियों को पुरस्कार तभी मिलते हैं जब वे बाघों को सफलतापूर्वक घेर लेती हैं, जो प्रारंभिक सेटअप के कई चालों के बाद हो सकता है। इस देरी ने एल्गोरिदम के लिए यह समझना मुश्किल बना दिया कि कौन सी शुरुआती चालें मददगार थीं और कौन सी नहीं। फलस्वरूप, जो एल्गोरिदम तत्काल फीडबैक पर निर्भर थे, वे बकरियों के साथ अधिक संघर्ष करते रहे, और अक्सर बीस टुकड़ों को एक सुसंगत रक्षा में समन्वय करने में विफल रहे। अध्ययन ने दिखाया कि जबकि मशीनें विषम खेल खेलना सीख सकती हैं, भूमिका की कठिनाई इस बात पर निर्भर करती है कि खेल सफलता के लिए कितनी जल्दी फीडबैक प्रदान करता है।
अंततः, यह कार्य प्रदर्शित करता है कि आधुनिक आर्टिफिशियल इंटेलिजेंस मानव निर्देश के बिना जटिल, असमान खेल के मैदानों में नेविगेट करना सीख सकती है। अध्ययन पुष्टि करता है कि आगे की योजना बनाने की क्षमता बाघचल जैसे खेलों में महारत हासिल करने की कुंजी है, जहाँ विजय का मार्ग अगले कदम के तुरंत बाद सोचने की आवश्यकता रखता है। जबकि सबसे शक्तिशाली प्रणालियों को महत्वपूर्ण कंप्यूटिंग संसाधनों की आवश्यकता होती है, निष्कर्ष बताते हैं कि कुशल एल्गोरिदम अभी भी उच्च स्तर का कौशल प्राप्त कर सकते हैं, जिससे उन्नत गेम-प्ले तकनीक सीमित हार्डवेयर वाले वातावरण में भी सुलभ हो जाती है। एक पारंपरिक नेपाली खेल को लागू करके, शोधकर्ताओं ने न केवल आर्टिफिशियल इंटेलिजेंस के विज्ञान को आगे बढ़ाया बल्कि एक सांस्कृतिक विरासत को संरक्षित करने में भी मदद की, यह सिद्ध करते हुए कि प्राचीन रणनीतियाँ आधुनिक मशीनों को सहयोग, रणनीति और आगे सोचने की कला के बारे में मूल्यवान सबक सिखा सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।