The challenge of hidden gifts in multi-agent reinforcement learning
यह शोध पत्र मल्टी-एजेंट सुदृढीकरण शिक्षण (multi-agent reinforcement learning) में "छिपे हुए उपहारों" (hidden gifts) की चुनौती की जांच करता है, यह प्रदर्शित करते हुए कि मानक एल्गोरिदम तब सामूहिक पुरस्कार प्राप्त करने में विफल रहते हैं जब लाभकारी क्रियाएं अदृश्य होती हैं, लेकिन क्रिया इतिहास और विकेंद्रीकृत एक्टर-क्रिटिक एजेंटों में एक नवीन विचरण-न्यूनीकरण सुधार पद (variance-reducing correction term) को शामिल करके प्रदर्शन में महत्वपूर्ण सुधार किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ रोबोटों का एक समूह मिलकर काम करना सीख रहा है, लेकिन वे एक-दूसरे से बात नहीं कर सकते, और वे एक-दूसरे के कुछ न देखने पर यह भी नहीं देख सकते कि उनके साथी क्या कर रहे हैं। यह मल्टी-एजेंट रीइन्फोर्समेंट लर्निंग (MARL) की रोमांचक और उलझी हुई दुनिया है। कंप्यूटर विज्ञान के इस कोने में, हम आर्टिफिशियल इंटेलिजेंस एजेंटों को प्रयास और त्रुटि (trial and error) के माध्यम से सीखना सिखाते हैं, ठीक वैसे ही जैसे एक कुत्ते को इनाम के लिए बैठना सिखाया जाता है। लेकिन यहाँ केवल एक कुत्ता नहीं, बल्कि पूरा झुंड है। यहाँ बड़ी चुनौती क्रेडिट असाइनमेंट (credit assignment) है: यह पता लगाना कि जब टीम सफल होती है या विफल होती है, तो श्रेय (या दोष) किसे मिलना चाहिए। यदि टीम को एक बड़ा इनाम मिलता है, तो क्या यह इसलिए था क्योंकि एजेंट A ने कुछ शानदार किया था, या यह सिर्फ किस्मत थी? और क्या होगा यदि एजेंट A का शानदार कदम एजेंट B के लिए अदृश्य था? यही वह पहेली है जिसे यह शोध पत्र हल करता है: आप एक टीम को सहयोग करना कैसे सिखा सकते हैं जब उनमें से एक द्वारा किया गया सबसे सहायक कार्य दूसरों के लिए पूरी तरह से छिपा हुआ हो?
इस शोध पत्र के लेखक, डेन मालेंट और ब्लेक ए. रिचर्ड्स ने इस विशिष्ट समस्या का परीक्षण करने के लिए एक डिजिटल खेल मैदान बनाने का निर्णय लिया। वे इसे मैनिटोकन टास्क (Manitokan task) कहते हैं, जो एक पुरानी स्वदेशी परंपरा से प्रेरित है जहाँ लोग बिना कुछ कहे दूसरों के लिए सामान छोड़ देते थे ताकि दूसरे उसे ढूंढ सकें। उनके खेल में, दो एजेंट एक ग्रिड वर्ल्ड में फंसे हुए हैं। प्रत्येक के पास एक बंद दरवाजा है और उसके पीछे एक छोटा सा इनाम इंतज़ार कर रहा है। इसके अलावा, एक बहुत बड़ा इनाम है यदि दोनों दरवाजे खुल जाते हैं। लेकिन यहाँ एक पेच है: दोनों दरवाजों के लिए केवल एक ही चाबी है।
जीतने के लिए, पहले एजेंट को चाबी ढूंढनी होगी, उसका उपयोग अपने दरवाजे को खोलने के लिए करना होगा, और फिर—महत्वपूर्ण रूप से—उस चाबी को छोड़ना (drop) होगा ताकि दूसरा एजेंट उसे उठा सके और अपना दरवाजा खोल सके। लेकिन दूसरा एजेंट पहले एजेंट को चाबी छोड़ते हुए नहीं देखता है। उन्हें बस ज़मीन पर चाबी अचानक मिलती हुई दिखती है। पहले एजेंट द्वारा चाबी छोड़ने का कार्य एक "छिपा हुआ उपहार" (hidden gift) है। यह एक मौन, अदृश्य उपकार है।
शोधकर्ताओं ने एक विशाल प्रयोग चलाया, जिसमें उन्होंने इस सरल खेल के खिलाफ सबसे स्मार्ट, आधुनिक AI एल्गोरिदम को उतारा। उन्होंने सब कुछ आज़माया: जटिल प्रणालियाँ जो यह अनुमान लगाने की कोशिश करती हैं कि दूसरा एजेंट क्या सोच रहा है, वे तरीके जो वैल्यू अपडेट साझा करते हैं, और यहाँ तक कि मेमोरी वाले एजेंट भी। परिणाम क्या रहा? लगभग सभी विफल रहे। AI एजेंट चाबी पकड़ना और अपने दरवाजे खोलना तो सीख गए, लेकिन वे चाबी को अपने साथी के लिए छोड़ना लगभग कभी नहीं सीख पाए। वास्तव में, कई एजेंटों ने चाकी को जमा करने (hoard) या उसे पूरी तरह से अनदेखा करने का सीखा, जिससे उनका प्रदर्शन यादृच्छिक (random) क्रियाएं करने की तुलना में भी खराब रहा। "छिपा हुआ उपहार" उनके लिए बहुत भ्रमित करने वाला था; दूसरे एजेंट को चाबी छोड़ते हुए देखे बिना, वे यह समझ नहीं पाए कि चाबी छोड़ना सही कदम था।
हालाँकि, कहानी विफलता पर समाप्त नहीं होती है। लेखकों ने पाया कि यदि वे एजेंटों को थोड़ी सी अधिक जानकारी देते—विशेष रूप से, अपने पिछले कार्य (last action) की स्मृति—तो बुनियादी लर्निंग एल्गोरिदम (जिन्हें पॉलिसी ग्रेडिएंट एजेंट कहा जाता है) अंततः इस पहेली को हल कर सकते थे। उन्होंने चाबी छोड़ना सीख लिया! लेकिन एक समस्या थी: वे अविश्वसनीय रूप से असंगत थे। एक पल में वे आदर्श साथी थे, और अगले ही पल वे चाबी को जमा कर रहे थे। यह सहयोग का एक उतार-चढ़ाव भरा सफर था।
इस अस्थिरता को ठीक करने के लिए, टीम ने भारी गणित का सहारा लिया। उन्होंने महसूस किया कि इन एजेंटों के सीखने का मानक तरीका पहेली का एक हिस्सा भूल रहा था। क्योंकि दूसरा एजेंट भी सीख रहा है और बदल रहा है, इसलिए चाबी छोड़ने का मूल्य स्थिर नहीं है; यह बदलता रहता है। लेखकों ने एजेंटों के सीखने की प्रक्रिया में जोड़ने के लिए एक नया गणितीय "करेक्शन टर्म" (correction term) निकाला। इसे एक कोच की तरह समझें जो खिलाड़ी को गुप्त रणनीति फुसफुसा रहा है: "याद रखो, तुम्हारा साथी भी सीख रहा है, इसलिए चाबी छोड़ने का तुम्हारा कदम उन्हें सीखने में मदद करता है, जो तुम्हें मदद करने में मदद करता है।"
जब उन्होंने एजेंटों में इस स्व-सीखने-जागरूकता सुधार (self-learning-awareness correction) को जोड़ा, तो परिणाम अद्भुत थे। एजेंटों ने न केवल चाबी छोड़ना सीखा; उन्होंने इसे विश्वसनीयता और निरंतरता के साथ करना सीखा। उन्होंने नायक और स्वार्थी के बीच झूलना बंद कर दिया। दिलचस्प बात यह है कि यह नई विधि उन प्रसिद्ध "लर्निंग-अवेयर" तकनीकों से बेहतर काम करती है जो दूसरे एजेंट के मस्तिष्क में झांकने की कोशिश करती हैं, क्योंकि इस नई विधि को केवल अपने स्वयं के सीखने की प्रक्रिया को समझने की आवश्यकता थी।
संक्षेप में, यह शोध पत्र दिखाता है कि जब सहयोग अदृश्य दयालुता के कार्यों पर निर्भर करता है, तो मानक AI एल्गोरिदम भटक जाते हैं। लेकिन एजेंटों को यह समझने का तरीका देकर कि उनका अपना सीखना टीम के भविष्य को कैसे प्रभावित करता है, हम उन्हें विश्वसनीय, निस्वार्थ साथी बनने के लिए सिखा सकते हैं—भले ही कोई उन्हें उपहार देते हुए न देख रहा हो। यह एक रोबोट के लिए एक छोटा कदम है, लेकिन यह समझने के लिए एक बड़ी छलांग है कि हम ऐसे AI का निर्माण कैसे कर सकते हैं जो वास्तव में एक-दूसरे पर भरोसा और सहयोग कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।