Agent-G: Gaussian Guidance for Agentic Reinforcement Learning
Agent-G एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एक ऑनलाइन-अनुमानित गाऊसी वितरण (Gaussian distribution) से नमूने लेकर संकेत-आधारित मार्गदर्शन गहराई (hint-based guidance depth) को अनुकूलित करता है, जिससे यह एजेंटिक कार्यों में मौजूदा नियतात्मक और प्रोबिंग-आधारित विधियों से बेहतर प्रदर्शन करता है और साथ ही गणनात्मक लागतों को काफी कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक कंप्यूटर प्रोग्राम एक जटिल दुनिया में नेविगेट करना सीखने की कोशिश कर रहा है, जैसे कि एक घर में घूमता हुआ रोबोट या एक वेबसाइट पर खरीदारी करता हुआ एक वर्चुअल एजेंट। इन कार्यों के लिए अक्सर निर्णयों की एक लंबी श्रृंखला की आवश्यकता होती है, जहाँ प्रोग्राम को सफल या विफल होने से पहले कई कदम उठाने पड़ सकते हैं। मुख्य समस्या यह है कि प्रोग्राम को केवल अंत में एक संकेत मिलता है कि वह जीता या हारा। यह सीखना अविश्वसनीय रूप से कठिन बना देता है, जैसे कि साइकिल चलाना सीखने की कोशिश करना जहाँ आपको केवल एक मील चलने के बाद "अच्छा काम किया" या "आप गिर गए" बताया जाता है, बिना इस फीडबैक के कि क्या आप बीच में सही ढंग से स्टीयरिंग कर रहे थे। इसे मदद करने के लिए, शोधकर्ताओं ने प्रत्येक प्रयास की शुरुआत में इसे एक "संकेत" देने की कोशिश की है: एक विशेषज्ञ द्वारा ली गई एक आदर्श राह का एक छोटा सा अंश। यह प्रोग्राम को एक शुरुआती बढ़त देता है, उसे फिनिश लाइन के करीब रखता है ताकि वह शेष चरणों से सीख सके। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है कि विशेषज्ञ के पथ का कितना हिस्सा दिखाया जाना चाहिए? बहुत कम दिखाएँ, तो प्रोग्राम अभी भी खोया हुआ रहेगा; बहुत अधिक दिखाएँ, तो वह कुछ भी नया सीखे बिना बस विशेषज्ञ की नकल करने लगेगा।
लंबे समय तक, शोधकर्ताओं ने इस प्रश्न के साथ ऐसा व्यवहार किया जैसे कि हर कार्य के लिए मदद की एक ही आदर्श मात्रा होती है, या उन्होंने प्रत्येक विशिष्ट कार्य के लिए सही मात्रा का अनुमान लगाने के लिए कई महंगी, अतिरिक्त अभ्यास राउंड चलाने की कोशिश की ताकि विभिन्न स्तरों की मदद का परीक्षण किया जा सके। झेजियांग यूनिवर्सिटी और बाइडू की एक टीम द्वारा किए गए एक नए अध्ययन का सुझाव है कि ये दोनों दृष्टिकोण गलत हैं। शोधकर्ताओं ने पाया कि मदद का "स्वीट स्पॉट" (सही बिंदु) एक सटीक बिंदु नहीं है, बल्कि एक सीमा (रेंज) है। किसी भी दिए गए कार्य के लिए, मदद की विभिन्न मात्राओं की एक पट्टी (बैंड) होती है जो अच्छी तरह से काम करती है, और यह पट्टी इस बात पर निर्भर करती है कि कार्य कितना कठिन है। मदद की एक सटीक संख्या निर्धारित करने के बजाय, टीम ने एक ऐसा तरीका विकसित किया जो मदद की सही मात्रा को एक लचीली सीमा के रूप में मानता है जो कंप्यूटर के सीखने के साथ बदलती रहती है। वे अपने सिस्टम को 'एजेंट-जी2' (Agent-G2) कहते हैं।
शोधकर्ताओं ने अपने विचार का परीक्षण दो चुनौतीपूर्ण वातावरणों में किया: एक टेक्स्ट-आधारित दुनिया जहाँ एक एजेंट घरेलू काम जैसे वस्तुओं को उठाना या सफाई करना पूरा करता है, और एक सिम्युलेटेड ऑनलाइन स्टोर जहाँ एजेंट को विशिष्ट वस्तुओं को खोजना और खरीदना होता है। उन्होंने इन एजेंटों के मस्तिष्क के रूप में एक लैंग्वेज मॉडल का उपयोग किया। अपने प्रयोगों में, उन्होंने पाया कि मदद की सबसे प्रभावी मात्रा आदर्श बिंदु के चारों ओर एक 'बेल-शेप्ड कर्व' (घंटी के आकार का वक्र) बनाती है। इसका अर्थ है कि एक कठिन कार्य के लिए, मदद का एक विस्तृत स्तर काम कर सकता है, जबकि एक आसान कार्य के लिए, यह सीमा संकीर्ण हो सकती है। महत्वपूर्ण रूप से, उन्होंने पाया कि किसी कार्य की कठिनाई विशेषज्ञ के पथ की लंबाई से निकटता से जुड़ी हुई है। बीस चरणों वाला कार्य दो चरणों वाले कार्य की तुलना में आम तौर पर कठिन होता है।
समस्या को हल करने के लिए कि सही मदद का स्तर कैसे खोजा जाए और समय बर्बाद न हो, एजेंट-जी2 कार्यों को उनकी लंबाई के आधार पर समूहों में बांटता है और फिर अगले दौर के लिए मदद को समायोजित करने के लिए वर्तमान अभ्यास राउंड के परिणामों का उपयोग करता है। यदि छोटे कार्यों का समूह बहुत आसानी से सफल हो रहा है, तो सिस्टम स्वचालित रूप से उन्हें दी जाने वाली मदद को कम कर देता है। यदि लंबे कार्य विफल हो रहे हैं, तो यह मदद को बढ़ाता है। सिस्टम यह सब एक केंद्र बिंदु और प्रत्येक समूह के लिए एक प्रसार (स्प्रेड) की गणना करके करता है, जो अनिवार्य रूप से यह तय करता है कि सीखने की प्रक्रिया कहाँ होनी चाहिए। फिर यह प्रत्येक नए प्रयास के लिए उस मानचित्र से मदद की एक विशिष्ट मात्रा यादृच्छिक रूप से चुनता है। यह दृष्टिकोण सिस्टम को एक साथ कई सहायक शुरुआती बिंदुओं को खोजने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि आसान और कठिन दोनों कार्यों को बिना अतिरिक्त परीक्षणों के सही तरह का प्रोत्साहन मिले।
परिणाम चौंकाने वाले थे। घरेलू कार्य वातावरण में, नई विधि ने एक छोटे मॉडल के साथ 95.3 प्रतिशत और एक बड़े मॉडल के साथ 98.4 प्रतिशत की सफलता दर हासिल की। इसने संकेतों का उपयोग करने वाले सबसे मजबूत मौजूदा तरीकों और बिना किसी संकेत के सीखने की कोशिश करने वाले तरीकों को भी पीछे छोड़ दिया। सबसे महत्वपूर्ण बात यह है कि नई विधि ने उन पिछले सर्वोत्तम तरीकों की तुलना में बहुत कम कंप्यूटर संसाधनों का उपयोग करके ये परिणाम प्राप्त किए जो प्रत्येक कार्य के लिए सही मदद का स्तर अनुमान लगाने की कोशिश करते थे। पुराने तरीकों को उत्तर खोजने के लिए कई अतिरिक्त अभ्यास राउंड चलाने की आवश्यकता होती थी, जो धीमा और महंगा है। नया सिस्टम उसी डेटा का उपयोग करके ऑन-द-फ्लाई (चलते-चलते) सही सेटिंग्स सीख जाता है जिसे वह पहले से ही एकत्र कर रहा था।
अध्ययन ने यह भी दिखाया कि यह सिस्टम कंप्यूटर मॉडल के विभिन्न आकारों में अच्छी तरह से काम करता है, जो यह सिद्ध करता है कि मदद कैसे दी जाती है यह उतना ही महत्वपूर्ण है जितना कि सीखने वाला मस्तिष्क कितना बड़ा है। वास्तव में, इस स्मार्ट गाइडेंस सिस्टम का उपयोग करने वाला छोटा मॉडल, पुराने और कम परिष्कृत तरीकों का उपयोग करने वाले बहुत बड़े मॉडलों से बेहतर प्रदर्शन करता है। शोधकर्ताओं ने नोट किया कि उनकी विधि के लिए प्रत्येक कार्य के लिए एक आदर्श पथ उपलब्ध होना आवश्यक है। यदि ऐसे आदर्श पथ मौजूद नहीं हैं, तो इस सिस्टम का सीधे उपयोग नहीं किया जा सकता है। हालाँकि, कई वास्तविक दुनिया की समस्याओं के लिए जहाँ विशेषज्ञ सही पथ का प्रदर्शन कर सकते हैं, यह दृष्टिकोण कृत्रिम बुद्धिमत्ता को केवल वही कॉपी करने के बजाय अपनी गलतियों से सीखने में मदद करने का एक शक्तिशाली तरीका प्रदान करता है। मदद की मात्रा को एक निश्चित संख्या के बजाय एक लचीली सीमा के रूप में मानकर, शोधकर्ताओं ने मशीनों को जटिल, दीर्घकालिक लक्ष्यों में महारत हासिल करने में मदद करने का एक अधिक कुशल और मजबूत तरीका खोजा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।