: Training Robots to Reason in Natural Language via Reinforcement Learning
यह शोध पत्र का परिचय देता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो ऑफ-द-शेल्फ विजन-लैंग्वेज मॉडल्स को रोबोटिक रीजनर्स में उन्नत करता है जो लो-लेवल मैनिपुलेशन पॉलिसीज़ के लिए मुक्त-रूप प्राकृतिक भाषा मार्गदर्शन उत्पन्न करने में सक्षम हैं, जिससे विशेषज्ञ ट्रेसेस पर मिड-ट्रेनिंग और रूब्रिक-आधारित सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) के संयोजन के माध्यम से लॉन्ग-होरिज़न कार्यों में अन्वेषण और सामान्यीकरण में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से दोहराव के उस्ताद रहे हैं, जो एक ही गति को पूर्ण सटीकता के साथ हजारों बार करने में सक्षम हैं। फिर भी, जब वे किसी नई स्थिति या गलती का सामना करते हैं, तो वे अक्सर लड़खड़ा जाते हैं, क्योंकि उनमें यह समझने की क्षमता नहीं होती कि क्या गलत हुआ। यह सीमा दुनिया को देखने और उसे समझने के बीच के अंतर से उत्पन्न होती है। आधुनिक आर्टिफिशियल इंटेलिजेंस ने दृष्टि (vision) और भाषा दोनों में प्रगति की है, जिससे मशीनें वस्तुओं को पहचान सकती हैं और बोले गए आदेशों का पालन कर सकती हैं। हालांकि, इन क्षमताओं को भौतिक क्रियाओं से इस तरह जोड़ना ताकि लचीली समस्या-समाधान संभव हो सके, एक महत्वपूर्ण चुनौती बनी हुई है। हालिया शोध को प्रेरित करने वाला मुख्य प्रश्न यह है कि क्या रोबोट को हिलने-डुलने से पहले शब्दों में "सोचने" की क्षमता देने से उसे उन जटिल, दीर्घकालिक कार्यों को नेविगेट करने में मदद मिल सकती है जिनमें योजना बनाने, प्रगति को ट्रैक करने और त्रुटियों से उबरने की आवश्यकता होती है।
कार्नेगी मेलन यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने रोबोट को इस तरह की सोच सिखाने के लिए एक नई विधि विकसित की है। उन्होंने एक ऐसा सिस्टम बनाया है जो एक उच्च-स्तरीय आर्टिफिशियल इंटेलिजेंस को प्राकृतिक भाषा तर्क (natural language reasoning) उत्पन्न करने के लिए प्रशिक्षित करता है—जो अनिवार्य रूप से एक निरंतर कमेंट्री है कि रोबोट को आगे क्या करना चाहिए—इससे पहले कि वह एक निचले स्तर के कंट्रोलर को कमांड जारी करे जो वास्तव में रोबोट के हाथों को हिलाता है। शोधकर्ताओं ने पाया कि इस सिस्टम को ये विचार उत्पन्न करने के लिए प्रशिक्षित करने से, रोबोट कठिन हेरफेर (manipulation) कार्यों को हल करने में काफी बेहतर हो गया, जैसे कि ब्लॉकों को विशिष्ट आकृतियों में व्यवस्थित करना या किराने के सामान को बैग में पैक करना। मुख्य खोज यह है कि वास्तविक समय में इन विचारों को उत्पन्न करने की क्रिया, न कि केवल उन्हें एक प्रशिक्षण उपकरण के रूप में उपयोग करना, एक प्रकार की मानसिक गणना (mental computation) के रूप में कार्य करती है जो रोबोट को अपने कार्यों को अधिक प्रभावी ढंग से निर्देशित करने में मदद करती है।
शोधकर्ताओं ने इस समस्या के समाधान के लिए रोबोट के मस्तिष्क को दो-भागों वाले सिस्टम के रूप में देखा। एक भाग "रीज़नर" (reasoner) है, जो एक लार्ज लैंग्वेज मॉडल है जो दृश्य और लक्ष्य को देखता है, और दूसरा "डूअर" (doer) है, जो एक पूर्व-प्रशिक्षित पॉलिसी है जो भौतिक गतिविधियों को निष्पादित करती है। उनके प्रयोगों में, रीज़नर को दुनिया की वर्तमान स्थिति, अब तक जो हुआ है उसके इतिहास और अंतिम लक्ष्य को देखने का कार्य दिया गया था, और फिर एक विशिष्ट निर्देश जारी करने से पहले अपनी योजना की एक संक्षिप्त व्याख्या लिखने का काम दिया गया था। उदाहरण के लिए, यदि लक्ष्य ब्लॉकों को एक रेखा में व्यवस्थित करना था, तो रीज़नर पहले यह नोट कर सकता है कि एक हरा ब्लॉक पहले से ही अपनी जगह पर है, यह देख सकता है कि एक स्टार अपनी स्थिति से बाहर है, और फिर रेखा पूरी करने के लिए स्टार को स्थानांतरित करने का निर्णय ले सकता है। यह तर्क लिखने की प्रक्रिया हर बार होती है जब रोबंड एक कदम उठाता है।
इस सिस्टम को सिखाने के लिए, शोधकर्ताओं ने दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया। पहले, उन्होंने सिस्टम को विशेषज्ञों द्वारा अपने विचार प्रक्रियाओं को मौखिक रूप से बताते हुए कार्य हल करने के उदाहरण दिखाए। इस चरण को उन्होंने "मिड-ट्रेनिंग" (mid-training) कहा, जिसने मॉडल को इन भौतिक कार्यों के लिए आवश्यक तर्क की शैली सीखने में मदद की, जैसे कि आंशिक प्रगति को ट्रैक करना या यह नोटिस करना कि योजना कहाँ गलत हो गई है। हालांकि, केवल इन उदाहरणों की नकल करना पर्याप्त नहीं था। इसके बाद शोधकर्ताओं ने सुदृढीकरण लर्निंग (reinforcement learning) से जुड़े दूसरे चरण का उपयोग किया, जो एक ऐसी विधि है जहाँ सिस्टम फीडबैक के आधार पर परीक्षण और त्रुटि (trial and error) से सीखता है। इस चरण में, रोबोट को एक कार्य दिया गया और उसे अपना तर्क और निर्देश उत्पन्न करने के लिए कहा गया। उसे केवल अंतिम परिणाम के लिए ही नहीं, बल्कि इस आधार पर भी इनाम मिला कि क्या उसका उत्पन्न निर्देश एक विशेषज्ञ के निर्देश के इरादे से मेल खाता था। इसने सिस्टम को ऐसे विशाल डेटा का उपयोग करके अपने तर्क कौशल को परिष्कृत करने की अनुमति दी जहाँ केवल अंतिम निर्देश ज्ञात थे, बिना हर एक चाल के लिए विशेषज्ञ विचारों के महंगे उदाहरण एकत्र किए बिना।
इन प्रयोगों के परिणामों को दो अलग-अलग वातावरणों में मापा गया। पहला एक सिम्युलेटेड टेबल था जिसमें रंगीन ब्लॉक्स भरे थे, जहाँ रोबोट को रेखा या वी-शेप (V-shape) जैसी आकृतियाँ बनाने के लिए कहा गया था। दूसरा एक द्वि-हस्त (bimanual) रोबोट का अधिक जटिल सिमुलेशन था जो किराने के सामान को बैग में पैक कर रहा था। दोनों मामलों में, इस तर्क पद्धति से प्रशिक्षित सिस्टम, जिसे शोधकर्ताओं ने R3 नाम दिया, उन सिस्टमों से बेहतर प्रदर्शन कर गया जो केवल बिना सोचे निर्देशों का पालन करने के लिए प्रशिक्षित थे। ब्लॉक व्यवस्था कार्यों पर, तर्क-सक्षम रोबोट ने अनदेखी आकृतियों में सामान्यीकरण (generalize) करने की उल्लेखनीय क्षमता दिखाई, और वहां सफलता प्राप्त की जहाँ अन्य विधियां विफल रहीं। किराने के सामान की पैकिंग के सिमुलेशन में, तर्क करने वाले रोबोट ने कठिन, अनदेखे कार्यों पर लगभग 47.9 प्रतिशत की सफलता दर हासिल की, जबकि बिना सोचे केवल निर्देशों का पालन करने वाले सिस्टम की दर लगभग 38.0 प्रतिशत थी।
महत्वपूर्ण रूप से, शोधकर्ताओं ने जांच की कि क्या सुधार प्रशिक्षण के दौरान बेहतर दृश्य पैटर्न सीखने से आया या स्वयं सोचने की क्रिया से। उन्होंने पाया कि हालांकि प्रशिक्षण ने दृश्य को समझने की रोबोट की क्षमता में सुधार किया, लेकिन वास्तविक लाभ निर्णय के क्षण में होने वाली तर्क प्रक्रिया से आया। जब उन्होंने रोब-ोट को विचार उत्पन्न करने से रोककर केवल कार्य करने के लिए मजबूर किया, तो इसका प्रदर्शन काफी गिर गया। इसके विपरीत, जब उन्होंने रोबोट को लंबे, अधिक विस्तृत विचार उत्पन्न करने के लिए अधिक समय दिया, तो इसकी सफलता दर बढ़ गई, विशेष रूप से कठिन कार्यों पर। यह सुझाव देता है कि भाषा तर्क एक तंत्र के रूप में कार्य करता है जिससे रोबोट कठिन समस्याओं पर अतिरिक्त मानसिक प्रयास कर सकता है, ठीक वैसे ही जैसे कोई इंसान किसी जटिल पहेली को सुलझाने से पहले रुककर सोच सकता है।
अध्ययन ने उन विशिष्ट व्यवहारों को भी उजागर किया जिन्हें तर्क प्रणाली ने अपनाया। रोबोट ने एक कार्य चुनने से पहले विभिन्न संभावित कार्यों की तुलना करना शुरू किया, अनिश्चित होने पर दृश्य का पुन: परीक्षण किया, और जब उसे एहसास हुआ कि पिछला कदम विफल रहा है तो अपनी योजना को समायोजित किया। उसने अपने इंटरैक्शन के इतिहास को ट्रैक करना सीखा, यह याद रखते हुए कि उसने पहले क्या किया है ताकि गलतियों को दोहराने से बचा जा सके। ये व्यवहार स्पष्ट रूप से प्रोग्राम नहीं किए गए थे; ये स्वाभाविक रूप से उभरे क्योंकि सिस्टम ने अपने कार्यों को निर्देशित करने के लिए भाषा का उपयोग करना सीखा। शोधकर्ताओं ने उल्लेख किया कि यह दृष्टिकोण तब भी काम करता है जब रोबोट को दूसरे चरण के प्रशिक्षण के लिए विशेषज्ञ विचारों के स्पष्ट उदाहरण नहीं दिए गए थे, बल्कि यह केवल अंतिम निर्देशों से सही तर्क का अनुमान लगाने की सिस्टम की क्षमता पर निर्भर था।
हालांकि प्रयोग सिम्युलेटेड वातावरण में किए गए थे, निष्कर्ष अधिक अनुकूलन योग्य रोबोट बनाने के लिए एक स्पष्ट मार्ग प्रदान करते हैं। शोधकर्ता सुझाव देते हैं कि इस पद्धति को वास्तविक दुनिया के रोबोटों पर लागू किया जा सकता है ताकि उन्हें भौतिक कार्यों की अनिश्चितता, जैसे कि शोर वाले सेंसर से निपटना या टकराव से उबरना, को संभालने में मदद मिल सके। वे यह भी बताते हैं कि भविष्य का कार्य तर्क और क्रिया भागों को अलग रखने के बजाय उन्हें एक साथ प्रशिक्षित करने की संभावना तलाश सकता है, ताकि अधिक समन्वित व्यवहार बनाया जा सके। फिलहाल के लिए, यह कार्य यह प्रदर्शित करता है कि रोबोट को अपने बारे में बात करने की क्षमता देना केवल एक सैद्धांतिक अभ्यास नहीं है, बल्कि जटिल, दीर्घकालिक समस्याओं को हल करने की उसकी क्षमता में सुधार करने का एक व्यावहारिक तरीका है। सिस्टम को उपयोगी होने के लिए पूर्ण होने की आवश्यकता नहीं है; इसे बस चरणों के बारे में सोचने की आवश्यकता है, और ऐसा करके, यह उस मशीन की तुलना में कहीं अधिक सक्षम हो जाता है जो केवल प्रतिक्रिया करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।