Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
यह शोध पत्र एक क्वालिटी-डाइवर्सिटी ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तावित करता है जो मल्टीमॉडल प्लानिंग पॉलिसियों के एक विविध आर्काइव की खोज और रखरखाव करता है, जिससे एम्बोडीड एजेंटों को लॉन्ग-होरिज़न टास्क सफलता और दक्षता में सुधार करने के लिए निष्पादन स्टॉल (execution stalls) का पता चलते ही रणनीतियों को अनुकूल रूप से बदलने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक विशाल, बिखरे हुए घर में किसी विशिष्ट वस्तु को खोजने और उसे अपने मित्र तक पहुँचाने के लिए नेविगेट करना सिखा रहे हैं। आप रोबोट को निर्देशों का एक सेट देते हैं, जैसे कि एक रेसिपी, जो उसे बताती है कि उसे कैसे चारों ओर देखना है, यह तय करना है कि आगे क्या करना है और अपने हाथों को कैसे हिलाना है। यह एम्बोडीड एआई (Embodied AI) की दुनिया है, जहाँ कंप्यूटर प्रोग्राम केवल सोचते नहीं हैं; वे एक भौतिक या सिम्युलेटेड वातावरण के भीतर कार्य करते हैं। आमतौर पर, हम लार्ज लैंग्वेज मॉडल्स (LLMs) पर निर्भर करते हैं—जो बहुत स्मार्ट कंप्यूटर दिमाग हैं जिन्हें ढेर सारे टेक्स्ट पर प्रशिक्षित किया गया है—ताकि वे रोबोट के मस्तिष्क के रूप में कार्य कर सकें। ये मॉडल यह समझने में बेहतरीन होते हैं कि जो कुछ भी वे देखते और पढ़ते हैं, उसके आधार पर आगे क्या करना है। हालाँकि, एक समस्या है: यदि रोबोट एक लूप में फंस जाता है, जैसे कि एक ऐसे दरवाजे को खोलना जो पहले से ही खुला है, या गोल-गोल घूमना, तो वह अक्सर वही चीज़ बार-बार करता रहता है, इस उम्मीद में कि परिणाम अलग होगा। यह बिल्कुल वैसा ही है जैसे कोई व्यक्ति, जब रास्ता भटक जाता है, तो उसी दिशा में चलता रहता है क्योंकि वही एकमात्र तरीका है जिसे वह जानता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम इन डिजिटल खोजकर्ताओं को यह कैसे सिखाएं कि वे यह महसूस कर सकें कि उनकी वर्तमान रणनीति काम नहीं कर रही है और उन्हें सोचने का एक पूरी तरह से अलग तरीका आज़माना चाहिए?
यह शोध पत्र, जिसका शीर्षक "डिस्कवरिंग डाइवर्स प्लानिंग पॉलिसीज फॉर मल्टीमॉडल एम्बोडीड एजेंट्स विद क्वालिटी-डाइवर्सिटी ऑप्टिमाइज़ेशन" है, ठीक इसी समस्या का समाधान करता है। लेखक, जो नानजिंग यूनिवर्सिटी ऑफ इंफॉर्मेशन साइंस एंड टेक्नोलॉजी के एक दल हैं, सुझाव देते हैं कि समाधान रोबोट के एक एकल "सर्वश्रेष्ठ" प्लान को और अधिक स्मार्ट बनाने में नहीं है। इसके बजाय, वे रोब đề सुझाव देते हैं कि रोबोट को चुनने के लिए विभिन्न रणनीतियों से भरा एक बैकपैक दिया जाए। वे क्वालिटी-डाइवर्सिटी (QD) ऑप्टिमाइज़ेशन नामक एक विधि का उपयोग करते हैं, जो केवल एक आदर्श व्यवहार के बजाय कई अलग-अलग प्रकारों के सफल व्यवहारों के लिए एक खजाने की खोज की तरह है।
यह उनका सिस्टम कैसे काम करता है, इसका एक मनोरंजक उदाहरण यहाँ दिया गया है। कल्पना कीजिए कि रोबोट एक हाइकर (पर्वतारोही) है जो एक पैकेज डिलीवर करने के लिए एक पर्वत श्रृंखला को पार करने की कोशिश कर रहा है। अधिकांश रोबोट एक ही हाइकिंग शैली के साथ प्रशिक्षित होते हैं: "हमेशा ऊपर की ओर चलो और सबसे खड़ी ढलान की तलाश करो।" यदि हाइकर को एक चट्टान या दलदल मिलता है, तो वे शायद चट्टान पर चढ़ने की कोशिश करते रहेंगे या दलदल में चलते रहेंगे, जिससे वे फंस जाएंगे और ऊर्जा बर्बाद करेंगे। यह पेपर सुझाव देता है कि एक शैली के बजाय, हमें हाइकिंग शैलियों की एक लाइब्रेरी बनानी चाहिए। कुछ हाइकर "एक्सप्लोरर्स" (खोजकर्ता) हो सकते हैं जो हर कोने की जांच करते हैं; अन्य "डायरेक्ट रनर्स" (सीधे दौड़ने वाले) हो सकते हैं जो लक्ष्य की ओर तेजी से भागते हैं; अन्य "केयरफुल क्लाइंबर्स" (सावधान पर्वतारोही) हो सकते हैं जो हर कदम को परखते हैं।
शोधकर्ताओं ने इस लाइब्रेरी को बनाने और उपयोग करने के लिए एक दो-चरणीय प्रणाली बनाई है:
ऑफलाइन चरण (लाइब्रेरी निर्माण): रोबोट के वास्तविक मिशन पर जाने से पहले, कंप्यूटर हजारों सिमुलेशन चलाता है। यह रोबोट के सोचने के एक बुनियादी "नुस्खे" (recipe) को लेता है और इसके विभिन्न हिस्सों को मिलाना और आपस में बदलना शुरू करता है, जैसे कि एक पागल वैज्ञानिक केक की रेसिपी में सामग्री बदल रहा हो। कुछ रेसिपी रोबोट को बहुत बातूनी और सतर्क (उच्च "इंटरैक्शन इंटेंसिटी") बनाती हैं, जबकि अन्य इसे बहुत केंद्रित और तेज़ (उच्च "गोल-डायरेक्टेडनेस") बनाती हैं। कंप्यूटर इन सभी रेसिपीज़ को एक सिम्युलेटेड दुनिया (विशेष रूप से, थ्रीडीवर्ल्ड - ThreeDWorld नामक एक 3D वातावरण) में टेस्ट करता है। यह केवल एक एकल सर्वश्रेष्ठ रेसिपी को नहीं रखता है; यह हर अलग शैली के लिए सर्वश्रेष्ठ रेसिपी को रखता है। यदि एक "सतर्क" शैली एक विशिष्ट स्थिति में अच्छी तरह काम करती है, तो उसे लाइब्रेरी के एक विशेष स्लॉट में सहेज लिया जाता है। यदि एक "तेज़" शैली किसी अन्य स्थिति में अच्छी तरह काम करती है, तो उसे भी सहेजा जाता है। यह रणनीतियों का एक विविध संग्रह बनाता है, जिसमें से प्रत्येक को उसके व्यवहार के आधार पर टैग किया गया है।
ऑनलाइन चरण (वास्तविक मिशन): अब, रोबोट एक वास्तविक कार्य पर जाता है। वह लाइब्रेरी से एक रणनीति चुनता है और चलना शुरू करता है। सिस्टम में एक "स्टॉल डिटेक्टर" (रुकावट पहचानने वाला) बना हुआ है। कल्पना कीजिए कि एक कोच रोबोट को देख रहा है। यदि रोबोट लक्ष्य के करीब पहुंचे बिना 10 स्टेप्स तक एक ही चीज़ करता रहता है (जैसे कि गोल-गोल घूमना), तो कोच चिल्लाता है, "रुको! यह रणनीति काम नहीं कर रही है!" रोबोट को लगातार विफल होने देने के बजाय, सिस्टम पिछले सुरक्षित क्षण (चेकपॉइंट) पर जाने के लिए रिवाइंड बटन दबाता है। फिर, यह लाइब्रेरी को देखता है और एक ऐसी रणनीति चुनता है जो अभी विफल हुई रणनीति से पूरी तरह से अलग हो। यदि रोबोट बहुत अधिक सतर्क था, तो सिस्टम "डायरेक्ट रनर" शैली में बदल सकता है। यह रोबोट को लूप से बाहर निकलने और तुरंत एक नए दृष्टिकोण को आज़माने की अनुमति देता है।
इसके परिणाम काफी उत्साहजनक रहे। उन परीक्षणों में जहाँ रोबोट को एक सिम्युलेटेड घर में वस्तुएं ले जानी थीं, टीम ने पाया कि उनका "लाइब्रेरी" तरीका एक निश्चित शैली वाले रोबोट या ReAct या Tree-of-Thoughts जैसे अन्य सामान्य तरीकों की तुलना में बहुत बेहतर था। विशेष रूप से, "फूड" (भोजन की वस्तुओं को ले जाना) कार्य पर, उनकी विधि 51% बार सफल रही, जबकि मानक बेसलाइन के लिए यह 33% थी। "स्टफ" (सामान्य वस्तुओं को ले जाना) कार्य पर, उन्होंने 24% बेसलाइन के मुकाबले 43% सफलता हासिल की। इससे भी अधिक प्रभावशाली बात यह है कि उन्होंने यह सब कुछ कम "टोकन" (एक माप कि कंप्यूटर को कितना "सोचना" और बात करनी पड़ी) का उपयोग करके हासिल किया।
शोधकर्ताओं ने इस विचार का परीक्षण एक अलग प्रकार के कार्य पर भी किया: एक विजुअल नेविगेशन गेम जहाँ रोबोट को घर के माध्यम से चलने के लिए वॉयस इंस्ट्रक्शन का पालन करना होता है। भले ही वहां रोबोट कुछ सामान नहीं ले जा रहा था, केवल चल रहा था, उसी "लाइब्रेरी" ट्रिक ने इसे अधिक बार सफल होने में मदद की (सुधार 35.2% से 37.3% हुआ)। यह सुझाव देता है कि विविध रणनीतियों का एक सेट होना एक सामान्य तरीका है जो रोबोट को तब उबरने में मदद करता है जब वे फंस जाते हैं।
लेखक सावधानी बरतते हुए यह स्पष्ट करते हैं कि उन्होंने रोबोट की बुद्धिमत्ता की समस्या को हमेशा के लिए "हल" नहीं किया है। इसके बजाय, उनके प्रयोग सुझाव देते हैं कि विविध पूर्व-निर्मित रणनीतियों का होना वास्तविक दुनिया के कार्यों की अव्यवस्थित और अप्रत्याशित प्रकृति को संभालने का एक शक्तिशाली तरीका है। उनका तर्क है कि वर्तमान रोबोटों की सबसे बड़ी कमजोरी यह नहीं है कि वे सोचने के लिए पर्याप्त स्मार्ट नहीं हैं; बल्कि यह है कि वे बहुत जिद्दी हैं कि जब उनकी वर्तमान योजना काम करना बंद कर देती है, तो वे अपना विचार बदल नहीं पाते। उन्हें अलग-अलग तरीकों के "टूलबॉक्स" देकर, रोबोट मौके पर अनुकूलित हो सकता है, जिससे एक संभावित विफलता को सफल डिलीवरी में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।