GlanceWAM: Sparse Test-Time Imagination for World-Action Models
GlanceWAM एक एकल वीडियो DiT के भीतर एसिंक्रोनस, बैकग्राउंड विजुअल इमेजिनेशन को रियल-टाइम कंट्रोल से अलग करके रोबोट लर्निंग में लेटेंसी-सक्सेस ट्रेड-ऑफ को हल करता है, जो RoboCasa और LIBERO बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करते हुए सिंक्रोनस बेसलाइन्स की तुलना में 24 गुना तेजी से निष्पादित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वास्तविक दुनिया में चलने वाले रोबोटों को केवल निर्देशों की सूची से अधिक की आवश्यकता होती; उन्हें यह समझने की आवश्यकता होती है कि उनके कार्यों से उनके आस-पास के दृश्य में क्या परिवर्तन आएगा। यदि कोई रोबोट कप की ओर हाथ बढ़ाता है, तो उसे यह अनुमान लगाना चाहिए कि कप हिलेगा, मेज डगमगा सकती है, और शेल्फ तक जाने वाला रास्ता बदल सकता है। वर्षों से, वैज्ञानिकों ने मशीनों को इस तरह की दूरदर्शिता देने का प्रयास किया है कि वे उन्हें भविष्य की कल्पना करना सिखा सकें। वे शक्तिशाली कंप्यूटर मॉडल का उपयोग करते हैं जो वीडियो उत्पन्न कर सकते हैं, जो अनिवार्य रूप से रोबोट को वास्तव में हिलने से पहले यह "सपना" देखने देते हैं कि आगे क्या होने वाला है। उम्मीद यह है कि भविष्य का पूर्वावलोकन देखकर, रोबोट बेहतर योजना बना सकेगा और गलतियों से बच सकेगा। हालाँकि, एक बड़ी समस्या ने इस विचार को पीछे धकेल दिया है: इन वीडियो पूर्वावलोकनों को उत्पन्न करने में बहुत अधिक समय लगता है। जब एक रोबोट गिरती हुई वस्तु को पकड़ने या तरल पदार्थ डालने की कोशिश कर रहा होता है, तो उसे मिलीसेकंड में निर्णय लेने की आवश्यकता होती है। यदि कंप्यूटर भविष्य के दृश्य का सपना देखने में सेकंड बिता देता है, तो रोबोट कार्य करने के लिए बहुत देर कर चुका होता है। इसने इंजीनियरों के सामने एक कठिन विकल्प खड़ा कर दिया: या तो रोबोट को आगे सोचने दें और वह प्रतिक्रिया देने में बहुत धीमा हो जाए, या उसे तुरंत प्रतिक्रिया करने दें लेकिन उसकी भविष्य को देखने की क्षमता छीन लें, जिससे वह अंधे होकर अनुमान लगाने पर मजबूर हो जाए।
शोधकर्ताओं की एक टीम ने इस गतिरोध को तोड़ने का एक तरीका खोज लिया है। उन्होंने GlanceWAM नामक एक नई प्रणाली विकसित की है, जो एक रोबोट को वास्तविक समय की गति के साथ चलते हुए भी भविष्य की दृष्टि बनाए रखने की अनुमति देती है। मुख्य अंतर्दृष्टि यह थी कि रोबोट को अपना काम करने के लिए भविष्य के निरंतर, प्रति-सेकंड वीडियो स्ट्रीम की आवश्यकता नहीं है। इसके बजाय, उसे केवल यह स्पष्ट चित्र चाहिए कि वह कुछ सेकंड बाद कहाँ जा रहा है। शोधकर्ताओं ने एक ऐसी प्रणाली डिजाइन की जहाँ "सपना देखने" वाला हिस्सा और "कार्य करने" वाला हिस्सा अलग-अलग गति और अलग-अलग पथों पर चलते हैं। जबकि रोबोट का नियंत्रण तंत्र अपनी गतिविधियों को सुचारू बनाए रखने के लिए हर 48 मिलीसेकंड में तीव्र निर्णय ले रहा होता है, एक अलग, धीमा प्रक्रिया बैकग्राउंड में चलती है। यह बैकग्राउंड प्रक्रिया भविष्य की एक एकल फ्रेम की कल्पना करने के लिए हर तीन सेकंड में केवल एक बार भविष्य की एक संक्षिप्त झलक लेती है। यह कल्पित फ्रेम एक पूर्ण वीडियो नहीं है; यह गंतव्य का एक संक्षिप्त, छिपा हुआ प्रतिनिधित्व है।
इस दृष्टिकोण का जादू इस बात में है कि दोनों हिस्से एक-दूसरे से कैसे बात करते हैं। रोबोट का नियंत्रण तंत्र कभी भी बैकग्राउंड में सपने देखने वाले (ड्रीमर) के पूरा होने का इंतजार नहीं करता है। इसके बजाय, नियंत्रण तंत्र बस नवीनतम कल्पित गंतव्य को प्राप्त करता है और अपने अगले कुछ कदमों को निर्देशित करने के लिए उसका उपयोग करता है। क्योंकि रोबोट भविष्य के पूर्ण वीडियो के बजाय इसकी छिपी हुई, सरल संस्करण के साथ काम कर रहा है, इसलिए यह जानकारी को लगभग तुरंत संसाधित कर सकता है। शोधकर्ताओं ने इस प्रणाली का परीक्षण बीस चार जटिल रसोई कार्यों पर किया, जैसे दराज खोलना, नॉब घुमाना और काउंटर के बीच वस्तुओं को स्थानांतरित करना। इन परीक्षणों में, नई प्रणाली 72.2% बार सफल रही। यह पिछले तरीकों की तुलना में एक महत्वपूर्ण सुधार है जो वीडियो और क्रियाओं को एक साथ उत्पन्न करने का प्रयास करते थे, जो केवल 67.1% बार सफल होते थे, और उन प्रणालियों से कहीं बेहतर है जिन्होंने भविष्य की कल्पना करना ही छोड़ दिया था, जो केवल 64.4% बार सफल हुईं। इस प्रणाली ने एक अन्य मानक परीक्षण समूह पर भी असाधारण प्रदर्शन किया, जिसमें 99.0% सफलता दर प्राप्त की।
यह परिणाम विशेष रूप से उल्लेखनीय है क्योंकि यह प्रणाली गति से समझौता किए बिना इस उच्च स्तर की सफलता प्राप्त करती है। शोधकर्ताओं ने यह मापा कि रोबोट को अपने अगले कदम का निर्णय लेने में कितना समय लगा, और नई प्रणाली को प्रति निर्णय केवल 48 मिलीसेकंड लगे। यह उन पिछले सर्वोत्तम तरीकों की तुलना में चौबीस गुना तेज़ है जो सोचने और कार्य करने दोनों को एक साथ करने का प्रयास करते थे। यह प्रणाली इतनी अच्छी तरह से काम करती है क्योंकि इसे इस तथ्य को संभालने के लिए प्रशिक्षित किया गया था कि भविष्य की उसकी "झलक" उसके उपयोग के समय तक थोड़ी पुरानी हो सकती है। ठीक वैसे ही जैसे एक चालक उस मानचित्र का उपयोग करता है जो एक मिनट पहले बनाया गया था, रोबोट यह सीखने के लिए समायोजित करता है कि भविष्य की अंतिम झलक के बाद से कितना समय बीत चुका है। शोधकर्ताओं ने पुष्टि की कि रोबोट वास्तव में अपने निर्णयों को लेने के लिए इन भविष्य की झलकों का उपयोग कर रहा है; जब उन्होंने कृत्रिम रूप से भविष्य की जानकारी को हटा दिया, तो रोबोट का प्रदर्शन काफी गिर गया, जिससे यह सिद्ध हुआ कि दूरदर्शिता केवल एक निष्क्रिय विशेषता नहीं बल्कि उसके कार्यों के लिए एक महत्वपूर्ण मार्गदर्शक थी।
यह कार्य सुझाव देता है कि रोबोटिक बुद्धिमत्ता में बाधा अधिक कंप्यूटिंग शक्ति की आवश्यकता नहीं थी, बल्कि इस शक्ति का उपयोग कैसे किया जा रहा था, वह था। भविष्य की कल्पना करने की धीमी, विचारशील प्रक्रिया को शरीर को नियंत्रित करने की तेज़, तत्काल प्रक्रिया से अलग करके, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो त्वरित और बुद्धिमान दोनों है। रोबोट को यह जानने के लिए कि उसे कहाँ जाना है, भविष्य के हर फ्रेम को देखने की आवश्यकता नहीं है; उसे बस गंतव्य की एक स्पष्ट, सामयिक तस्वीर चाहिए। यह दृष्टिकोण जटिल, परिवर्तनशील वातावरण में नेविगेट करने के लिए रोबोट बनाने का एक व्यावहारिक मार्ग प्रदान करता है, जिसमें वही प्रवाह और दूरदर्शिता हो जो मनुष्य उपयोग करते हैं, और साथ ही वास्तविक दुनिया के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ प्रतिक्रिया भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।