Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization
Zero-WAM एक कॉज़ल वीडियो-एक्शन मॉडल है जो इन-कॉन्टेक्स्ट मानव वीडियो को कार्य विशिष्टताओं (task specifications) के रूप में उपयोग करके रोबोटिक मैनिपुलेशन में ज़ीरो-शॉट क्रॉस-टास्क जनरलाइजेशन प्राप्त करता है, जिसे 74.2K मानव-रोबोट जोड़ों के सिंथेटिक डेटासेट और विजुअल प्रॉम्प्ट्स पर निर्भरता सुनिश्चित करने के लिए एक फ्यूचर चंक प्रेडिक्शन ऑब्जेक्टिव द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से एक मौलिक सीमा से जूझ रहे हैं: वे वह दोहराने में उत्कृष्ट हैं जो उन्हें स्पष्ट रूप से सिखाया गया है, लेकिन जब उनके सामने कोई ऐसी नई स्थिति आती है जिसका उन्होंने अभ्यास नहीं किया है, तो वे विफल हो जाते हैं। यदि एक रोबोट लाल ब्लॉक को स्टैक करना सीखता है, तो वह अक्सर नीले ब्लॉकों को कैसे स्टैक किया जाए, या माइक्रोवेव को कैसे खोला जाए, यह नहीं समझ पाता, जब तक कि कोई मानव प्रोग्रामर उस विशिष्ट कार्य के लिए उसका कोड फिर से न लिखे। सामान्यीकरण करने में यह अक्षमता हमारे घरों या कार्यस्थलों में मदद करने वाली मशीनें बनाने के लिए एक बड़ी बाधा है। वर्षों से, शोधकर्ताओं ने रोबोट को भाषा के माध्यम से सिखाकर इसे हल करने की कोशिश की है, उन्हें "कप उठाओ" जैसे मौखिक निर्देश दिए हैं। हालाँकि, शब्द अक्सर किसी कार्य के जटिल, भौतिक विवरणों को पकड़ने के लिए बहुत अस्पष्ट होते हैं, जैसे कि किसी वस्तु को कितनी जोर से दबाना है या गांठ सुलझाने के लिए आवश्यक सटीक गतिविधियों का क्रम क्या है। एक मानव के लिए रोबोट को यह दिखाने का अधिक स्वाभाविक तरीका कि क्या करना है, बस उसे प्रदर्शन करके दिखाना है, लेकिन एक मानव वीडियो से सीधे देखकर सीखने के लिए रोबोट को सिखाना कठिन साबित हुआ है क्योंकि मानव और रोबोट अलग तरह से चलते हैं और दुनिया को अलग कोणों से देखते हैं।
शोधकर्ताओं की एक टीम ने एक नया दृष्टिकोण विकसित किया है जो रोबोट को किसी भी विशिष्ट कार्य पर पूर्व प्रशिक्षण या उसके आंतरिक सॉफ़्टवेयर में किसी परिवर्तन की आवश्यकता के बिना, एक मानव द्वारा किए गए कार्य के छोटे वीडियो को देखकर पूरी तरह से नए कार्य सीखने की अनुमति देता है। वे अपने सिस्टम को Zero-WAM कहते हैं। मुख्य विचार यह है कि मानव वीडियो को केवल एक संदर्भ के रूप में नहीं, बल्कि एक प्रत्यक्ष निर्देश के रूप में माना जाए। जब रोबलेट को कोई नया काम करना होता है, तो वह एक मानव द्वारा किए जा रहे समान काम का वीडियो देखता है और उस दृश्य मार्गदर्शिका का उपयोग यह पता लगाने के लिए करता है कि उसके अपने अगले कदम क्या होने चाहिए। इसे सफल बनाने के लिए, शोधकर्ताओं को एक विशाल डेटा समस्या को हल करना पड़ा। उन्हें हजारों ऐसे उदाहरणों की आवश्यकता थी जहाँ एक मानव वीडियो जो कार्य दिखा रहा हो, वह उसी कार्य के लिए रोबोट की अपनी गतिविधियों के साथ पूरी तरह से मेल खाता हो। चूंकि ऐसे जोड़े हाथ से एकत्र करना धीमा और महंगा है, इसलिए उन्होंने एक स्वचालित प्रणाली बनाई जो रोबोट के काम करने के मौजूदा रिकॉर्डिंग लेती है और मानव वीडियो बनाने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करती है जो उनसे मेल खाते हों। इस प्रक्रिया ने लगभग 9,000 विभिन्न कार्यों को कवर करने वाले 74,200 युग्मित उदाहरणों का एक विशाल पुस्तकालय बनाया, जिसमें सरल पिक-एंड-प्लेस क्रियाओं से लेकर जटिल, बहु-चरणीय हेरफेर तक शामिल हैं।
शोधकर्ताओं ने इस विविध पुस्तकालय पर अपने मॉडल को प्रशिक्षित किया, जिससे यह सीखा कि मानव वीडियो को देखते हुए और अपनी गतिविधियों के इतिहास के आधार पर रोब lewat अगला क्या करना चाहिए। उनके तरीके का एक प्रमुख हिस्सा यह सुनिश्चित करना था कि मॉडल वास्तव में मानव वीडियो पर ध्यान दे, न कि केवल वही अनुमान लगाए जो उसने पहले देखा है। उन्होंने एक विशेष प्रशिक्षण चरण जोड़ा जहाँ मॉडल को न केवल अगले क्षण की भविष्यवाणी करनी थी, बल्कि कई चरणों के भविष्य की भी भविष्यवाणी करनी थी। इसने सिस्टम को केवल तत्काल अतीत पर प्रतिक्रिया देने के बजाय, मानव वीडियो में दिखाए गए दीर्घकालिक लक्ष्य को समझने के लिए मजबूर किया। जब उन्होंने एक सिम्युलेटेड वातावरण में सात पूरी तरह से नए कार्यों में इस सिस्टम का परीक्षण किया जिन्हें रोबोट ने प्रशिक्षण के दौरान कभी नहीं देखा था, तो यह लगभग आधे प्रयासों में सफल रहा। यह पिछले तरीकों की तुलना में एक नाटकीय सुधार था, जो पांच में से एक से भी कम प्रयासों में सफल होते थे। सिस्टम ने स्टैक करने वाले ब्लॉक्स और स्टेपलर को हिलाने जैसे कठिन चुनौतियों को केवल एक मानव प्रदर्शन वीडियो को देखकर संभालने में सफलता प्राप्त की।
सफलता सिमुलेशन तक ही सीमित नहीं रही। टीम ने प्रशिक्षित मॉडल को एक भौतिक रोबोटिक आर्म के साथ वास्तविक दुनिया के परिवेश में ले लिया और वस्तुओं को कंटेनरों में रखने, विशिष्ट क्रम में कई वस्तुओं को हिलाने और उच्च सटीकता के साथ टेबल के पैरों को छेदों में डालने जैसे कार्यों का परीक्षण किया। इन वास्तविक दुनिया के परीक्षणों में, रोबोट ने फिर से मानव वीडियो निर्देशों का उपयोग करके अनदेखी कॉन्फ़िगरेशन को नेविगेट किया, जैसे कि प्रशिक्षण के दौरान देखे गए विभिन्न रंग के ऑब्जेक्ट्स या विभिन्न टेबल सेटअप का उपयोग करना। सिमुलेशन की तुलना में वास्तविक दुनिया की भौतिक कठिनाइयों के कारण सफलता दर कम थी, फिर भी रोबोट ने उन कार्यों को पूरा करने में सफलता प्राप्त की जिन्हें एक मानक भाषा-आधारित सिस्टम बिल्कुल भी हल नहीं कर सका। उदाहरण के लिए, एक वीडियो गाइड के आधार पर टेबल के पैरों को विशिष्ट छेदों में डालने के लिए कहा जाने पर, रोबोट कई परीक्षणों में सफल रहा, जबकि भाषा-केवल सिस्टम पूरी तरह से विफल रहा।
निष्कर्ष बताते हैं कि रोबोट को अधिक अनुकूल बनाने में बाधा आवश्यक रूप से रोबोट की हिलने-डुलने की क्षमता नहीं है, बल्कि यह है कि हम उसे निर्देश कैसे देते हैं। टेक्स्ट-आधारित कमांड से वीडियो-आधारित प्रदर्शनों की ओर स्थानांतरित होकर, और एक विशाल, स्वचालित रूप से उत्पन्न डेटासेट का उपयोग करके रोबोट को यह सिखाकर कि वह मानव क्रियाओं को अपनी गतिविधियों में कैसे अनुवादित करे, शोधकर्ताओं ने अधिक लचीली मशीनों की ओर एक व्यवहार्य पथ दिखाया है। सिस्टम को हर नए काम के लिए एक नया कौशल सीखने की आवश्यकता नहीं है; इसके बजाय, यह एक दृश्य प्रदर्शन की व्याख्या करने की सामान्य क्षमता सीखता है। इसका मतलब यह है कि भविष्य में, एक रोबोट को संभावित रूप से एक मानव के नल ठीक करने या शेल्फ व्यवस्थित करने का वीडियो दिया जा सकता है, और वह स्वयं उसी कार्य को करने का प्रयास कर सकेगा, अपनी शारीरिक गतिविधियों को अपने शरीर और सामने मौजूद विशिष्ट वस्तुओं के अनुरूप ढालते हुए। यह कार्य प्रदर्शित करता है कि सही डेटा और प्रशिक्षण विधियों के साथ, रोबोट मानव अंतर्ज्ञान और मशीन निष्पादन के बीच की खाई को पाटने में सक्षम हो सकते हैं, जिससे वे वास्तव में सामान्य-उद्देश्य वाले सहायकों के लक्ष्य के करीब पहुँच सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।