Phantom: Training Robots Without Robots Using Only Human Videos
यह शोध पत्र "Phantom" प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है जो केवल मानव वीडियो प्रदर्शनों को हैंड पोज़ एस्टीमेशन और विजुअल डोमेन अलाइनमेंट के माध्यम से रोबोट-अनुकूल डेटा में परिवर्तित करके, सामान्य-उद्देश्य वाले मैनिपुलेशन रोबोटों के ज़ीरो-शॉट प्रशिक्षण को सक्षम बनाता है, जिससे बिना किसी रोबोट डेटा या फाइन-ट्यूनिंग के विविध कार्यों पर उच्च सफलता दर प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखाना चाहते हैं, जैसे फर्श पर झाड़ू लगाना या गाँठ बाँधना। आमतौर पर, एक रोबोट को सिखाने के लिए, आपको उसके हाथ को शारीरिक रूप से पकड़ना होता है और उसे हज़ारों बार उन गतिविधियों के माध्यम से निर्देशित करना होता है। यह एक बच्चे को साइकिल चलाना सिखाने के लिए हर दिन घंटों तक उसे पूरे पड़ोस में धक्का देने जैसा है। यह धीमा, महंगा और हर संभव कार्य के लिए करना कठिन है।
"फैंटम" (Phantom) नामक शोध पत्र एक चतुर शॉर्टकट का प्रस्ताव देता है: क्यों न हम इंसानों को घर के काम करते हुए देखें और यह दिखावा करें कि रोबोट ही वह इंसान है?
उन्होंने इसे कैसे किया, इसके सरल उपमाओं का उपयोग करते हुए यहाँ बताया गया है:
1. "जादुई फोटो एडिटर" (डेटा एडिटिंग)
शोधकर्ताओं ने महसूस किया कि हालांकि इंटरनेट पर इंसानों के काम करने के लाखों वीडियो मौजूद हैं, लेकिन रोबोट उन्हें केवल "देख" नहीं सकते। एक रोबोट दुनिया को अलग तरह से देखता है; उसके पास धातु के हाथ और ग्रिपर होते हैं, मांस और उंगलियाँ नहीं। यदि आप एक रोबोट को किसी इंसान के वीडियो पर प्रशिक्षित करते हैं, तो रोबोट भ्रमित हो जाता है क्योंकि "शिक्षक" उसके "छात्र" जैसा बिल्कुल नहीं दिखता।
इसे ठीक करने के लिए, लेखकों ने एक डिजिटल "जादुई फोटो एडिटर" बनाया। यह प्रक्रिया इस प्रकार है:
- चरण 1: इरेज़र (मिटाने वाला)। वे किसी वस्तु की ओर हाथ बढ़ाते हुए एक इंसान का वीडियो लेते हैं। AI का उपयोग करके, वे इंसान के हाथ और हाथ को डिजिटल रूप से "मिटा" देते हैं, और बैकग्राउंड को इस तरह भर देते हैं कि ऐसा लगे जैसे हाथ वहाँ कभी था ही नहीं।
- चरण 2: कठपुतली संचालक (पपेटियर)। वे एक कंप्यूटर प्रोग्राम का उपयोग करते हैं ताकि यह पता लगाया जा सके कि इंसान का हाथ ठीक कहाँ चल रहा था।
- चरण 3: अदला-बदली (स्वैप)। वे एक रोबोटिक हाथ का 3D मॉडल लेते हैं और उसे वीडियो में "पेस्ट" कर देते हैं, जिसे ठीक उसी तरह से घुमाया जाता है जैसे इंसान का हाथ हिल रहा था।
परिणामस्वरूप एक ऐसा वीडियो मिलता है जो एक रोबोट को कार्य करते हुए दिखाता है, लेकिन वास्तव में इसे एक इंसान द्वारा फिल्माया गया था। वे इसे एक "फैंटम" प्रदर्शन कहते हैं।
2. "मशीन में भूत" (ज़ीरो-शॉट डिप्लॉयमेंट)
उनकी खोज का सबसे आश्चर्यजनक हिस्सा यह है कि उन्हें रोबोट को खुद कार्य करते हुए दिखाने के लिए एक भी वास्तविक जीवन का वीडियो दिखाने की आवश्यकता नहीं थी। उन्होंने रोबोट को केवल इन संपादित "फैंटम" वीडियो पर प्रशिक्षित किया।
इसे इस तरह सोचें: यदि आप टेनिस खेलना सीखना चाहते हैं, तो आप आमतौर पर एक पेशेवर खिलाड़ी को देखते हैं। लेकिन यदि आप एक रोबोट हैं जिसका शरीर अलग आकार का है, तो एक इंसान को देखना भ्रमित करने वाला हो सकता है। यह तरीका एक टेनिस खिलाड़ी का वीडियो लेने, डिजिटल रूप से उसके शरीर को रोबोट के शरीर से बदलने और फिर उस संपादित वीडियो को देखकर रोबोट को टेनिस खेलने के लिए सिखाने जैसा है।
जब उन्होंने वास्तविक रोबोटों (विशेष रूप से एक फ्रैंका और एक किनोवा रोबोट) पर इसका परीक्षण किया, तो रोबोट बिना किसी पूर्व अभ्यास या फाइन-ट्यूनिंग के कार्यों को करने में सक्षम थे। यह ऐसा था जैसे रोबोट कमरे में आया, कार्य देखा, और तुरंत जान गया कि क्या करना है, जबकि उसने केवल संपादित मानव वीडियो का "अध्ययन" किया था।
3. रोबोट क्या कर सकता था?
शोधकर्ताओं ने इसे विभिन्न कठिन कार्यों पर परखा, जिससे यह सिद्ध हुआ कि यह विधि तब भी काम करती है जब चीजें अव्यवस्थित या लचीली हों:
- झाड़ू लगाना: कचरे को डस्टपैन में धकेलने के लिए झाड़ू चलाना (जिसमें कचरे के कई ढीले टुकड़ों को हिलाना शामिल है जो अप्रत्याशित रूप से उछलते-कूदते हैं)।
- गाँठ बाँधना: एक रस्सी को एक विशिष्ट समुद्री गाँठ में बाँधना (जो बहुत कठिन है क्योंकि रस्सियाँ लचीली होती हैं और अपना आकार बदलती हैं)।
- स्टैकिंग (एक के ऊपर एक रखना): कपों को सावधानी से एक के ऊपर एक रखना जो थोड़े अलग आकार के होते हैं।
- घुमाना (रोटेटिंग): एक बॉक्स को सिर्फ गिराए बिना उसे पलटना।
इनमें से कई परीक्षणों में, रोबel उन कमरों में भी 92% बार सफल रहा, जिन्हें उसने पहले कभी नहीं देखा था।
4. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
यह शोध पत्र तर्क देता है कि यह दृष्टिकोण रोबोटिक्स की सबसे बड़ी बाधा को दूर करता है: महंगे रोबोट डेटा की आवश्यकता।
- पुराना तरीका: आपको एक रोबोट, एक लैब और एक इंसान की आवश्यकता होती है जो डेटा एकत्र करने के लिए घंटों तक टेलीऑपरेशन (नियंत्रण) में समय बिताए।
- नया तरीका (फैंटम): आपको केवल एक कैमरा और एक इंसान की आवश्यकता है। आप किसी को भी, कहीं भी, कोई भी कार्य करते हुए फिल्मा सकते हैं। कंप्यूटर बाकी का काम करता है और उन मानवीय गतिविधियों को रोबोट निर्देशों में अनुवादित करता है।
लेखक इस बात पर जोर देते हैं कि यह "क्लोज्ड-लूप" निष्पादन के लिए काम करता है, जिसका अर्थ है कि रोबोट वास्तविक समय में परिवर्तनों पर प्रतिक्रिया दे सकता है (जैसे कि यदि कचरा अप्रत्याशित रूप से हिल जाता है), न कि केवल एक पूर्व-रिकॉर्डेड स्क्रिप्ट का पालन करता है।
यह पेपर क्या दावा नहीं करता
यह महत्वपूर्ण है कि हम केवल वही कहें जो पेपर वास्तव में कहता है:
- उन्होंने यह दावा नहीं किया कि यह हर प्रकार के रोबोट या हर संभव कार्य के लिए काम करता है। उन्होंने उन कार्यों पर ध्यान केंद्रित किया जहाँ एक इंसान "पिंच ग्रैस्प" (अंगूठे और उंगली से पकड़ना) का उपयोग कर सकता है, जो उनके द्वारा उपयोग किए गए रोबोट के ग्रिपर्स से मेल खाता है।
- उन्होंने यह दावा नहीं किया कि यह पूर्ण (परफेक्ट) है। यदि वीडियो में इंसान का हाथ छिपा हुआ (ओक्लूडेड) है, तो कंप्यूटर हाथ की स्थिति का गलत अनुमान लगा सकता है, जिससे रोबोट भ्रमित हो सकता है।
- उन्होंने यह दावा नहीं किया कि यह रोबोटों की आवश्यकता को पूरी तरह समाप्त कर देता है; उन्हें भौतिक रूप से काम करने के लिए अभी भी एक रोबोट की आवश्यकता है। उन्होंने केवल डेटा रिकॉर्ड करने की आवश्यकता को हटा दिया है।
संक्षेप में, यह पेपर एक "फैंटम" पद्धति प्रस्तुत करता है जहाँ हम केवल मनुष्यों के वीडियो का उपयोग करके रोबोट को प्रशिक्षित कर सकते हैं, फुटेज में मानव शरीर को रोबोट शरीर के साथ डिजिटल रूप से बदलकर, जिससे रोबोट को बिना किसी भौतिक प्रदर्शन के जटिल कौशल सीखने की अनुमति मिलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।