Mask2Real-WM: Segmentation Masks as a Sim-to-Real Bridge for Controllable Dexterous World Models
Mask2Real-WM एक दो-चरणीय एक्शन-कंडीशन्ड वर्ल्ड मॉडल है जो डेक्सट्रस मैनिपुलेशन के लिए बनाया गया है, जो सेगमेंटेशन स्पेस में डायनेमिक्स प्रेडिक्शन को फोटोरियलिस्टिक रेंडरिंग से अलग करके सिम-टू-रियल गैप को पाटता है, जिससे बड़े पैमाने पर सिंथेटिक प्रीट्रेनिंग और न्यूनतम वास्तविक-दुनिया के फाइन-ट्यूनिंग के माध्यम से सटीक प्रति-जोड़ नियंत्रण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से कारखानों के फर्श के स्वामी रहे हैं, जहाँ वे उन वातावरणों में सटीकता के साथ चलते हैं जहाँ हर वस्तु स्थिर होती है और हर मार्ग पूर्व-निर्धारित होता है। लेकिन जैसे ही कोई रोबोट एक अव्यवस्थित, अप्रत्याशित घर या एक बिखरी हुई कार्यशाला में कदम रखता है, उसका आत्मविश्वास अक्सर लुप्त हो जाता है। वास्तविक दुनिया में नेविगेट करने के लिए, एक मशीन को केवल सेंसर की ही नहीं, बल्कि इस बात की समझ की आवश्यकता होती है कि आगे क्या होने वाला है। यही "वर्ल्ड मॉडल्स" (विश्व मॉडल) का वादा है, जो रोबतािक्स में एक ऐसी अवधारणा है जहाँ एक कृत्रिम बुद्धिमत्ता (AI) भविष्य की कल्पना करना सीखती है। केवल वर्तमान में जो वह देख रही है उस पर प्रतिक्रिया देने के बजाय, रोबोट एक मानसिक सिमुलेशन बनाता है कि जब वह अपने हाथ को हिलाता है या किसी वस्तु को पकड़ता है तो दुनिया कैसे बदलती है। यदि एक रोबोट अपने मन में अपने कार्यों के परिणाम को विश्वसनीय रूप से अनुमानित कर सकता है, तो वह स्वयं को या अपने परिवेश को नुकसान पहुँचाए बिना विभिन्न रणनीतियों का परीक्षण कर सकता है, प्रभावी रूप से किसी भौतिक वस्तु को छूने से पहले ही समस्या को हल करने का सबसे अच्छा तरीका "सपनों" में देख सकता है।
चुनौती तब तेजी से कठिन हो जाती है जब रोबोट के पास एक साधारण दो-उंगलियों वाले ग्रिपर के बजाय कई गतिशील भागों वाला हाथ होता है, जैसे कि मानव हाथ। ये कुशल हाथ अविश्वसनीय बहुमुखी प्रतिभा प्रदान करते हैं, जो नाजुक वस्तुओं का हेरफेर करने या जटिल कार्य करने में सक्षम हैं, लेकिन वे डरावनी संख्या में चर (variables) भी पेश करते हैं। एक अकेले हाथ में बाईस अलग-अलग जोड़ हो सकते हैं जो स्वतंत्र रूप से हिल सकते हैं, जिससे संभावित क्रियाओं का एक विशाल स्थान बन जाता है। एक ऐसे जटिल तंत्र के परस्पर क्रिया करने के तरीके का अनुमान लगाना कठिन है क्योंकि दृश्य परिवर्तन सूक्ष्म और जटिल होते हैं। एक उंगली का मामूली सा बदलाव भी इस बात को नाटकीय रूप से बदल सकता है कि किसी वस्तु को कैसे पकड़ा गया है, फिर भी मानक वीडियो भविष्यवाणी मॉडल अक्सर इन सूक्ष्म विवरणों को धुंधला कर देते हैं, और एक विशिष्ट जोड़ की गति और उसके परिणामस्वरूप होने वाली गति के बीच सटीक कारण-और-प्रभाव संबंध को पकड़ने में विफल रहते हैं।
ETH ज्यूरिख के शोधकर्ताओं ने इस समस्या के लिए एक नया दृष्टिकोण विकसित किया है, और एक प्रणाली बनाई है जिसे वे Mask2Real-WM कहते हैं। उनका लक्ष्य एक ऐसा वर्ल्ड मॉडल बनाना था जो एक कुशल रोबोटिक हाथ और वस्तुओं के बीच की अंतःक्रिया के भविष्य को सटीक रूप से अनुमानित कर सके, भले ही उसे वास्तविक दुनिया के बहुत कम डेटा पर प्रशिक्षित किया गया हो। उनकी नवीनता का मूल इस बात में निहित है कि वे भविष्यवाणी के कार्य को कैसे विभाजित करते हैं। भविष्य के पूर्ण, फोटोरियलिस्टिक वीडियो की भविष्यवाणी एक साथ करने के बजाय, वे प्रक्रिया को दो अलग-अलग चरणों में विभाजित करते हैं। पहला चरण पूरी तरह से दृश्य की संरचना पर ध्यान केंद्रित करता है, जो हाथ और वस्तु कहाँ होंगे, इसका एक सरलीकृत मानचित्र अनुमानित करता है। दूसरा चरण उस मानचित्र को लेता है और उसे एक यथार्थवादी वीडियो में रंग देता है।
यह अलगाव महत्वपूर्ण है क्योंकि यह शोधकर्ताओं को रोबोट को यह सिखाने के लिए कि चीजें कैसे चलती हैं, सिमुलेशन डेटा की एक विशाल मात्रा का उपयोग करने की अनुमति देता है, जबकि वास्तविक दुनिया के फुटेज का उपयोग केवल यह सिखाने के लिए किया जाता है कि वे कैसी दिखती हैं। पहले चरण में, सिस्टम "सेगमेंटेशन मास्क" (खंडन मास्क) की भविष्यवाणी करना सीखता है, जो अनिवार्य रूप से रंग-कोडित रूपरेखाएं हैं जो हाथ, वस्तु और पृष्ठभूमि को दर्शाती हैं। क्योंकि ये रूपरेखाएं जटिल फोटोग्राफ के बजाय सरल आकृतियाँ हैं, इसलिए कंप्यूटर सिमुलेशन और वास्तविक दुनिया के बीच का अंतर बहुत कम हो जाता है। यह शोधकर्ताओं को इस गति-अनुमान लगाने वाले भाग को प्रशिक्षित करने के लिए सिंथेटिक डेटा के पचास घंटों से अधिक का उपयोग करने की अनुमति देता है। इस आभासी वातावरण में, रोबोट अपनी उंगलियों को हर संभव तरीके से चलाने का अभ्यास कर सकता है, जो कि गतियों की एक ऐसी श्रेणी को कवर करता जिसे एक वास्तविक लैब में एकत्र करने में वर्षों लग जाएंगे।
एक बार जब सिस्टम सिमुलेशन के विशाल पुस्तकालय से गति के भौतिकी को सीख लेता है, तो इसे केवल ढाई घंटे के वास्तविक वीडियो के साथ फाइन-ट्यून किया जाता है। यहीं पर दूसरा चरण आता है। सिस्टम पहले चरण से अनुमानित रूप होते रूपरेखाओं को लेता है और उन्हें वास्तविक रंगों, बनावट और प्रकाश व्यवस्था के साथ भरने के लिए एक विशेष रेंडरिंग मॉडल का उपयोग करता है। चूंकि गति को समझने का भारी काम पहले ही सिमुलेशन में किया जा चुका था, इसलिए रेंडरिंग मॉडल को केवल वास्तविक वातावरण के विशिष्ट स्वरूप को सीखने की आवश्यकता होती है, जो कि बहुत कम डेटा के साथ हासिल किया जा सकता है। परिणाम एक ऐसी प्रणाली है जो एक रोबोटिक हाथ को चलते हुए देख सकती है, क्रिया के अगले कुछ सेकंड की कल्पना कर सकती है, और एक फोटोरियलिस्टिक वीडियो उत्पन्न कर सकती है कि क्या होने वाला है, जबकि वह प्रत्येक उंगली की सटीक गतिविधियों को स्पष्ट और विशिष्ट बनाए रखती है।
शोधकर्ताओं ने इस प्रणाली का परीक्षण एक बेंचमार्क कार्य पर किया जिसमें छोटी रोजमर्रा की वस्तुओं को उठाना और रखना शामिल था। उन्होंने पाया कि दो-चरणीय दृष्टिकोण उन पिछले तरीकों की तुलना में कहीं अधिक बेहतर था जिन्होंने एक ही चरण में वीडियो की भविष्यवाणी करने का प्रयास किया था। पुराने तरीके अक्सर हाथ के सामान्य पथ का अनुमान लगा सकते थे, लेकिन वे सूक्ष्म विवरणों में संघर्ष करते थे, उंगलियों को आपस में धुंधला कर देते थे या यह दिखाने में विफल रहते थे कि एक विशिष्ट जोड़ की गति ने पकड़ को कैसे बदल दिया। इसके विपरीत, नई प्रणाली ने उच्च स्तर का नियंत्रण प्रदर्शित किया: जब शोधकर्ताओं ने मॉडल को केवल एक विशिष्ट उंगली को हिलाने के लिए कहा, तो मॉडल ने अन्य उंगलियों के साथ भ्रमित हुए बिना उस एकल उंगली की गति का सटीक अनुमान लगाया। नियंत्रण का यह स्तर एक रोबोट के लिए अपने कार्यों के परिणामों को वास्तव में समझने के लिए आवश्यक है।
अध्ययन ने यह भी खुलासा किया कि बड़े पैमाने पर सिमुलेशन प्रशिक्षण न केवल एक सहायक बोनस था बल्कि एक आवश्यकता थी। जब शोधकर्ताओं ने केवल वास्तविक दुनिया के डेटा के छोटे हिस्से का उपयोग करके सिस्टम के गति-अनुमान लगाने वाले भाग को प्रशिक्षित करने की कोशिश की, तो सिस्टम उंगलियों के स्वतंत्र नियंत्रण को सीखने में विफल रहा। इसके पास उंगलियों की अलग-अलग गतिविधियों को समझने के लिए पर्याप्त उदाहरण नहीं थे। सिमुलेशन डेटा ने लापता विविधता प्रदान की, जिससे सिस्टम को हाथ की हर संभव कोण और गति का अनुभव हुआ। सिमुलेशन के इस व्यापक अनुभव को वास्तविक दुनिया के दृश्य प्रशिक्षण के एक छोटे से अंश के साथ जोड़कर, शोधकर्ताओं ने एक ऐसा मॉडल बनाया जो नई स्थितियों, जैसे कि अलग प्रकाश व्यवस्था या उन वस्तुओं के लिए सामान्यीकरण कर सकता था जिन्हें उसने पहले कभी नहीं देखा था, एक ऐसी विश्वसनीयता के साथ जो पिछले मॉडलों से मेल नहीं खाती थी।
अंततः, यह कार्य रोबोटों को कार्य करने से पहले सोचने के लिए सिखाने के व्यावहारिक मार्ग को प्रदर्शित करता है। सिमुलेशन और वास्तविकता के बीच के अंतर को पाटने के लिए सरलीकृत निरूपण का उपयोग करके, शोधकर्ताओं ने दिखाया है कि एक रोबोट वास्तविक दुनिया में हजारों घंटों के परीक्षण और त्रुटि के बिना जटिल भौतिक अंतःक्रियाओं को सीख सकता है। सिस्टम केवल यह अनुमान नहीं लगाता कि वीडियो का अगला फ्रेम कैसा दिखेगा; यह गति के अंतर्निहित यांत्रिकी को इतनी अच्छी तरह से समझता है कि वह आत्मविश्वास के साथ भविष्य की भविष्यवाणी कर सके। यह क्षमता रोबोटों को अपने मन में सुरक्षित रूप से नए कार्यों का पता लगाने, विभिन्न रणनीतियों का मूल्यांकन करने और भौतिक दुनिया के साथ जुड़ने से पहले ही अपनी काल्पनिक गलतियों से सीखने का द्वार खोलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।