-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight एक एकीकृत रोबोट फाउंडेशन मॉडल है जो विज़न-लैंग्वेज-एक्शन कंट्रोल को लेटेंट वर्ल्ड मॉडलिंग के साथ एकीकृत करता है, जो पिक्सेल पुनर्निर्माण या बाहरी एनकोडर पर निर्भर हुए बिना, VLM के नेटिव टोकन स्पेस के भीतर भविष्य के स्थानिक टोकन और कार्यों की सीधे भविष्यवाणी करके अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से मानव जैसी सहजता के साथ दुनिया में चलने के लिए संघर्ष करते रहे हैं। हालांकि उन्हें एक विशिष्ट गति को पूरी तरह से दोहराने के लिए प्रोग्राम किया जा सकता है, लेकिन वे अक्सर तब विफल हो जाते हैं जब वातावरण थोड़ा बदल जाता है या जब किसी कार्य के लिए ऐसे चरणों के क्रम की आवश्यकता होती है जिन्हें वास्तविक समय में अनुकूलित होना चाहिए। इस अंतर को पाटने के लिए, वैज्ञानिकों ने ऐसी प्रणालियाँ विकसित की हैं जो दृष्टि (vision), भाषा और क्रिया (action) को जोड़ती हैं। ये प्रणालियाँ एक रोबोट को "कप को मेज पर रख दो" जैसे आदेश को समझने और फिर यह पता लगाने की अनुमति देती हैं कि इसे करने के लिए अपने हाथ को कैसे हिलाना है। हालाँकि, एक महत्वपूर्ण बाधा बनी हुई है: अधिकांश प्रणालियाँ केवल वर्तमान क्षण को देखती हैं। वे वर्तमान दृश्य को देखती हैं और अगले कदम का निर्णय लेती हैं, लेकिन वे वास्तव में यह अनुमान नहीं लगा पातीं कि आगे क्या होगा। इस क्षमता के बिना कि भविष्य को देख सकें, रोब로ट उन कार्यों में लड़खड़ा सकते हैं जिनमें जटिल गतिविधियों के समन्वय की आवश्यकता होती है, जैसे कि कोई वस्तु ले जाते समय चलना या चलते समय बदलते अवरोधों के चारों ओर से रास्ता बनाना।
Z-sight नामक एक नया दृष्टिकोण, जिसे मेवेन रोबोटिक्स (Maven Robotics) और यूनिवर्सिटी ऑफ सदर्न कैलिफोर्निया के शोधकर्ताओं द्वारा विकसित किया गया है, रोबोट को "दूरदर्शिता" (foresight) का एक रूप देकर इसे हल करने का प्रयास करता है। केवल वर्तमान में जो देख रहा है उस पर प्रतिक्रिया देने के बजाय, यह प्रणाली यह सीखने का प्रयास करती है कि भविष्य के एक सेकंड के अंश में दृश्य दुनिया कैसी दिखेगी, और यह उस भविष्यवाणी का उपयोग अपने कार्यों को निर्देशित करने के लिए करती है। यह भविष्य का पूरा वीडियो बनाने के बारे में नहीं है, जो गणनात्मक रूप से महंगा और धीमा होगा। इसके बजाय, प्रणाली उन आवश्यक दृश्य पैटर्न की भविष्यवाणी करती है जिनका उपयोग रोबोट का मस्तिष्क दृश्य को समझने के लिए करता है। भविष्य के अगले क्षण की कल्पना करने के साथ-साथ अपने अगले कदम का निर्णय लेने की प्रक्रिया को सीखकर, रोबोट अपना रास्ता अधिक सुचारू रूप से बना सकता है, और उन जटिल कार्यों को संभाल सकता है जिनके कारण पहले अन्य प्रणालियाँ रुक जाती थीं या विफल हो जाती थीं।
शोधकर्ताओं ने इस प्रणाली को डेटा के एक विशाल संग्रह पर प्रशिक्षित करके बनाया, जिसमें मनुष्यों द्वारा रोजमर्रा के कार्य करने वाले हजारों घंटों के वीडियो और विभिन्न रोबोटों के रिकॉर्डिंग शामिल हैं। प्रशिक्षण प्रक्रिया को चरणों में विभाजित किया गया था। सबसे पहले, प्रणाली ने दरवाज़े खोलने या कपड़े तह करने जैसे कार्यों को करते हुए लोगों के वीडियो से मानवीय गतिविधियों और भाषा को समझा। इसके बाद, इसे विभिन्न प्रकार के रोबोटों के डेटा के संपर्क में लाया गया, जिससे इसने मानवीय अवलोकनों को रोबोटिक गति के विशिष्ट यांत्रिकी में अनुवाद करना सीखा। अंत में, इसे एक विशिष्ट रोबोट, यूनिट्री G1 (Unitree G1) नामक एक ह्यूमनॉइड मशीन पर फाइन-ट्यून किया गया, ताकि कुर्सी को मेज के नीचे धकेलने या कूड़ेदान में कचरा फेंकने जैसे कार्यों में महारत हासिल की जा सके। इस पूरी प्रक्रिया के दौरान, प्रणाली को दो चीजें एक साथ करने के लिए सिखाया गया: भविष्य की दृश्य स्थिति की भविष्यवाणी करना और उस स्थिति तक पहुँचने के लिए आवश्यक भौतिक क्रियाओं को उत्पन्न करना।
मुख्य नवाचार इस बात में निहित है कि प्रणाली इन भविष्यवाणियों को कैसे संभालती है। रोबोट को दूरदर्शिता देने के प्रयास में पिछले कई प्रयास भविष्य के पूर्ण वीडियो फ्रेम उत्पन्न करने या भविष्य का अनुमान लगाने के लिए अलग, स्थिर प्रणालियों का उपयोग करने पर निर्भर थे। ये विधियाँ या तो बहुत धीमी थीं या रोबोट के अपने संसार को देखने के तरीके से कटी हुई थीं। Z-sight इन कमियों से बचता है क्योंकि यह भविष्य की भविष्यवाणी सीधे उसी "दृश्य भाषा" (visual language) में करता है जिसका उपयोग रोबोट वर्तमान को समझने के लिए करता है। यह एक पिक्सेल-परफेक्ट वीडियो बनाने की कोशिश नहीं करता है; इसके बजाय, यह उन अमूर्त दृश्य टोकन (abstract visual tokens) की भविष्यवाणी करता है जो दृश्य का प्रतिनिधित्व करते हैं। यह रोबोट को भविष्य को संभावनाओं के एक सेट के रूप में देखने की अनुमति देता है जो उसकी वर्तमान समझ के साथ गहराई से एकीकृत है, जिससे वह भविष्य की भविष्यवाणी unfolding (विकसित होने) के साथ अपने कार्यों को तुरंत समायोजित कर पाता है।
इस दृष्टिकोण के परिणामों का कंप्यूटर सिमुलेशन और वास्तविक दुनिया के प्रयोगों, दोनों में परीक्षण किया गया। पूरे शरीर के समन्वय का परीक्षण करने के लिए डिज़ाइन किए गए एक सिम्युलेटेड वातावरण में, इस प्रणाली ने विविध जटिल कार्यों पर 81.9 प्रतिशत सफलता दर हासिल की, जो मौजूदा सबसे मजबूत तरीकों से काफी बेहतर है। जब वास्तविक कमरे में भौतिक यूनिट्री G1 रोबोट पर परीक्षण किया गया, तो इसने छह अलग-अलग कार्यों में, जिसमें वस्तुओं को हिलाना, फर्नीचर के चारों ओर से रास्ता बनाना और बहु-चरणीय घरेलू कार्य करना शामिल था, 73.3 प्रतिशत परीक्षणों में सफलता प्राप्त की। इसकी तुलना में, अगली सर्वश्रेष्ठ प्रणाली ने इन वास्तविक-दुनिया के प्रयासों में केवल 53.3 प्रतिशत सफलता प्राप्त की। शोधकर्ताओं ने पाया कि भविष्य की भविष्यवाणी करने की प्रणाली की क्षमता उन कार्यों के लिए महत्वपूर्ण थी जिनमें गतिविधियों के क्रम की आवश्यकता होती है, जैसे कि कुर्सी तक जाना, उसे धकेलना और फिर उसके ऊपर एक वस्तु रखना। इस दूरदर्शिता के बिना, रोबोट अक्सर कार्य के पहले भाग को पूरा कर लेता लेकिन अगले चरण में जाने के प्रयास में रुक जाता।
यह सुनिश्चित करने के लिए कि सुधार केवल दूरदर्शिता तंत्र से आए हैं न कि केवल एक बड़े या अधिक जटिल मॉडल से, शोधकर्ताओं ने कई नियंत्रित प्रयोग किए। उन्होंने उन प्रणालियों का परीक्षण किया जो भविष्य की भविष्यवाणी नहीं कर सकती थीं और पाया कि वे काफी खराब प्रदर्शन करती हैं, भले ही उनके पास समान मात्रा में कंप्यूटिंग शक्ति हो। उन्होंने यह भी परीक्षण किया कि क्या प्रणाली अपनी भविष्यवाणियों की विशिष्ट सामग्री पर निर्भर है या केवल इस तथ्य पर कि वह भविष्यवाणी कर रही है। जब भविष्य की भविष्यवाणी को यादृच्छिक शोर (random noise) या वर्तमान स्थिर छवि के साथ बदल दिया गया, तो रोबोट का प्रदर्शन गिर गया, जो दर्शाता कि वह वास्तव में अपने भविष्य के अनुमान के विशिष्ट विवरणों का उपयोग अपने आंदोलनों को निर्देशित करने के लिए कर रहा था। इसके अलावा, प्रणाली ने इन जटिल भविष्यवाणियों और निर्णयों को अविश्वसनीय रूप से तेजी से करने में सफलता पाई, 30 चरणों के एक हिस्से को केवल 110 मिलीसेकंड में संसाधित किया, जो बिना किसी अंतराल (lag) के वास्तविक समय में रोबोट को नियंत्रित करने के लिए पर्याप्त तेज़ है।
अध्ययन ने यह भी पता लगाया कि जब चीजें गलत होती हैं तो प्रणाली कैसे व्यवहार करती है। परीक्षण के दौरान भविष्यवाणी प्रवाह को जानबूझकर बाधित करके, शोधकर्ताओं ने देखा कि रोबोट अनुकूलित हो सकता है। यदि प्रणाली को बताया गया कि उसकी भविष्यवाणी अविश्वसनीय है, तो वह भविष्य का अनुमान लगाने के बजाय इस बात पर अधिक भरोसा करेगी कि वह अभी क्या देख सकती है। यह लचीलापन बताता है कि प्रणाली ने योजना बनाने और प्रतिक्रिया देने के बीच संतुलन बनाने का एक मजबूत तरीका सीख लिया है। शोधकर्ताओं ने नोट किया कि हालांकि प्रणाली अत्यधिक प्रभावी है, वर्तमान में यह केवल वही भविष्यवाणी करती है जो यह देखती है, बिना यह स्पष्ट रूप से परीक्षण किए कि किसी एक कार्य के प्रति प्रतिबद्ध होने से पहले विभिन्न क्रिया विकल्पों का परीक्षण किया जाए। यह भविष्य के संस्करणों के लिए विभिन्न संभावित परिणामों की तुलना करने की संभावना को खुला छोड़ देता है, जिससे इसकी योजना बनाने की क्षमता और बढ़ सकती है।
अंततः, Z-sight यह प्रदर्शित करता है कि एक रोबोट को यह समझने के लिए कि आगे क्या होने वाला है, भविष्य के पूर्ण वीडियो बनाने की आवश्यकता नहीं है। भविष्य की भविष्यवाणी उसी अमूर्त दृश्य स्थान (abstract visual space) में करने से, जो यह वर्तमान को समझने के लिए उपयोग करता है, प्रणाली समन्वय और अनुकूलन का एक ऐसा स्तर प्राप्त करती है जो पहले प्राप्त करना कठिन था। यह दृष्टिकोण रोबोट को निरंतरता की भावना के साथ चलने की अनुमति देता है, जो दुनिया को देखने और उसके भीतर कार्य करने के बीच के अंतर को पाटता है। सिम्युलेटेड और वास्तविक ह्यूमनॉइड रोबोटों पर इस पद्धति की सफलता यह सुझाव देती है कि धारणा, भविष्यवाणी और क्रिया को इस तरह से संयोजित करने का यह तरीका भविष्य में अधिक सक्षम और स्वायत्त मशीनों के लिए एक मानक आधार बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।