VGGT-DP: Generalizable Robot Control via Vision Foundation Models
VGGT-DP एक सामान्यीकरण योग्य रोबोट नियंत्रण ढांचा है जो एक पूर्व-प्रशिक्षित 3D धारणा मॉडल से ज्यामितीय पूर्वाग्रहों को प्रोप्रियोसेप्टिव फीडबैक के साथ एकीकृत करके विज़ुओमोटर पॉलिसी प्रदर्शन को बढ़ाता है, जबकि स्थानिक ग्राउंडिंग, मजबूती और अनुमान दक्षता में सुधार के लिए फ्रेम-वार टोकन पुन: उपयोग और रैंडम टोकन प्रूनिंग का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट लंबे समय से जीवित प्राणियों की तरह सहज आत्मविश्वास के साथ चलने के लिए संघर्ष करते रहे हैं। दशकों तक, इंजीनियरों ने मशीनों को कठोर, हाथ से लिखे गए नियमों के साथ प्रोग्राम किया, जिसमें उन्हें हर संभावित स्थिति के लिए अपने हाथों को चलाने का सटीक तरीका बताया जाता था। यह दृष्टिकोण नियंत्रित कारखानों में तो काम करता था लेकिन जब दुनिया थोड़ी भी बदल जाती थी, तो यह बुरी तरह विफल हो जाता था। हाल के वर्षों में, एक नया दृष्टिकोण उभरा है: रोबनों को उदाहरण दिखाकर सिखाना, ठीक वैसे ही जैसे एक बच्चा अपने माता-पिता को देखते हुए सीखता है। रोबोट एक इंसान को कार्य करते हुए देखता है और उसकी गतिविधियों की नकल करने की कोशिश करता है। हालाँकि, इन शिक्षण प्रणालियों में अक्सर स्थान (space) की गहरी समझ की कमी होती है। वे एक वस्तु को पहचान तो सकते हैं, लेकिन अक्सर यह समझने में विफल रहते हैं कि वह वस्तु रोबोट के अपने शरीर के सापेक्ष त्रि-आयामी (3D) स्थान में कैसे स्थित है। स्थानिक समझ की यह कमी जटिल कार्यों को संभालने या कैमरा एंगल बदलने या वातावरण बदलने पर अनुकूलन करने की रोबोट की क्षमता को सीमित करती है।
शोधकर्ताओं की एक टीम ने इस अंतर को पाटने के लिए डिज़ाइन की गई एक नई प्रणाली विकसित की है, जो इस बात से प्रेरित है कि जैविक दृष्टि (biological vision) कैसे काम करती है। प्रकृति में, जानवर नेविगेट करने के लिए केवल एक इंद्रिय पर निर्भर नहीं होते; वे जो देखते हैं उसे अपने शरीर की स्थिति की निरंतर आंतरिक समझ, जिसे प्रोप्रियोसेप्शन (proprioception) कहा जाता है, के साथ जोड़ते हैं। यह आंतरिक फीडबैक एक मक्खी को चलती हुई पत्ती पर उतरने या एक बिल्ली को बिना गिरे संकीर्ण किनारे पर चलने में मदद करता है। त्सिंगहुआ विश्वविद्यालय और अन्य संस्थानों के शिजिया गे और सहयोगियों के नेतृत्व में शोधकर्ताओं ने VGGT-DP नामक एक ढांचा बनाया जो इस जैविक रणनीति की नकल करता है। भाषा के निर्देशों या सरल दृश्य संकेतों पर निर्भर रहने के बजाय, उनकी प्रणाली एक शक्तिशाली, पूर्व-प्रशिक्षित विजुअल मॉडल को रोबोट के आंतरिक अवस्था सेंसरों के साथ जोड़ती है। यह संयोजन रोबोट को अपने परिवेश का एक मजबूत, त्रि-आयामी मानचित्र बनाने और उस स्थान में अपने अंगों की सटीक स्थिति को समझने की अनुमति देता है।
इस नई प्रणाली का मूल एक विजुअल इंजन है जिसे भारी मात्रा में 3D पुनर्निर्माण डेटा पर प्रशिक्षित किया गया है। जहाँ मानक रोबोट विजन मॉडल अक्सर गति के लिए विवरण का त्याग करते हुए छोटे और तेज़ बनाए जाते हैं, वहीं यह प्रणाली एक बड़े पैमाने के मॉडल का उपयोग करती है जो गहराई (depth), कैमरा कोण और दृश्य के प्रत्येक बिंदु के सटीक स्थान की भविष्यवाणी करने में सक्षम है। शोधकर्ताओं ने पाया कि इस भारी-भरकम विजुअल मॉडल का उपयोग करके, रोबोट ने ज्यामिति (geometry) की बहुत मजबूत समझ प्राप्त की। हालाँकि, इतने बड़े मॉडल को वास्तविक समय में चलाना गणनात्मक रूप से महंगा और धीमा है। इसे हल करने के लिए, टीम ने 'फ्रेम-वाइज टोकन रियूज' (frame-wise token reuse) नामक एक चतुर तकनीक का आविष्कार किया। एक विशिष्ट वीडियो फीड में, कई फ्रेम काफी हद तक ओवरलैप होते हैं; पृष्ठभूमि और अधिकांश वस्तुएं एक मिलीसेकंड से दूसरे मिलीसेकंड में नहीं बदलती हैं। नया सिस्टम इस बात को पहचानता है और छवि के उन हिस्सों के लिए विजुअल फीचर्स की पुनर्गणना करना बंद कर देता है जो बदले नहीं हैं। यह केवल नवीनतम फ्रेम में आने वाली नई जानकारी को प्रोसेस करता है, और पिछले क्षणों से कैश किए गए डेटा का पुन: उपयोग करता है। इस दृष्टिकोण ने रोबोट के सोचने में लगने वाले समय को नाटकीय रूप रूप से कम कर दिया, जिससे शक्तिशाली विजुअल मॉडल वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन गया।
यह सुनिश्चित करने के लिए कि रोबोट का विजन उसकी भौतिक वास्तविकता से मेल खाए, शोधकर्ताओं ने एक आंतरिक पर्यवेक्षण (internal supervision) की परत जोड़ी। उन्होंने विजुअल सिस्टम को केवल यह देखकर रोबोट के अपने जोड़ों के कोण और हाथ की स्थिति की भविष्यवाणी करना सिखाया। यदि रोबोट की आँखों ने कप की ओर बढ़ते हाथ को देखा, तो सिस्टम को यह सही ढंग से अनुमान लगाने में सक्षम होना चाहिए था कि वह हाथ स्थान में कहाँ स्थित है। इसने विजुअल मॉडल को रोबोट की आंतरिक अवस्था के साथ पूरी तरह से संरेखित करने के लिए मजबूर किया, जिससे एक सटीक फीडबैक लूप बना। पहेली का अंतिम हिस्सा 'रैंडम टोकन प्रूनिंग' (random token pruning) नामक एक विधि थी, जहाँ सिस्टम प्रशिक्षण के दौरान जानबूझकर विजुअल डेटा के छोटे, यादृच्छिक हिस्सों को अनदेखा कर देता है। यह तकनीक तनाव परीक्षण (stress testing) के एक रूप के रूप में कार्य करती है, जो रोबोट को विशिष्ट विवरणों को याद करने के बजाय दृश्य के समग्र आकार और संरचना को सीखने के लिए मजबूर करती है, जिससे यह गायब जानकारी या शोर (noise) के प्रति अधिक लचीला बनता है।
हेरफेर (manipulation) से जुड़े चुनौतीपूर्ण कार्यों के एक समूह पर परीक्षण करने के दौरान, जैसे कि छेदों से वस्तुओं को उठाना, टोकरी में चीजें इकट्ठा करना, या डंडे को खींचना, नई प्रणाली ने मौजूदा तरीकों की तुलना में उल्लेखनीय सुधार दिखाया। सटीक स्थानिक तर्क की आवश्यकता वाले कठिन परिदृश्यों में, नए दृष्टिकोण ने पिछले शीर्ष प्रदर्शन करने वाले मॉडलों की तुलना में काफी उच्च सफलता दर हासिल की। उदाहरण के लिए, एक गहरे छेद से वस्तु उठाने के कार्य में, नया सिस्टम 55% प्रयासों में सफल रहा, जबकि पिछले सर्वश्रेष्ठ तरीके (DP3) ने केवल 14% हासिल किया। यह प्रणाली चीजों को ढेर में इकट्ठा करने जैसे कार्यों में भी अत्यधिक प्रभावी साबित हुई, जहाँ यह 44% बार सफल रही, जबकि इसके ठीक बाद वाले प्रतिस्पर्धी केवल 15% सफल रहे। ये परिणाम बताते हैं कि जटिल हेरफेर के लिए केवल भाषाई क्षमताओं को जोड़ने के बजाय, रोबोट को स्थान की गहरी, ज्यामिति-जागरूक समझ देना कहीं अधिक महत्वपूर्ण है।
हालाँकि, शोधकर्ता इस बात को लेकर भी सावधान थे कि सिस्टम कहाँ पीछे रह जाता है। जबकि यह जटिल स्थानिक तर्क वाले कार्यों में उत्कृष्ट था, यह बहुत बुनियादी कार्यों, जैसे कि पास की वस्तु की ओर हाथ बढ़ाना, पर पुराने, सरल मॉडलों से हमेशा बेहतर प्रदर्शन नहीं कर सका। इन सरल परिदृश्यों में, भारी विजुअल मॉडल कभी-कभी अनावश्यक जटिलता पैदा करता है। अधिक महत्वपूर्ण रूप से, जब कैमरा एंगल थोड़ा सा भी बदला, तो सिस्टम संघर्ष करने लगा। जब शोधकर्ताओं ने कैमरे को केवल पांच डिग्री घुमाकर रोबोट का परीक्षण किया, तो सफलता दर लगभग 40% से गिरकर लगभग शून्य हो गई। यह इंगित करता है कि हालांकि सिस्टम ने 3D स्थान को अच्छी तरह से समझना सीख लिया है, लेकिन इसने अभी तक उन नए दृष्टिकोणों (viewpoints) को संभालने के लिए पर्याप्त लचीलापन नहीं सीखा है जो इसके प्रशिक्षण डेटा में मौजूद नहीं थे। शोधकर्ता सुझाव देते हैं कि भविष्य के कार्य को इन विजुअल प्रस्तुतियों को परिप्रेक्ष्य (perspective) के परिवर्तनों के प्रति अधिक मजबूत बनाने पर ध्यान केंद्रित करना चाहिए।
अध्ययन निष्कर्ष निकालता है कि अधिक सक्षम रोबोटों का मार्ग उन्हें भाषा के साथ स्मार्ट बनाने में नहीं, बल्कि उनके विजन को भौतिक वास्तविकता में अधिक स्थापित करने में निहित है। रोबोट की अपनी शारीरिक स्थिति के साथ एक बड़े पैमाने के विजुअल मॉडल को जोड़कर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो इमिटेशन लर्निंग (imitation learning) में पहले कभी न देखी गई सटीकता के साथ दुनिया में नेविगेट और हेरफेर कर सकती है। यह कार्य प्रदर्शित करता है कि सामान्यीकरण योग्य रोबोट नियंत्रण की कुंजी वातावरण की गहरी, स्थानिक समझ है, जो रोबोट की अपनी अवस्था की आंतरिक जागरूकता द्वारा समर्थित है। हालाँकि चुनौतियाँ बनी हुई हैं, विशेष रूप से कैमरा एंगल में अप्रत्याशित बदलावों को संभालने के मामले में, लेकिन ये निष्कर्ष रोबोटिक नियंत्रण के भविष्य के लिए एक स्पष्ट दिशा प्रदान करते हैं: भाषाई जटिलता के बजाय स्थानिक ग्राउंडिंग और जैविक प्रेरणा को प्राथमिकता दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।