V-Link: Recovering Lost Visual Representations in Action DiT for Vision-Language-Action Models
V-Link स्थानिक (Spatial) और अर्थपूर्ण (Semantic) क्वेरी निरूपणों (representations) को पेश करके विजन-लैंग्वेज-एक्शन मॉडलों की उस महत्वपूर्ण सीमा को संबोधित करता है जिसमें 3D ज्यामितीय और 2D अर्थपूर्ण जानकारी तक सीमित पहुंच होती है, जिन्हें स्पष्ट रूप से रिकवर और एक्शन DiT में इंजेक्ट किया जाता है, जिससे कई बेंचमार्क में रोबोटिक मैनिपुलेशन प्रदर्शन में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
ऐसे रोबोट जो एक बिखरे हुए कमरे में नेविगेट कर सकें, एक विशिष्ट उपकरण उठा सकें और उसे इंसान को थमा सकें, उनके लिए एक ऐसे प्रकार की बुद्धिमत्ता की आवश्यकता होती है जो देखने, समझने और चलने-फिरने के कौशल का मिश्रण हो। वर्षों से, शोधकर्ताओं ने ऐसे सिस्टम बनाए हैं जो एक शक्तिशाली विजुअल मस्तिष्क (जो वस्तुओं को पहचानने और निर्देशों को पढ़ने में सक्षम है) को एक अलग नियंत्रण मॉड्यूल के साथ जोड़ते हैं, जो उन विचारों को रोबोट के हाथों और बाहों की सटीक गतिविधियों में अनुवादित करता है। इस दो-भाग वाले दृष्टिकोण ने मशीनों को ब्लॉक रखने से लेकर सरल उपकरणों को जोड़ने जैसे तेजी से जटिल कार्य करने में सक्षम बनाया है। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है: क्या रोबोट का वह हिस्सा जो वास्तव में अंगों को हिलाता है, वास्तव में उसी तरह दुनिया को देखता है जैसे कि सोचने वाला हिस्सा देखता है? यदि "सोचने" वाले मस्तिष्क से "चलने" वाले शरीर तक पहुँचते समय दृश्य जानकारी खो जाती है या धुंधली हो जाती है, तो रोबोट यह तो समझ सकता है कि एक कप मेज पर है, लेकिन वह उसे पकड़ने में विफल हो सकता है क्योंकि वह दूरी या वस्तु के आकार का सटीक अनुमान नहीं लगा पाता है।
शोधकर्ताओं की एक टीम ने ठीक उसी स्थान की पहचान की है जहाँ यह विफलता होती है और इसे ठीक करने के लिए एक समाधान तैयार किया है। उन्होंने पाया कि वर्तमान उन्नत रोबोट प्रणालियों में, नियंत्रण मॉड्यूल को भेजी जाने वाली दृश्य जानकारी की अंतिम परत भाषा और वस्तुओं के नामों की ओर अत्यधिक झुकी हुई होती है, जबकि गहराई और त्रि-आयामी (3D) स्थान के महत्वपूर्ण विवरण पीछे छूट जाते हैं। इसे हल करने के लिए, उन्होंने V-Link नामक एक नई विधि विकसित की, जो रोबोट द्वारा हिलने का प्रयास करने से पहले इन खोए हुए स्थानिक विवरणों को पुनः प्राप्त करने के लिए एक सेतु (ब्रिज) के रूप में कार्य करती है। सिस्टम को "क्या" (वस्तु की पहचान) और "कहाँ" (3D स्थान में उसकी सटीक स्थिति) दोनों को अलग करने और संरक्षित करने के लिए स्पष्ट रूप से प्रशिक्षित करके, शोधकर्ताओं ने रोबोट को उच्च सफलता दर के साथ नाजुक हेरफेर (manipulation) वाले कार्य करने में सक्षम बनाया। कंप्यूटर सिमुलेशन और वास्तविक मानव सदृश (humanoid) रोबोटों के परीक्षणों में, इस दृष्टिकोण ने मशीनों को उन कार्यों को पूरा करने में सक्षम बनाया जिनमें वे पहले संघर्ष करते थे, जैसे कि पावर स्विच चालू करना या जटिल वातावरण में नेविगेट करना, जिससे यह सिद्ध हुआ कि सटीक रोबोटिक क्रिया के लिए दृश्य धारणा की पूर्ण समृद्धि को बहाल करना आवश्यक है।
समस्या का मूल कारण यह है कि आधुनिक रोबोटिक मस्तिष्क कैसे संरचित होते हैं। ये सिस्टम आमतौर पर छवियों और भाषा को संसाधित करने के लिए एक बड़े प्री-ट्रेंड मॉडल का उपयोग करते हैं, जो दृश्य का सारांश प्रस्तुत करने वाले 'फीचर्स' का एक अंतिम सेट उत्पन्न करता है। इस सारांश को फिर एक अलग कंट्रोलर में फीड किया जाता है जो यह तय करता है कि रोबोट को कैसे हिलना चाहिए। शोधकर्ताओं ने पाया कि जबकि यह सारांश वस्तुओं की पहचान करने के लिए उत्कृष्ट है, यह दृश्य की ज्यामितीय वास्तविकता को संप्रेषित करने में आश्चर्यजनक रूप से कमजोर है। जब उन्होंने केवल इस अंतिम सारांश के आधार पर गहराई का अनुमान लगाने या वस्तुओं को विभाजित (segment) करने की कंट्रोलर की क्षमता का परीक्षण किया, तो परिणाम कमजोर रहे। ऐसा लगा जैसे कंट्रोलर एक शॉर्टकट ले रहा था, वस्तुओं के भौतिक आकार और दूरी के बजाय उनके अर्थपूर्ण लेबल (semantic labels) पर निर्भर था। यह एक ऐसे ड्राइवर के समान है जो हर सड़क का नाम तो जानता है लेकिन अपने सामने चल रही कार से दूरी का अंदाजा नहीं लगा सकता; ज्ञान मौजूद है, लेकिन व्यावहारिक अनुप्रयोग गायब है।
इसे संबोधित करने के लिए, शोधकर्ताओं ने एक ऐसी प्रणाली पेश की जो सिस्टम को दृश्य सूचना के दो अलग-अलग प्रकारों को स्पष्ट रूप से सीखने और संरक्षित करने के लिए मजबूर करती है: एक दृश्य के ज्यामिति (geometry) पर केंद्रित और दूसरी उसके अर्थपूर्ण अर्थ (semantic meaning) पर। उन्होंने विजुअल प्रोसेसिंग स्टेज में विशेष, सीखने योग्य 'टोकेन्स' (जो अनिवार्य रूप से सिस्टम द्वारा स्वयं से पूछे गए समर्पित प्रश्न हैं) जोड़े। एक सेट के टोकन को पूरी तरह से गहराई और स्थानिक संबंधों पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया गया, जबकि दूसरे सेट को वस्तुओं और उनकी श्रेणियों की पहचान करने पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया गया। महत्वपूर्ण बात यह है कि इन टोकन्स को सीखने की प्रक्रिया के दौरान सहायक कार्यों (auxiliary tasks) का उपयोग करके प्रशिक्षित किया गया था, जैसे कि दृश्य के डेप्थ मैप की भविष्यवाणी करना या विभिन्न वस्तुओं को विभाजित करना, लेकिन तैनाती के समय इन अतिरिक्त कार्यों को हटा दिया जाता है। यह सुनिश्चित करता है कि रोबोट वास्तविक समय में इन अतिरिक्त गणनाओं को किए बिना इन स्थानिक और अर्थपूर्ण विवरणों को आत्मसात करना सीख ले।
एक बार जब ये विशिष्ट प्रतिनिधित्व सीख लिए जाते हैं, तो उन्हें एक सावधानीपूर्वक डिज़ाइन किए गए मार्ग के माध्यम से रोबोट के नियंत्रण मॉड्यूल में इंजेक्ट किया जाता है। सिस्टम केवल सभी जानकारी को आपस में मिला नहीं देता है; इसके बजाय, यह एक विषम (asymmetric) दृष्टिकोण का उपयोग करता है जहाँ अर्थपूर्ण जानकारी मानक दृश्य डेटा के पूरक के रूप रूप में कार्य करती है, जबकि स्थानिक जानकारी को रोबोट की गतिविधियों को नियंत्रित करने के लिए एक समर्पित चैनल दिया जाता है। यह डिज़ाइन सुनिश्चित करता है कि कंट्रोलर दृश्य की 3D ज्यामिति को अनदेखा न कर सके। परिणाम यह है कि रोबोट न केवल यह जानता है कि वह क्या देख रहा है, बल्कि यह भी समझता है कि वह अपने शरीर के सापेक्ष स्थान में वास्तव में कहाँ है।
इस रिकवरी का प्रभाव तत्काल और मापने योग्य था। कंप्यूटर सिमुलेशन की एक श्रृंखला में, जिसमें वस्तुओं को हिलाना, सामान रखना और सतहों के संपर्क में आना जैसे कार्य शामिल थे, नई विधि ने पिछले अत्याधुनिक मॉडलों की तुलना में काफी बेहतर प्रदर्शन किया। एक बेंचमार्क पर, सफलता दर तीस प्रतिशत से अधिक बढ़ गई, और दूसरे पर, इसमें उन्नीस प्रतिशत का सुधार हुआ। सुधार केवल कार्यों को तेजी से पूरा करने के बारे में नहीं था; यह सटीक गहराई धारणा (depth perception) की आवश्यकता वाले सूक्ष्म हेरफेर को संभालने की क्षमता के बारे में था। एक मानव सदृश (humanoid) रोबोट के साथ वास्तविक दुनिया के परीक्षणों में, सिस्टम ने क्रमशः ९८% और ९४% की सफलता दर के साथ स्वायत्त 'पावर-ऑन' और 'पावर-ऑफ' कार्यों को सफलतापूर्वक पूरा किया, जो बेसलाइन मॉडल की तुलना में एक बड़ी छलांग है।
शायद सबसे महत्वपूर्ण बात यह है कि यह वृद्धि रोबोट की गति की लागत के बिना आई। शोधकर्ताओं ने गणना की कि नई विधि ने रोबोट के निर्णय लेने के समय में केवल एक मिलीसेकंड का एक छोटा सा हिस्सा जोड़ा है। यह दक्षता व्यावहारिक रोबोटिक्स के लिए महत्वपूर्ण है, जहाँ देरी अस्थिरता या विफलता का कारण बन सकती है। दृश्य प्रतिनिधित्व को खोए बिना सिस्टम को धीमा किए बिना, शोधकर्ताओं ने प्रदर्शित किया है कि रोबोटिक हेरफेर में बाधा कंप्यूटिंग शक्ति की कमी नहीं थी, बल्कि यह कि दृश्य जानकारी को धारणा (perception) से क्रिया (action) तक कैसे स्थानांतरित किया जाता है, उसमें एक अंतर था। यह कार्य सुझाव देता है कि रोबोटों के लिए भौतिक दुनिया में महारत हासिल करने के लिए, उन्हें दृश्य संकेतों के पूर्ण स्पेक्ट्रम तक पहुंच दी जानी चाहिए, यह सुनिश्चित करते हुए कि दृश्य की उनकी समझ उतनी ही समृद्ध और विस्तृत हो जितनी कि उनके भीतर चलने-फिरने की क्षमता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।