JEPADepth: Masked Predictive Representation Learning for Self-Supervised Monocular Depth Estimation

कल्पना कीजिए कि आप एक रोबोट को दुनिया को 3D में देखना सिखाने की कोशिश कर रहे हैं, बिल्कुल इंसानों की तरह, लेकिन आपके पास केवल एक कैमरा है और दूरी मापने के लिए कोई पैमाना (रूलर) नहीं है। यह "मोनोकुलर डेप्थ एस्टीमेशन" (monocular depth estimation) की चुनौती है। लंबे समय तक, रोबोट को यह ट्रिक सिखाने का सबसे अच्छा तरीका यह था कि उसे दो तस्वीरें दिखाई जाएं जो एक सेकंड के बहुत छोटे अंतराल पर ली गई हों, और फिर उससे पूछा जाए कि उनके बीच दुनिया कितनी बदली। यह वैसा ही है जैसे आप अपना अंगूठा ऊपर रखते हैं और फिर एक आंख बंद करके दूसरी आंख से देखते हैं; आपका मस्तिष्क इस आधार पर दूरी की गणना करता है कि आपका अंगूठा कितना "कूद" गया। AI की दुनिया में, इसे "फोटोमेट्रिक रिकंस्ट्रक्शन" (photometric reconstruction) कहा जाता है। कंप्यूटर एक छवि को दूसरी छवि जैसा दिखने के लिए बदलने (warp करने) की कोशिश करता है, और यदि गणित सही बैठता है, तो वह मान लेता है कि उसने गहराई का सही अनुमान लगाया है।

हालाँकि, यह तरीका थोड़ा नाजुक है। यह इस धारणा पर बहुत अधिक निर्भर करता है कि रोशनी समान रहती है और वस्तुएं हिलती या बदलती नहीं हैं। यदि कोई कार पास से गुजर जाती है, या सूरज अचानक गीली सड़क पर चमक पड़ता है, तो कंप्यूटर भ्रमित हो जाता है क्योंकि उसका "अंगूठे के कूदने" वाला गणित विफल हो जाता है। यह एक ऐसी पहेली को हल करने जैसा है जहाँ टुकड़े बार-बार अपना रंग बदलते रहते हैं। रोबोट को अधिक स्मार्ट और मजबूत बनाने के लिए, वैज्ञानिक ऐसे तरीके खोज रहे हैं जिनसे उन्हें केवल पिक्सेल को मैच करना ही नहीं, बल्कि दृश्य की संरचना (structure) को समझना सिखाया जा सके—जैसे यह जानना कि एक पेड़ तने और शाखाओं वाली एक ठोस वस्तु है, चाहे धूप चमक रही हो या बादल छाए हों। यहीं पर नया पेपर, JEPADepth, एक चतुर नई ट्रेनिंग ट्रिक के साथ आता है।

पेपर का बड़ा विचार: खाली जगहों को भरकर सिखाना

लेखक, आयनट ग्रिगोर और कैलिन-एड्रियन पोपा, जो पॉलिटेक्निका यूनिवर्सिटी ऑफ टिमिशोआरा से हैं, एक विधि प्रस्तावित करते हैं जिसे JEPADepth कहा जाता है। उनके दृष्टिकोण को एक "खाली स्थान भरें" (fill-in-the-blanks) टेस्ट की तरह समझें, लेकिन यहाँ शब्दों के बजाय, खाली स्थान चित्र के हिस्से हैं, और अक्षरों के बजाय, रोबोट को गायब हिस्सों का अर्थ गेस करना है।

पुराने तरीके (फोटोमेट्रिक रिकंस्ट्रक्शन) में, कंप्यूटर पड़ोसी छवि के सटीक रंगों और चमक की नकल करने की कोशिश करता है। यह एक फोटोकॉपी करने वाली मशीन की तरह है जो चित्र को पूरी तरह से पुनरुत्पादित करने की कोशिश करती है। यदि कागज मुड़ा हुआ है या स्याही फैली हुई है, तो कॉपी विफल हो जाती है।

नए JEPADepth तरीके में, रोबोट I-JEPA नामक तकनीक से प्रेरित एक "मास्क्ड प्रेडिक्टिव" (masked predictive) रणनीति का उपयोग करता है। यह इस प्रकार काम करता है:

1. मास्क (The Mask): कंप्यूटर एक छवि लेता है और उसके कई यादृच्छिक (random) टुकड़ों को ढक देता है (जैसे किसी फोटो के कुछ हिस्सों पर स्टिकी नोट्स लगा देना)।
2. अनुमान (The Guess): रोबोट दिखाई देने वाले हिस्सों (संदर्भ/context) को देखता है और अनुमान लगाता है कि छिपे हुए हिस्से वास्तव में कैसे दिखने चाहिए, न कि सटीक पिक्सेल (रंगों) के रूप में, बल्कि "अवधारणाओं" (concepts) या "विशेषताओं" (features) के रूप में (जैसे "यह एक पेड़ का तना है" या "यह एक सड़क है")।
3. शिक्षक (The Teacher): एक विशेष "टीचर" नेटवर्क (जो मुख्य मस्तिष्क की ही एक प्रति है जो धीरे-धीरे अपडेट होता है) उन छिपे हुए टुकड़ों के सही उत्तर प्रदान करता है। रोबट अपने अनुमान की तुलना शिक्षक के उत्तर से करता है और अंतर से सीखता है।

जादू यह है कि यह सब "रिप्रेजेंटेशन स्पेस" (representation space) में होता है। कल्पना कीजिए कि रोबोट पत्ते के हरे रंग की सटीक शेड का अनुमान नहीं लगा रहा है; वह पत्ते के विचार (idea) का अनुमान लगा रहा है। यह रोबोट को रोशनी या बनावट (texture) में बदलाव से धोखा देना बहुत कठिन बना देता है। यदि सूरज पत्ते पर अलग तरह से चमकता है, तो पत्ते का "विचार" वही रहता है, इसलिए रोबोट गहराई का सही अनुमान लगा लेता है।

उन्होंने क्या पाया: बड़ा नहीं, बल्कि स्मार्ट

शोधकर्ताओं ने इस नई विधि का परीक्षण KITTI डेटासेट पर किया, जो ड्राइविंग वीडियो का एक मानक संग्रह है जिसका उपयोग सेल्फ-ड्राइविंग कारों को प्रशिक्षित करने के लिए किया जाता है। उन्होंने अपने नए JEPADepth मॉडल की तुलना मौजूदा सर्वश्रेष्ठ मॉडलों से की।

यहाँ अच्छी खबर है: JEPADepth काम करता है।

• बेहतर सटीकता: KITTI डेटासेट पर परीक्षण के दौरान, नई विधि ने पिछले "गोल्ड स्टैंडर्ड" मॉडल्स को पछाड़ दिया। उदाहरण के लिए, एक मानक परीक्षण पर, इसने 0.101 की त्रुटि दर (जिसे AbsRel कहा जाता है) प्राप्त की, जो पिछले सर्वश्रेष्ठ ट्रांसफार्मर-आधारित मॉडल (MonoViT) से बेहतर थी और पुराने CNN-आधारित मॉडलों से काफी बेहतर थी।
• "ज़ीरो-शॉट" (Zero-Shot) सुपरपावर: सबसे रोमांचक खोज यह है कि रोबोट नए स्थानों के लिए कितनी अच्छी तरह ढल जाता है। मॉडल को केवल KITTI (जो कैलिफोर्निया के राजमार्गों जैसा दिखता है) पर प्रशिक्षित किया गया था, लेकिन फिर उन्होंने इसे बिना किसी अतिरिक्त प्रशिक्षण या "फाइन-ट्यूनिंग" के Cityscapes (व्यस्त यूरोपीय शहरों का एक डेटासेट) और Make3D (आउटडोर दृश्यों का एक डेटासेट) पर टेस्ट किया।
  • Cityscapes पर, JEPADepth ने सर्वश्रेष्ठ सटीकता के लिए बराबरी की और 7 में से 5 मेट्रिक्स में शीर्ष प्रदर्शन किया।
  • Make3D पर, इसने सर्वश्रेष्ठ सटीकता (AbsRel 0.275) और सर्वश्रेष्ठ लॉग-एरर (RMSElog 0.143) प्राप्त किया, जो इसके सबसे मजबूत प्रतिस्पर्धियों को भी पीछे छोड़ गया।

यह सुझाव देता है कि केवल पिक्सेल की नकल करने के बजाय दृश्य की "संरचना" की भविष्यवाणी करने को सीखकर, रोबलेट ने 3D स्पेस की एक अधिक सार्वभौमिक समझ विकसित कर ली है जो उन वातावरणों में भी काम करती है जिन्हें उसने पहले कभी नहीं देखा है।

ट्रेड-ऑफ: थोड़ा अतिरिक्त होमवर्क, बाद में कोई अतिरिक्त होमवर्क नहीं

आप सोच सकते हैं, "क्या इससे रोबोट धीमा हो जाएगा या इसके लिए बड़े कंप्यूटर की आवश्यकता होगी?" लेखकों ने इसे इस तरह से डिजाइन किया है कि उत्तर है: नहीं।

"खाली स्थान भरने" वाली ट्रेनिंग (JEPA वाला हिस्सा) के लिए प्रशिक्षण के दौरान थोड़ी अधिक मेहनत की आवश्यकता होती है। कंप्यूटर को भविष्यवाणियां करने और उनकी तुलना शिक्षक से करने के लिए एक अतिरिक्त चरण चलाना पड़ता है। इसने कुल प्रशिक्षण समय में लगभग 16% की वृद्धि की (एक सिंगल हाई-एंड GPU पर 7.4 घंटे के बजाय लगभग 8.6 घंटे)।

हालाँकि, एक बार प्रशिक्षण समाप्त हो जाने के बाद, "शिक्षक" और "प्रेडिक्शन" वाले हिस्सों को हटा दिया जाता है। दुनिया में जाने वाला अंतिम रोबोट बिल्कुल उसी आकार और गति का होता है जैसा कि मानक संस्करण। यह एक ऐसे छात्र की तरह है जो स्मार्ट बनने के लिए घर पर अतिरिक्त अभ्यास प्रश्न करता है, लेकिन परीक्षा के दिन, उसे केवल प्राप्त किए गए ज्ञान का उपयोग करने की आवश्यकता होती है, न कि उन अतिरिक्त अभ्यास पत्रों की। पेपर पुष्टि करता है कि इस अतिरिक्त प्रशिक्षण लागत के परिणामस्वरूप एक ऐसा मॉडल मिलता है जो तैनात करने के लिए उतना ही कुशल है लेकिन बहुत अधिक स्मार्ट है।

पेपर क्या कहता है कि यह नहीं है

लेखक इस बात को लेकर भी स्पष्ट थे कि उनका तरीका क्या नहीं है।

• यह कोई जादुई समाधान (magic bullet) नहीं है जो सभी डेप्थ एस्टीमेशन समस्याओं को हल कर देता है। वे नोट करते हैं कि उनका वर्तमान "डिकोडर" (वह हिस्सा जो रोबोट के मस्तिष्क को अंतिम डेप्थ मैप में बदलता है) अभी भी अपेक्षाकृत सरल है। उन्होंने इसे एक अधिक जटिल डिज़ाइन (जिसे DPT कहा जाता है) के साथ बदलने की कोशिश की, लेकिन इससे उनके सेल्फ-सुपरवाइज्ड सेटअप में कोई मदद नहीं मिली, जिससे पता चलता है कि बाधा इस बात में है कि रोबोट अपनी सीखी हुई विशेषताओं का उपयोग कैसे करता है, न कि केवल विशेषताओं में।
• यह ऐसी विधि नहीं है जो एक मजबूत शुरुआती बिंदु के बिना काम कर सके। प्रयोगों से पता चला कि यदि उन्होंने एक रैंडम, बिना प्रशिक्षित मस्तिष्क के बजाय एक पूर्व-प्रशिक्षित "DINOv3" मस्तिष्क का उपयोग किया होता, तो यह विधि बुरी तरह विफल हो जाती। "खाली स्थान भरने" वाली ट्रिक तभी काम करती है जब रोबोट के पास पहले से ही विजुअल कॉन्सेप्ट्स की एक अच्छी शब्दावली हो।
• यह पिक्सेल-परफेक्ट रिकंस्ट्रक्शन पर निर्भर नहीं है। पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि सटीक पिक्सेल रंगों की भविष्यवाणी करना गहराई सीखने का सबसे अच्छा तरीका है। उनके परीक्षणों ने दिखाया कि सटीक पिक्सेल रंगों का अनुमान लगाने के बजाय "फीचर्स" (छवि का अमूर्त अर्थ) की भविष्यवाणी करना बेहतर काम करता है।

निष्कर्ष

JEPADepth यह सुझाव देता है कि रोबोट को गहराई देखने के लिए सिखाने का भविष्य केवल उन्हें अधिक चित्र दिखाने या चित्रों को अधिक चमकीला बनाने के बारे में नहीं है। यह उन्हें दृश्य की कहानी समझने के लिए सिखाने के बारे में है। मानक ट्रेनिंग रूटीन में "छिपे हुए भाग का अनुमान लगाएं" वाला खेल जोड़कर, लेखकों ने एक ऐसा मॉडल बनाया है जो अधिक सटीक है, रोशनी और परिदृश्य में बदलाव के प्रति अधिक मजबूत है, और नए वातावरण को संभालने में बेहतर है—और यह सब बिना अंतिम रोबोट को भारी या धीमा बनाए। यह सेल्फ-ड्राइविंग कारों और रोबोट्स को दुनिया को केवल कॉपी करने के बजाय, उसे वास्तव में "देखने" में सक्षम बनाने की दिशा में एक आशाजनक कदम है।