Geometry-aware attention for robust visual odometry

दुनिया में नेविगेट करने के लिए, एक रोबोट या एक स्वायत्त कार (autonomous car) को यह जानने की आवश्यकता होती है कि वह कहाँ है और वह कहाँ जा रही है। वह उस मानचित्र पर भरोसा नहीं कर सकती जो उसके पास पहले से मौजूद है, क्योंकि वह अक्सर एक नए, अज्ञात वातावरण में प्रवेश कर रही होती है। इसके बजाय, उसे कैमरे के माध्यम से दुनिया को गुजरते हुए देखकर अपनी गति का पता लगाना होता है। यह प्रक्रिया, जिसे विजुअल ओडोमेट्री (visual odometry) कहा जाता है, एक व्यक्ति के अंधेरे कमरे में चलने और दीवारों को महसूस करके और अपनी परिधीय दृष्टि (peripheral vision) में फर्नीचर के हिलने-डुलने को देखकर अपने पथ का अनुमान लगाने जैसा है। दशकों से, वैज्ञानिकों ने मशीनों को यह सिखाने की कोशिश की है कि वे इसे कैसे करें, इसके लिए उन्हें दो अलग-अलग नियमों के सेट दिए। नियमों का एक सेट मशीन को पूरे दृश्य को एक समग्र रूप में देखने के लिए कहता है, यह देखते हुए कि पूरी छवि में प्रकाश और रंग कैसे बदलते हैं। यह बड़े चित्र को देखने के लिए अच्छा है लेकिन यदि प्रकाश बदलता है या कैमरा बहुत तेज़ी से चलता है तो भ्रमित हो सकता है। दूसरा सेट नियमों का समूह मशीन को केवल तीखे, स्पष्ट बिंदुओं पर ध्यान केंद्रित करने के लिए कहता है, जैसे कि मेज का कोना या दीवार में एक विशिष्ट ईंट। यह बहुत सटीक है लेकिन यदि दीवार खाली हो या कैमरा लेंस गंदा हो जाए तो पूरी तरह से विफल हो जाता है।

लंबे समय तक, इंजीनियरों को इन दो दृष्टिकोणों में से किसी एक को चुनने के बीच चयन करना पड़ता था, यह स्वीकार करते हुए कि एक मशीन या तो बड़े चित्र को देखने में अच्छी होगी या तीखे विवरणों को ट्रैक करने में अच्छी होगी, लेकिन शायद ही कभी दोनों में। इस सीमा का अर्थ था कि रोबोट अक्सर वास्तविक दुनिया की अराजकता का सामना करते समय लड़खड़ा जाते थे, जैसे कि बारिश में गाड़ी चलाना, एक भीड़ भरे कमरे में चलना, या एक संकीले, बिना किसी विशेषता वाले गलियारे में ड्रोन उड़ाना। ब्राजील और कनाडा के शोधकर्ताओं की एक टीम ने अब इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है। उन्होंने एक ऐसी प्रणाली बनाई है जिसे चुनाव नहीं करना पड़ता है। इसके बजाय, यह दुनिया के व्यापक दृश्य और विशिष्ट बिंदुओं के तीखे विवरणों दोनों का उपयोग करना सीखती है, उन्हें आपस में मिला देती है ताकि एक विधि की कमजोरियों को दूसरी की खूबियों से ढका जा सके।

शोधकर्ताओं ने, हडसन ब्रूनो और उनके सहयोगियों के नेतृत्व में, एक नया आर्किटेक्चर बनाया जिसे वे DDI-VO कहते हैं। नाम 'डीप डायरेक्ट-इनडायरेक्ट विजुअल ओडोमेट्री' (Deep Direct-Indirect Visual Odometry) है, जो यह बताता है कि सिस्टम कैसे काम करता है। इसके दो मुख्य भाग हैं जो समानांतर में काम करते हैं। पहला भाग एक वाइड-एंगल ऑब्जर्वर (wide-angle observer) की तरह कार्य करता है। यह पूरी इमेज पेयर को देखता है, प्रकाश के प्रवाह, जमीन की बनावट और वातावरण के सामान्य आकार को ग्रहण करता है। यह भाग संदर्भ (context) को समझने में बहुत अच्छा है, जैसे कि यह जानना कि कार आगे बढ़ रही है क्योंकि सड़क सामने की ओर फैली हुई है, भले ही सड़क गीली और धुंधली हो। दूसरा भाग एक विवरण-उन्मुख ट्रैकर (detail-oriented tracker) की तरह कार्य करता है। यह छवि में विशिष्ट, तीखे बिंदुओं को पाता है, जैसे कि किसी इमारत का कोना या दीवार पर एक विशिष्ट पैटर्न, और उनका बारीकी से पीछा करता है। यह भाग सटीक दूरियों को मापने में उत्कृष्ट है लेकिन यदि दीवार सफेद हो या कैमरा बहुत अधिक हिलता है तो खो सकता है।

उनके डिजाइन की प्रतिभा इस बात में निहित है कि ये दोनों भाग एक-दूसरे से कैसे बात करते हैं। सिस्टम के बीच में, एक तंत्र (mechanism) है जो यह तय करता है कि किसी भी क्षण वाइड-एंगल दृश्य पर कितना भरोसा किया जाए बनाम तीखे बिंदुओं पर। कल्पना कीजिए कि एक नाविक एक शहर में घूम रहा है। कभी-कभी, नाविक यह जानने के लिए कि वह किस दिशा में है, पूरे क्षितिज (skyline) को देखता है। अन्य समय में, वह बिल्कुल कहाँ है यह जानने के लिए एक विशिष्ट स्ट्रीट साइन को देखता है। नया सिस्टम यह स्वचालित रूप से करता है। यदि कैमरा लेंस पानी की बूंदों से ढका हुआ है, तो सिस्टम पानी द्वारा बनाए गए धुंधले, विकृत बिंदुओं को अनदेखा करना सीख जाता है और दृश्य के समग्र आकार पर अधिक निर्भर करता है। यदि कैमरा एक लंबे, खाली सफेद गलियारे के माध्यम से जा रहा है जिसमें कोई विशिष्ट विशेषता नहीं है, तो सिस्टम विशिष्ट बिंदुओं को खोजने के बजाय पूरे चित्र के सूक्ष्म परिवर्तनों पर अपना ध्यान केंद्रित करता है जो मौजूद नहीं हैं। ध्यान केंद्रित करने की यह क्षमता गतिशील रूप से (dynamically) बदलने की अनुमति देती है जिससे मशीन खराब दृश्य स्थितियों के बावजूद आगे बढ़ती रहती है।

सिस्टम को यह निर्णय लेने के लिए सिखाने हेतु, शोधकर्ताओं ने एक चतुर प्रशिक्षण रणनीति का उपयोग किया। उन्होंने केवल मशीन को तुरंत एक जटिल ड्राइविंग सिमुलेशन में नहीं डाला। इसके बजाय, उन्होंने एक सरल कार्य से शुरुआत की। उन्होंने सिस्टम को यह समझने के लिए सिखाया कि जब कैमरा कोण बदलता है तो समतल सतहें, जैसे कि कागज का टुकड़ा या दीवार, कैसे चलती और विकृत होती हैं। यह एक मौलिक ज्यामितीय कौशल है जो मशीन को यह समझने में मदद करता है कि आकार अंतरिक्ष में एक-दूसरे से कैसे संबंधित हैं। एक बार जब सिस्टम ने इस बुनियादी ज्यामिति में महारत हासिल कर ली, तो उन्होंने इसे कठिन कार्य सिखाया कि कैमरा 3D वातावरण के माध्यम से वास्तव में कैसे चला। सीखने की इस चरण-दर-चरण प्रक्रिया, जिसे लेखक "पाठ्यचर्या" (curriculum) कहते हैं, ने यह सुनिश्चित किया कि वास्तविक दुनिया के वीडियो से निपटने से पहले सिस्टम के पास ज्यामितीय समझ की एक ठोस नींव हो।

शोधकर्ताओं ने अपने नए सिस्टम का परीक्षण विभिन्न चुनौतीपूर्ण डेटासेट्स पर किया जो अलग-अलग वास्तविक दुनिया के परिदृश्यों का प्रतिनिधित्व करते हैं। उन्होंने राजमार्गों पर चलती कारों, कमरों के भीतर उड़ते ड्रोन्स और भीड़ भरे स्थानों में हाथ से पकड़े गए कैमरों के डेटा का उपयोग किया। हर मामले में, उन्होंने अपने सिस्टम की मौजूदा सर्वोत्तम विधियों के विरुद्ध तुलना की। परिणामों ने दिखाया कि जहाँ अन्य सिस्टम कठिन स्थितियाँ आने पर अक्सर नाटकीय रूप से विफल हो जाते थे, वहीं नया सिस्टम स्थिर रहा। उदाहरण के लिए, उन परीक्षणों में जहाँ कैमरा लेंस पानी से ढका हुआ था या प्रकाश अचानक बदल गया था, नया सिस्टम पथ को सटीक रूप से ट्रैक करना जारी रखता था, जबकि पुराने तरीके रास्ता भटक जाते थे और भटक जाते थे। यह सिस्टम विशेष रूप से इनडोर वातावरण में प्रभावशाली था जहाँ ट्रैक करने के लिए बहुत कम विशिष्ट विशेषताएं होती हैं, एक ऐसी स्थिति जहाँ पारंपरिक विधियाँ आमतौर पर विफल हो जाती हैं।

अध्ययन ने यह भी देखा कि सिस्टम ने वास्तव में अपने निर्णय कैसे लिए। यह देखने के लिए कि सिस्टम क्या "देख" रहा था, शोधकर्ताओं ने पाया कि इसने उन चीजों को अनदेखा करना सीख लिया था जो एक मानव पर्यवेक्षक को भ्रमित कर सकती हैं। जब कैमरा चलती कारों वाली सड़क से गुजर रहा था, तो सिस्टम ने स्थिर सड़क और इमारतों पर ध्यान केंद्रित करना सीखा, और उन चलते हुए वाहनों को अनदेखा किया जो ट्रैकिंग को धोखा दे सकते थे। जब लेंस गीला था, तो इसने पानी की बूंदों के कारण होने वाले धुंधले धब्बों को दबाना सीख लिया। यह सुझाव देता है कि सिस्टम केवल पैटर्न को याद नहीं कर रहा है बल्कि वास्तव में ज्यामिति और गति के अंतर्निहित नियमों को सीख रहा है। इसने सीख लिया है कि कौन सा विश्वसनीय लैंडमार्क है और कौन सा केवल विजुअल नॉइज़ (visual noise) है।

निष्कर्ष बताते हैं कि रोबोट नेविगेशन का भविष्य विभिन्न प्रकार के सेंसरों या एल्गोरिदम के बीच चयन करने में नहीं, बल्कि उन्हें बुद्धिमानी से संयोजित करने में निहित है। व्यापक, संदर्भ-जागरूक दृश्य को सटीक, विवरण-उन्मुख दृश्य के साथ जोड़कर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो वास्तविक दुनिया की अप्रत्याशित प्रकृति को संभालने के लिए पर्याप्त मजबूत है। हालांकि यह सिस्टम पूर्ण नहीं है और अभी भी सबसे चरम स्थितियों में चुनौतियों का सामना करता है, यह एक स्वायत्त मशीन को सुरक्षित और विश्वसनीय रूप से नेविगेट करने में सक्षम बनाने की दिशा में एक महत्वपूर्ण कदम है, चाहे वे कार चला रही हों, ड्रोन उड़ा रही हों, या किसी व्यस्त अस्पताल में रोबोट का मार्गदर्शन कर रही हों। यह कार्य प्रदर्शित करता है कि मशीनों को बड़े चित्र और छोटे विवरणों के बीच संतुलन बनाना सिखाकर, हम ऐसे सिस्टम बना सकते हैं जो उनके हिस्सों के योग से कहीं अधिक लचीले होते हैं।