Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis

कल्पना कीजिए कि आप एक रोबोट हैं जिसे एक नए ग्रह की खोज के लिए भेजा गया है। आपका काम घूमना, तस्वीरें लेना और यह पता लगाना है कि आप मानचित्र पर वास्तव में कहाँ हैं। लेकिन इसमें एक पेंच है: वह ग्रह भूरे रंग के पत्थरों का एक विशाल, खाली रेगिस्तान जैसा दिखता है। वहाँ कोई पेड़ नहीं है, कोई इमारत नहीं है, कोई सड़क का संकेत नहीं है, और न ही कोई विशिष्ट पैटर्न है। हर पत्थर बिल्कुल दूसरे पत्थर जैसा दिखता है। यह एक रोबोट की आँखों के लिए किसी बुरे सपने जैसा है। यदि आप अपना सिर थोड़ा सा भी घुमाते हैं, तो दृश्य पूरी तरह से बदल जाता है, फिर भी वह वास्तव में वही स्थान होता है। इसे "परसेप्चुअल एलियासिंग" (perceptual aliasing) कहा जाता है, और यह ऐसा है जैसे आप एक ऐसे मोहल्ले में अपना घर ढूँढने की कोशिश कर रहे हों जहाँ हर घर एक ही शेड के ग्रे रंग में रंगा हो और किसी का भी कोई घर का नंबर न हो।

इस समस्या को हल करने के लिए, वैज्ञानिक रोबोटों को तस्वीरों से 3D मानचित्र बनाना सिखा रहे हैं, जिसे "नोवेल व्यू सिंथेसिस" (Novel View Synthesis) कहा जाता है। इसे ऐसे समझें जैसे एक रोबोट कई तस्वीरें लेता है और फिर एक कंप्यूटर प्रोग्राम का उपयोग करके दुनिया का एक 3D संस्करण "सपनों" में बुनता है जिसे वह किसी भी कोण से देख सकता है। एक लोकप्रिय तरीका "3D गॉसियन स्प्लेटिंग" (3D Gaussian Splatting) है। कल्पना कीजिए कि दुनिया ठोस ब्लॉकों से नहीं बनी है, बल्कि अंतरिक्ष में तैरते लाखों छोटे, धुंधले, रंगीन गुब्बारों से बनी है। रोबोट इन गुब्बारों को तब तक इधर-उधर घुमाता है जब तक कि एक विशिष्ट कोण से देखने पर वे ली गई फोटो के बिल्कुल समान न दिखने लगें। समस्या यह है कि इन उबाऊ, भूरे रेगिस्तानों में, रोबोट भ्रमित हो जाता है। वह गुब्बारों को गलत जगहों पर रख सकता है क्योंकि तस्वीरों में उसे मार्गदर्शन देने के लिए पर्याप्त अनूठे विवरण नहीं हैं। यह एक पहेली को जोड़ने जैसा है जहाँ हर टुकड़ा एक खाली सफेद वर्ग है; आप सोच सकते हैं कि आपने इसे सही ढंग से जोड़ लिया है, लेकिन तस्वीर वास्तव में गलत हो सकती है।

यह शोध पत्र ठीक इसी समस्या पर प्रहार करता है। शोधकर्ताओं ने, एक ऐसे रोवर के डेटा के साथ काम करते हुए जो चंद्रमा जैसे परिदृश्य पर चल रहा है, पाया कि इन उबाऊ, भूरे रेगिस्तानों में इन "गुब्बारों के मानचित्र" बनाने का मानक तरीका बुरी तरह विफल हो जाता है, खासकर जब रोबोट केवल एक सीधी रेखा में आगे बढ़ सकता है। उन्होंने पाया कि केवल तस्वीरों के रंगों को देखना (photometric supervision) वास्तव में रास्ता खोजने के लिए उपयोगी मानचित्र बनाने के लिए पर्याप्त नहीं है। इसके बजाय, उन्होंने एक नई प्रशिक्षण विधि प्रस्तावित की जो रोबोट को केवल रंगों पर नहीं, बल्कि चट्टानों के आकार और दूरी पर ध्यान केंद्रित करने के लिए मजबूर करती है। उन्होंने यह काम एक लेजर स्कैनर (LiDAR) के डेटा और एक विशेष स्टीरियो-विज़न टूल (MVS) को मिलाकर किया, जो गहराई का आकलन करने के लिए दूसरी आँखों की तरह काम करता है।

परिणामस्वरूप एक ऐसा मानचित्र मिलता है जो दुनिया की ज्यामिति (geometry) के बारे में बहुत अधिक "ईमानदार" होता है। जब उन्होंने इस नई विधि का परीक्षण किया, तो रोबोट की अपनी स्थिति को फिर से खोजने की सफलता दर ढीली शर्तों (relaxed conditions) के तहत 6.25% से बढ़कर 5.20% (संशोधित संदर्भ: 43.20%) हो गई। सख्त परिस्थितियों के तहत, सफलता दर 6.80% थी, जो अन्य विधियों के लगभग शून्य प्रदर्शन की तुलना में एक महत्वपूर्ण सुधार है। ग्रहों की खोज की दुनिया में, जहाँ एक गलत मोड़ का मतलब हमेशा के लिए फंस जाना हो सकता है, इस तरह का सुधार एक गेम-चेंजर है। यह शोध पत्र दिखाता है कि इन चरम, विशेषताहीन वातावरणों में रोबोटों के लिए, तस्वीर को सुंदर बनाने से कहीं अधिक महत्वपूर्ण दुनिया की 3D आकृति को सही बनाना है।

मुख्य विचार: "सुंदर" मानचित्र क्यों विफल होते हैं

शोध पत्र यह समझाते हुए शुरू होता है कि वर्तमान रोबोट नेविगेशन सिस्टम शहरों या जंगलों में रास्ता खोजने में बहुत अच्छे हैं, जहाँ खिड़कियां, पत्तियां या संकेत जैसे बहुत सारे अनूठे फीचर्स होते हैं। लेकिन ग्रहों के वातावरण में—जैसे मंगल या चंद्रमा—जमीन अक्सर एक सपाट, पथरीला बंजर क्षेत्र होती है। रोबोट, जो आमतौर पर रोवर्स होते हैं, ज्यादातर आगे की ओर चलते हैं। इसका मतलब है कि उन्हें एक ही वस्तु के कई अलग-अलग कोण नहीं मिलते। यह एक गोले के आकार को केवल सामने से देखने की तरह है; आप यह नहीं बता सकते कि वह एक गेंद है या एक सपाट डिस्क।

जब रोबोट केवल तस्वीरों का उपयोग करके 3D मानचित्र बनाने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है। वह सोच सकता है कि एक सपाट चट्टान एक गहरा गड्ढा है, या एक दूर का पहाड़ रोवर के ठीक बगल में है। ऐसा इसलिए है क्योंकि "गुब्बारे" (3D Gaussians) केवल फोटो के रंगों से मेल खाने के निर्देश प्राप्त करते हैं। यदि रंग समान हैं, तो कंप्यूटर को इससे फर्क नहीं पड़ता कि गुब्बारे गलत जगह पर तैर रहे हैं। लेखक तर्क देते हैं कि यह "फोटोमेट्रिक-ओनली" दृष्टिकोण इन विशिष्ट वातावरणों के लिए मौलिक रूप से त्रुटिपूर्ण है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि केवल बेहतर कैमरे या अधिक तस्वीरें ही इसे ठीक कर देंगी; समस्या ज्यामितीय (आकार-आधारित) जानकारी की कमी है।

समाधान: मानचित्र को दुनिया को "महसूस करना" सिखाना

इसे ठीक करने के लिए, लेखकों ने एक "ज्यामिति-जागरूक" (geometry-aware) प्रशिक्षण रणनीति पेश की। कल्पना कीजिए कि आप आंखों पर पट्टी बांधकर केवल मिट्टी का उपयोग करके एक कमरे का मॉडल बनाने की कोशिश कर रहे हैं। यदि कोई आपको केवल यह कहता है, "फोटो जैसा दिखाओ," तो आप कमरे का एक सपाट, द्वि-आयामी (2D) चित्र बना सकते हैं। लेकिन यदि वे आपसे यह भी कहते हैं, "सुनिश्चित करें कि दीवारें वास्तव में 10 फीट दूर हैं और फर्श समतल है," तो आप एक ऐसी संरचना बनाएंगे जिसमें वास्तव में गहराई होगी।

शोध पत्र मानचित्र बनाने के लिए तीन प्रकार के "शिक्षण संकेतों" को मिलाता है:

1. फोटो (Photometric): छवि के रंगों और पैटर्न से मेल खाने का मानक निर्देश।
2. स्टीरियो विज़न (MVS): रोबोट अपने कैमरों का उपयोग करके वस्तुओं की गहराई का अनुमान लगाता है, जैसे हमारी दो आँखें दूरी का अंदाजा लगाने में मदद करती हैं। शोध पत्र गहराई के अनुमान प्रदान करने के लिए MVSAnywhere नामक टूल का उपयोग करता है, जो चट्टानों के स्थानीय विवरणों को सुचारू बनाने में मदद करता है।
3. लेजर स्कैनर (LiDAR): यह सबसे महत्वपूर्ण है। रोवर के पास एक लेजर है जो सटीक दूरी मापने के लिए वस्तुओं से टकराकर वापस आता है। लेखक इस डेटा का उपयोग यह सुनिश्चित करने के लिए करते हैं कि "गुब्बारे" वास्तविक भौतिक स्थानों में स्थित हों। उन्होंने एक विशेष गणितीय नियम ("Chamfer loss") बनाया जो एक चुंबक की तरह कार्य करता है, जो तैरते हुए गुब्बारों को वास्तविक लेजर माप की ओर खींचता है।

शोध पत्र स्पष्ट रूप से कहता है कि इन विशिष्ट तरीकों को इस तरह से मिलाना पहली बार हुआ है। वे तर्क देते हैं कि केवल एक स्रोत (जैसे केवल स्टीरियो विज़न) पर निर्भर रहना पर्याप्त नहीं है क्योंकि जब रोबोट सीधी रेखा में चलता है तो स्टीरो विज़न शोर (noisy) पैदा करता है। लेजर डेटा को स्टीरियो विज़न के साथ मिलाकर, उन्हें दोनों का सर्वश्रेष्ठ मिश्रण मिलता है: लेजर बड़ी तस्वीर की सटीकता देता है, और स्टीरियो विज़न स्थानीय बनावट (texture) को भरता है। दिलचस्प बात यह है कि शुरुआत में केवल लेजर डेटा का उपयोग करने से फोटो-ओनली विधि की तुलना में कम सफलता दर मिली, लेकिन शोध पत्र इस बात पर जोर देता है कि लेजर डेटा वास्तव में "ज्यामितिक शुद्धता का प्राथमिक चालक" है, जिसका अर्थ है कि यह मानचित्र के 3D आकार को बहुत अधिक भौतिक रूप से सटीक बनाता है, भले ही तत्काल "खोजने" का स्कोर तुरंत न बढ़ा हो।

परिणाम: खो जाने से लेकर मिल जाने तक

शोधकर्ताओं ने अपने तरीके का परीक्षण "DLR S3LI Vulcano Dataset" नामक डेटासेट पर किया। यह डेटा सिसिली के वुलकानो द्वीप से एकत्र किया गया था, जिसका परिदृश्य बहुत हद तक एक ग्रहीय सतह जैसा दिखता है। यह पुराने क्रेटर, भूरे पत्थरों और बहुत कम अनूठी विशेषताओं से भरा है। रोबोट लगभग 1.5 किलोमीटर चला, तस्वीरें लीं और लेजर स्कैन किए।

जब उन्होंने पुराने तरीके (केवल फोटो) का परीक्षण किया, तो रोबोट ढीली शर्तों के तहत केवल 6.25% समय ही अपनी स्थिति सही ढंग से ढूंढ सका। वह अनिवार्य रूप से केवल अनुमान लगा रहा था। जब उन्होंने केवल लेजर डेटा जोड़ा, तो स्थान खोजने की सफलता दर वास्तव में गिरकर 2.10% हो गई, जिससे पता चला कि केवल लेजर डेटा स्थानीय बनावट की समस्याओं को ठीक करने के लिए पर्याप्त नहीं था।

हालाँकि, जब उन्होंने अपने पूर्ण "ज्यामिति-जागरूक" पद्धति का उपयोग किया, तो परिणाम नाटकीय रूप से बदल गए। रोबोट की अपनी स्थिति को फिर से खोजने की क्षमता ढीली शर्तों के तहत 43.20% और सख्त शर्तों के तहत 6.80% हो गई। यह एक विशाल सुधार है। शोध पत्र नोट करता है कि यह केवल एक भाग्यशाली अनुमान नहीं था; उनके द्वारा बनाए गए मानचित्र भौतिक रूप से अधिक सटीक थे। मूल विधि की तुलना में "Chamfer distance" (यह मापने का पैमाना कि मानचित्र वास्तविक लेजर डेटा से कितना दूर था) लगभग 74% गिर गया।

लेखकों ने अपने तरीके की तुलना पीएनपी (PnP) नामक एक क्लासिक रोबोट नेविगेशन तकनीक से भी की, जो छवियों के बीच विशिष्ट बिंदुओं को मिलाने पर निर्भर करती है। इन धूसर, उबाऊ वातावरणों में, वह तरीका लगभग पूरी तरह से विफल रहा, जिसमें सख्त परिस्थितियों में 0% सफलता दर देखी गई। यह सिद्ध करता है कि काम करने का पुराना तरीका तब काम नहीं करता जब दुनिया खुद जैसी ही दिखने लगती है।

यह क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि चरम वातावरण की खोज करने वाले रोबोटों के लिए, "फोटोग्राफिक शुद्धता" (photometric fidelity) की तुलना में "ज्यामितीय निरंतरता" (geometric consistency) अधिक महत्वपूर्ण है। दूसरे शब्दों में, इससे कोई फर्क नहीं पड़ता कि मानचित्र एक आदर्श, उच्च-परिभाषा वाली फोटो की तरह दिखता है या नहीं; जो मायने रखता है वह यह है कि मानचित्र जानता है कि चट्टानें 3D स्थान में वास्तव में कहाँ हैं। यदि मानचित्र का आकार सही है, तो रोबोट यह पता लगा सकता है कि वह कहाँ है, भले ही तस्वीर थोड़ी धुंधली या अजीब दिखे।

लेखक सावधानीपूर्वक कहते हैं कि यह हर समस्या को हल नहीं करता है। इस नई विधि के साथ भी, रोबोट कुछ बहुत कठिन मामलों में संघर्ष करता रहा, और सफलता दर 100% नहीं थी। लेकिन 6% से 43% का सुधार एक बड़ा कदम है। यह सुझाव देता है कि यदि हम चाहते हैं कि रोबोट विश्वसनीय रूप से मंगल या चंद्रमा की खोज करें, तो हमें उन्हें केवल कैमरों के रूप में नहीं, बल्कि 3D स्कैनर के रूप में देखना होगा जिन्हें दुनिया के रंगों के बजाय उसके आकार को समझने की आवश्यकता है।

शोध पत्र समाप्त करता है कि यह दृष्टिकोण भविष्य की दीर्घकालिक रोबोटिक स्वायत्तता के लिए पहेली का एक प्रमुख हिस्सा हो सकता है। संरचनात्मक रूप से मजबूत मानचित्र बनाकर, रोबोट 'लूप क्लोज' कर सकते हैं (यह महसूस कर सकते हैं कि वे पहले भी कहीं थे) और अपने मार्ग से भटकने से बच सकते हैं, जो किसी भी ऐसे मिशन के लिए आवश्यक है जिसे लंबे समय तक चलने की आवश्यकता है जहाँ GPS मौजूद नहीं है। उनके तरीके का कोड दूसरों के परीक्षण के लिए उपलब्ध है, जो वैज्ञानिक समुदाय को दुनिया को देखने के इस नए तरीके पर काम करने के लिए आमंत्रित करता है।