ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

यह समझने के लिए कि एक कंप्यूटर दुनिया को कैसे देखता है, कल्पना कीजिए कि आप केवल दो-आयामी (2D) तस्वीरों की एक श्रृंखला का उपयोग करके एक तीन-आयामी (3D) कमरे का पुनर्निर्माण करने की कोशिश कर रहे हैं। यह 'स्ट्रक्चर-फ्रॉम-मोशन' (structure-from-motion) नामक एक क्षेत्र की मौलिक चुनौती है। इसका लक्ष्य एक वीडियो लेना है, जहाँ कैमरा अंतरिक्ष में घूमता है, और गणितीय रूप से यह पता लगाना है कि हर एक क्षण में कैमरा ठीक कहाँ था, और साथ ही अपने चारों ओर के परिदृश्य का एक 3D मॉडल बनाना है। यह तकनीक उन ऑगमेंटेड रियलिटी ऐप्स के पीछे का अदृश्य इंजन है जो आपके लिविंग रूम में आभासी फर्नीचर रखते हैं, वे मानचित्र जो स्वायत्त वाहनों (autonomous vehicles) को मार्गदर्शन देते हैं, और वे उपकरण जो फिल्म निर्माताओं को इमर्सिव वर्चुअल दुनिया बनाने में मदद करते हैं। वर्षों से, शोधकर्ता यह देखने के लिए मानक परीक्षणों पर निर्भर रहे हैं कि उनके नए कंप्यूटर विजन एल्गोरिदम काम करते हैं या नहीं। हालाँकि, ये परीक्षण अक्सर सरल, स्थिर दृश्यों या कंप्यूटर-जनित सिमुलेशन का उपयोग करते हैं जो वास्तविक दुनिया की अव्यवस्थित और अराजक वास्तविकता को प्रतिबिंबित नहीं करते हैं। जब कैमरा तेजी से चलता है, जब जमीन बर्फ से ढकी होती है, या जब लोगों की भीड़ फ्रेम में चलती है, तो सबसे उन्नत सॉफ्टवेयर भी पूरी तरह से विफल हो जाता है, और यह बताने में असमर्थ होता है कि ऊपर की दिशा कौन सी है या कोई वस्तु कितनी दूर है।

गूगल डीपमाइंड और कई विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने ORBIT नामक एक नया, बहुत कठिन परीक्षण बनाकर इस अंतर को दूर किया है। उन्होंने महसूस किया कि कैमरे की जंगली परिस्थितियों में नेविगेट करने की क्षमता को वास्तव में परखने के लिए, उन्हें डेटा के ऐसे स्रोत की आवश्यकता थी जो दृश्य जानकारी में अविश्वसनीय रूप से समृद्ध और संसाधित करने में कठिन हो। उन्हें यह स्रोत उपभोक्ता कैमरों द्वारा कैप्चर किए गए 360-डिग्री वीडियो के बढ़ते पुस्तकालय में मिला। एक मानक वीडियो के विपरीत जो एक संकीर्ण खिड़की के माध्यम से देखता है, एक 360-डिग्री कैमरा अपने चारों ओर के एक पूर्ण गोले (sphere) को कैप्चर करता है, जो एक साथ हर दिशा में देख सकता है। शोधकर्ताओं ने इन सर्वव्यापी दृश्यों का उपयोग करके एक बेंचमार्क डेटासेट तैयार किया है जिसे विशेष रूप रूप से वर्तमान तकनीक को तोड़ने के लिए डिज़ाइन किया गया है। इन व्यापक दृश्यों को मानक, संकीर्ण-कोण वाले क्लिप्स में काटकर, उन्होंने सैकड़ों चुनौतीपूर्ण परिदृश्य बनाए जो उन कठिन स्थितियों की नकल करते हैं जिनका सामना एक स्मार्टफोन या ड्रोन को करना पड़ सकता है, जैसे कि तेज़ गति, कम रोशनी और चलती हुई भीड़।

इस परीक्षण को बनाने की प्रक्रिया सत्यापन का एक सावधानीपूर्ण अभ्यास था। शोधकर्ताओं ने इंटरनेट से विविध 360-डिग्री वीडियो एकत्र करके शुरुआत की, जिसमें कैनोइंग यात्राओं और स्कीइंग रन से लेकर व्यस्त पर्यटक स्थल तक सब कुछ शामिल था। क्योंकि मूल वीडियो पूरे गोले को कैप्चर करता है, टीम एक विशेष कंप्यूटर एल्गोरिदम का उपयोग करके कैमरे के पथ की उच्च विश्वास के साथ गणना कर सकती थी, यह जानते हुए कि भले ही दृश्य का एक हिस्सा धुंधला या गतिशील हो, गोले के अन्य हिस्से स्पष्ट और स्थिर रहेंगे। उन्होंने कैमरे के साथ ऐसा व्यवहार किया जैसे वह चार अलग-अलग लेंसों को थामने वाला एक रिग (rig) हो, जिससे उन्हें कई कोणों से पथ की क्रॉस-चेक करने और डेटा की सटीकता सुनिश्चित करने की अनुमति मिली। एक बार जब उनके पास पूर्ण 360-डिग्री वीडियो के लिए एक विश्वसनीय "ग्राउंड ट्रुथ" (ground truth) पथ आ गया, तो उन्होंने फुटेज को डिजिटल रूप से पुन: प्रोजेक्ट किया ताकि मानक परिप्रेक्ष्य वीडियो बनाए जा सकें। ये नए क्लिप केवल यादृच्छिक कट नहीं थे; शोधकर्ताओं ने जानबूझकर ऐसे दृष्टिकोण चुने जो ज्ञात रूप से कठिन थे, जैसे कि चलते हुए जल निकाय या तेज़ गति वाले वाहन की ओर देखना, और उन्होंने कार्य को और कठिन बनाने के लिए कृत्रिम कैमरा शेक (camera shakes) भी जोड़े। अंतिम परिणाम 308 वीडियो क्लिप्स का एक संग्रह है, जिनमें से प्रत्येक 30 सेकंड तक लंबा है, जो कंप्यूटर विज़न सॉफ़्टवेयर के लिए एक कठोर बाधा दौड़ (obstacle course) के रूप में कार्य करते हैं।

जब शोधकर्ताओं ने इस नए बेंचमार्क के विरुद्ध वर्तमान अत्याधुनिक (state-of-the-art) विधियों का परीक्षण किया, तो परिणाम चौंकाने वाले थे। उन्होंने पारंपरिक उपकरणों, जो वर्षों से उद्योग का मानक रहे हैं, और नए, लर्निंग-आधारित सिस्टम जो आर्टिफिशियल इंटेलिजेंस का उपयोग करते हैं, सहित कई अग्रणी एल्गोरिदम का मूल्यांकन किया। निष्कर्षों से पता चला कि मौजूदा सर्वोत्तम विधियाँ भी इन वास्तविक दुनिया की स्थितियों में काफी संघर्ष करती हैं। क्लिप्स का एक बड़ा हिस्सा सॉफ़्टवेयर को पूरी तरह से विफल कर देता है, जिसका अर्थ है कि कंप्यूटर कुछ ही सेकंड के लिए कैमरे की गति को ट्रैक कर पाता है। उदाहरण के लिए, पारंपरिक विधियाँ जो छवि में विशिष्ट पैटर्न खोजने पर निर्भर करती हैं, जैसे इमारतों के किनारे या ज़मीन की बनावट, अक्सर पानी या बर्फ जैसी चिकनी सतहों का सामना करने पर हार मान लेती हैं। इस बीच, नई AI-संचालित विधियाँ, जो प्रशिक्षण के दौरान सीखे गए पैटर्न के आधार पर 3D संरचना का अनुमान लगाने के लिए डिज़ाइन की गई हैं, अक्सर तब लड़खड़ा जाती हैं जब कैमरा तेज़ी से चलता है या उन तरीकों से घूमता है जिन्हें उन्होंने पहले नहीं देखा हो। डेटा ने खुलासा किया कि कोई भी एकल विधि सभी चुनौतियों को नहीं संभाल सकती; कुछ भीड़ के माध्यम से ट्रैकिंग करने में अच्छी थीं लेकिन कम रोशनी में विफल रहीं, जबकि अन्य तेज़ गति को अच्छी तरह से संभालती थीं लेकिन बिना बनावट (textureless) वाले वातावरण में अपना रास्ता भटक गईं।

यह अध्ययन इस बात पर प्रकाश डालता है कि क्षेत्र एक ऐसे बिंदु पर पहुँच गया है जहाँ प्रगति को मापना कठिन है क्योंकि परीक्षण बहुत आसान हैं। शोधकर्ताओं ने पाया कि उनके नए बेंचमार्क पर, प्रत्येक परीक्षण की गई विधि कम से कम 36 प्रतिशत क्लिप्स में कैमरे की स्थिति का सही अनुमान लगाने में विफल रही। यह सुझाव देता है कि तकनीक की वर्तमान पीढ़ी अभी भी वास्तविक दुनिया के सबसे कठिन अनुप्रयोगों के लिए तैयार नहीं है। पेपर का तर्क है कि एक विश्वसनीय, कठिन बेंचमार्क की कमी इस क्षेत्र को पीछे खींच रही थी, जिससे शोधकर्ता सरल कार्यों पर सफलता का दावा कर पा रहे थे जबकि वे जटिल, गतिशील दृश्यों में होने वाली मौलिक समस्याओं को अनदेखा कर रहे थे। एक डेटासेट प्रदान करके जो विविध और कठोर रूप से सत्यापित है, टीम को उम्मीद है कि वे डेवलपर्स को सुधार के लिए एक स्पष्ट लक्ष्य दे सकेंगे। यह कार्य इन समस्याओं का कोई नया समाधान पेश नहीं करता है, बल्कि उन्हें मापने का एक बेहतर तरीका प्रदान करता है, जो यह दर्शाता है कि कंप्यूटर द्वारा मनुष्यों की तरह सहजता से जंगली, अप्रत्याशित दुनिया में नेविगेट करने के लिए अभी भी एक लंबा रास्ता तय करना बाकी है।