WorldRover: A Scalable Synthetic Video Data Engine for World Exploration with Rich Annotations
यह शोधपत्र वर्ल्डरोवर (WorldRover) को प्रस्तुत करता है, जो अनरियल इंजन (Unreal Engine) पर निर्मित एक स्केलेबल डेटा इंजन है जो कलाकारों द्वारा निर्मित वातावरणों के लंबी दूरी के, समृद्ध रूप से एनोटेटेड सिंथेटिक वीडियो अनुक्रम उत्पन्न करता है, जो सुसंगत विश्व अन्वेषण और पुनर्निर्माण के लिए मॉडलों को प्रशिक्षित करने हेतु सिंक्रोनाइज़्ड RGB, मेट्रिक डेप्थ, कैमरा ट्रेजेक्टरीज और विविध व्यूपॉइंट डेटा प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यह समझने के लिए कि एक मशीन दुनिया में नेविगेट करना कैसे सीख सकती है, हमें पहले यह समझना होगा कि उस दुनिया को देखना क्या होता है। एक कंप्यूटर के लिए किसी स्थान से गुजरने के लिए, उसे अपने सामने मौजूद चीज़ों की केवल एक तस्वीर से कहीं अधिक की आवश्यकता होती है। उसे यह जानने की ज़रूरत है कि वस्तुएँ कितनी दूर हैं, कैमरा स्वयं कैसे चल रहा है, और जब चीज़ें एक-दूसरे के पीछे से गुजरती हैं तो उनके आकार कैसे बदलते हैं। वास्तविक दुनिया में, इस पूरी जानकारी को एक साथ कैप्चर करना अविश्वसनीय रूप से कठिन है। एक कैमरा वीडियो रिकॉर्ड कर सकता है, लेकिन वह आपको स्वचालित रूप से यह नहीं बता सकता कि एक पेड़ से सटीक दूरी कितनी है या कैमरा पकड़े हुए व्यक्ति ने वास्तव में कौन सा रास्ता तय किया था। वैज्ञानिकों को अक्सर इन विवरणों का अनुमान बाद में लगाना पड़ता है, और वे अनुमान गलत हो सकते हैं, विशेष रूप से तब जब वस्तुएं एक-दूसरे के दृश्य को बाधित करती हैं। ज्यामिति (geometry) और गति के पूर्ण ज्ञान के बिना, कंप्यूटर को किसी स्थान का एक स्थिर, सुसंगत मानसिक मानचित्र बनाने के लिए सिखाना कठिन है जिसे वह खोज सके और जहाँ वह वापस लौट सके।
यही वह चुनौती है जिसे अलया लैब (Alaya Lab), टोक्यो विश्वविद्यालय और शंघाई इनोवेशन इंस्टीट्यूट के शोधकर्ताओं की एक टीम ने 'वर्ल्डरोवर' (WorldRover) नामक एक नई प्रणाली के साथ हल किया है। वास्तविक दुनिया के अव्यवस्थित वीडियो से सटीक डेटा निकालने की कोशिश करने के बजाय, उन्होंने एक ऐसी मशीन बनाई जो शून्य से डेटा उत्पन्न करती है। उन्होंने एक ऐसा पाइपलाइन बनाया जो कलाकारों द्वारा निर्मित आभासी वातावरण (virtual environments) को लेता है और उनमें कैमरा भेजकर लंबी, सूक्ष्म-स्तर की यात्राएं कराता है। मुख्य नवाचार यह है कि यह प्रणाली केवल वीडियो रिकॉर्ड नहीं करती है; यह यात्रा के पूरे इतिहास को एक साथ रिकॉर्ड करती है। जैसे-जैसे कैमरा चलता है, प्रणाली उस सटीक पथ को कैप्चर करती है जिस पर वह चला, प्रत्येक बिंदु की सटीक दूरी, और कैसे एक छवि का प्रत्येक पिक्सेल पिछली छवि के पिक्सेल से संबंधित है। चूंकि दुनिया कृत्रिम (synthetic) है, इसलिए शोधकर्ता प्रत्येक फ्रेम के सत्य को जानते हैं: वे जानते हैं कि कैमरा कहाँ था, प्रकाश दीवारों से कैसे टकराया, और तीन-आयामी स्थान में प्रत्येक वस्तु कहाँ स्थित है।
इस प्रयास का परिणाम 'वर्ल्डरोवर-10एम' (WorldRover-10M) नामक डेटा का एक विशाल संग्रह है। इसमें शहर की सड़कों और मेट्रो स्टेशनों से लेकर जंगलों और कैथेड्रल तक, बत्तीस अलग-अलग आभासी वातावरणों से प्राप्त छह हजार से अधिक विशिष्ट वीडियो अनुक्रम शामिल हैं। कुल मिलाकर, इस डेटासेट में वीडियो के बीस मिलियन से अधिक फ्रेम हैं, जो दो सौ घंटों से अधिक के फुटेज के बराबर है। जो चीज़ इस संग्रह को अद्वितीय बनाती है वह यह है कि यह एक ही यात्रा को तीन अलग-अलग दृष्टिकोणों से दिखाता है: एक प्रथम-व्यक्ति दृश्य (first-person view) जैसे कि दुनिया में चलते हुए देखा जा रहा हो, एक तृतीय-व्यक्ति दृश्य (third-person view) जो पीछे से एक पात्र का अनुसरण कर रहा है, और एक 360-डिग्री पैनोरमिक दृश्य जो पर्यवेक्षक के चारों ओर सब कुछ कैप्चर करता है। प्रत्येक फ्रेम के लिए, प्रणाली एक मिलान करने वाला लेबल सेट प्रदान करती है। इनमें दृश्य की सटीक गहराई का मानचित्र, कैमरे की गति का रिकॉर्ड, और एक सघन ट्रैकिंग (dense tracking) शामिल है कि एक क्षण से दूसरे क्षण में छवि के बिंदु कैसे बदलते हैं।
शोधकर्ताओं ने इस इंजन को एक विशिष्ट समस्या को हल करने के लिए डिज़ाइन किया है: ऐसे डेटा की आवश्यकता जहाँ दृश्य परिवर्तन का कारण कभी भ्रमित न हो। एक सामान्य वीडियो में, यह बताना कठिन होता है कि एक पिक्सेल इसलिए हिला क्योंकि वस्तु हिली या इसलिए क्योंकि कैमरा घूमा। वर्ल्डरोवर में, शोधकर्ता विभिन्न स्थितियों के तहत उसी मार्ग को फिर से चला सकते हैं। वे शहर के माध्यम से एक ही पैदल यात्रा को तेज़ धूप में, फिर भारी कोहरे में, या यहाँ तक कि एक तटस्थ सफेद मॉडल के रूप में दिखा सकते हैं जहाँ सभी बनावट (textures) हटा दी गई हैं लेकिन आकार बने हुए हैं। क्योंकि पथ और ज्यामिति समान रहती है जबकि केवल उपस्थिति बदलती है, इस डेटा से सीखने वाला कंप्यूटर दुनिया की संरचना को उसके दिखने के तरीके से अलग करना सीख सकता है। यह अलगाव उन मॉडलों को प्रशिक्षित करने के लिए महत्वपूर्ण है जिन्हें नेविगेट करने या तीन आयामों में पुनर्निर्माण करने के लिए दुनिया को गहराई से समझने की आवश्यकता होती है।
इसे बनाने के लिए, टीम ने एक शक्तिशाली गेम इंजन का उपयोग किया, जो आमतौर पर वीडियो गेम बनाने के लिए उपयोग किया जाने वाला उपकरण है, लेकिन उन्होंने इसे वैज्ञानिक डेटा पीढ़ी के लिए पुन: अनुकूलित किया। उन्होंने कलाकारों द्वारा बनाए गए बत्तीस अलग-अलग वातावरण तैयार किए, यह सुनिश्चित करते हुए कि वे वास्तविक स्थानों की तरह विवरण और अव्यवस्था से भरपूर हों। फिर उन्होंने इन स्थानों के माध्यम से चलने के तीन अलग-अलग तरीके प्रोग्राम किए। एक विधि ने कुशल मार्गों की योजना बनाने के लिए पूर्व-निर्धारित चलने योग्य पथों के मानचित्र का उपयोग किया। दूसरी विधि ने एक प्रतिक्रियाशील एजेंट (reactive agent) का उपयोग किया जो चलते समय बाधाओं को महसूस करता था, कभी-कभी भटक जाता या फंस जाता था, बिल्कुल वैसे ही जैसे कोई व्यक्ति एक नए कमरे की खोज करता है। तीसरी विधि ने एक मानव को मैन्युअल रूप से पथ रिकॉर्ड करने की अनुमति दी। इन मार्गों को फिर ऑफलाइन रेंडर किया गया, जिसका अर्थ है कि कंप्यूटर ने वास्तविक समय में छवि बनाने की जल्दबाजी करने के बजाय, उच्च सटीकता के साथ प्रकाश और छाया के प्रत्येक किरण की गणना करने के लिए अपना समय लिया। इस प्रक्रिया ने उन्हें डेटा उत्पन्न करने की अनुमति दी जो भौतिक रूप से सटीक था, जिसमें समय बदलने या मौसम बदलने के साथ प्रकाश भी सही ढंग से बदलता है।
डेटासेट में विभिन्न कार्यों के लिए तैयार किए गए विशिष्ट उपसमूह (subsets) शामिल हैं। तृतीय-व्यक्ति अनुक्रम विशेष रूप से मूल्यवान हैं क्योंकि वे एक पात्र को कैमरे से स्वतंत्र रूप से चलते हुए दिखाते हैं। यह शोधकर्ताओं को यह अध्ययन करने की अनुमति देता है कि एक मशीन पर्यवेक्षक की गति और दुनिया की वस्तु की गति के बीच अंतर कैसे कर सकती है। प्रणाली लंबे समय तक पात्र और पृष्ठभूमि के बिंदुओं को ट्रैक करती है, भले ही वे बिंदु दीवारों या अन्य वस्तुओं के पीछे छिपे हों। डेटा कंप्यूटर को न केवल यह बताता है कि एक बिंदु दृश्यमान होने पर कहाँ है, बल्कि यह भी कि यदि वह अभी भी दृश्यमान होता तो वह कहाँ होता, जिसे 'अमोडल ट्रैकिंग' (ammodal tracking) कहा जाता है। यह समझने के लिए अत्यंत महत्वपूर्ण है कि एक इमारत के पीछे खड़ी कार अभी भी अस्तित्व में है और उसका एक विशिष्ट स्थान है, भले ही वह दिखाई न दे रही हो।
वर्ल्डरोवर-10एम केवल वीडियो का संग्रह नहीं है; यह एक संरचित लाइब्रेरी है जहाँ सूचना का प्रत्येक हिस्सा उस सटीक क्षण से जुड़ा हुआ है जब उसे कैप्चर किया गया था। डेप्थ मैप मीटर में मापे गए हैं, ऑप्टिकल फ्लो पिक्सेल की गति को सटीक इकाइयों में रिकॉर्ड करता है, और कैमरा पथ उच्च निष्ठा (fidelity) के साथ रिकॉर्ड किए गए हैं। टीम ने इस डेटा को ऐसे प्रारूप में जारी किया है जो शोधकर्ताओं को बिना अनुमान लगाए कच्ची जानकारी तक आसानी से पहुँचने की अनुमति देता है। उन्होंने इस डेटा को सार्वजनिक रूप से उपलब्ध कराया है, जिससे दूसरों को ऐसे मॉडल बनाने के लिए एक आधार मिल सके जो खोज योग्य दुनिया को समझ सकें, नेविगेट कर सकें और पुनर्निर्मित कर सकें। दुनिया की खोज की समस्या को एक स्केलेबल डेटा-जेनरेशन कार्य में बदलकर, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस के क्षेत्र के लिए एक नया उपकरण प्रदान किया है, जो स्पष्टता और नियंत्रण का एक ऐसा स्तर प्रदान करता है जो केवल वास्तविक दुनिया की रिकॉर्डिंग के साथ प्राप्त करना असंभव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।