ViVo: A Dataset for Volumetric Video Reconstruction and Compression
यह शोध पत्र ViVo को प्रस्तुत करता है, जो एक नया विविध और यथार्थवादी वॉल्यूमेट्रिक वीडियो डेटासेट है जिसे जटिल सिमेंटिक और डायनेमिक विजुअल फीचर्स को शामिल करके मौजूदा डेटा की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है, और अत्याधुनिक पुनर्निर्माण (reconstruction) और संपीड़न (compression) एल्गोरिदम के बेंचमार्किंग के माध्यम से इसकी उपयोगिता को प्रमाणित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी व्यक्ति का एक आदर्श, जीवन-आकार का डिजिटल जुड़वां (डिजिटल ट्विन) बनाना चाहते हैं जो नाच रहा हो, करतब दिखा रहा हो, या कोई वाद्य यंत्र बजा रहा हो। आप उसे एक आभासी दुनिया में हर कोण से देखना चाहते हैं, और यहाँ तक कि उसे आग, पानी या चमकदार गुब्बारों जैसी चीजों के साथ बातचीत करते हुए भी देखना चाहते हैं।
यह वॉल्यूमेट्रिक वीडियो (Volumetric Video) का सपना है। लेकिन कंप्यूटर को यह सिखाने के लिए कि यह कैसे किया जाए, आपको अभ्यास के डेटा की एक विशाल लाइब्रेरी की आवश्यकता होती है। यहीं पर यह शोध पत्र काम आता है।
यहाँ ViVo की कहानी है, जो वह नया डेटासेट है जिसे लेखकों ने बनाया है, इसे सरल रूप में समझाया गया है।
1. समस्या: पुराना "ट्रेनिंग जिम" बहुत आसान था
पिछले वीडियो डेटासेट्स (जैसे ZJU MoCap या CMU Panoptic) को एक ऐसे जिम की तरह समझें जिसमें केवल एक ही प्रकार की एक्सरसाइज मशीन हो।
- वे ज्यादातर लोगों के स्थिर खड़े होने या सरल तरीके से चलने-फिरते रहने पर केंद्रित थे।
- उन्हें "स्टेराइल" (निर्जीव) कमरों में फिल्माया गया था जहाँ बैकग्राउंड पूरी तरह से साफ था।
- उन्होंने पारदर्शी कांच, चमकदार धातु, बहते पानी या आग जैसी कठिन चीजों से परहेज किया।
यदि आप एक कंप्यूटर को केवल उस सरल जिम का उपयोग करके किसी व्यक्ति को पहचानने के लिए प्रशिक्षित करते हैं, तो वास्तविक दुनिया में बाहर निकलते ही वह बुरी तरह विफल हो जाएगा। वास्तविक जीवन अव्यवस्थपूर्ण होता है! इसमें चमकदार पोशाकें, अलग-अलग स्किन टोन और बालों वाले लोग, और ऐसे बैकग्राउंड होते हैं जहाँ कैमरा क्रू इधर-उधर घूम रहा होता है।
2. समाधान: "ViVo" सुपर-जिम
लेखकों ने एक नई, विशाल प्रशिक्षण लाइब्रेरी बनाई जिसे ViVo (VolumetrIc VideO) कहा जाता है। इसे एक हाई-टेक, प्रोफेशनल मूवी स्टूडियो के रूप में सोचें जहाँ उन्होंने 32 अलग-अलग दृश्य फिल्माए।
ViVo को क्या खास बनाता है?
- "सब कुछ देखने वाली" आँख: केवल एक कैमरे के बजाय, उन्होंने अभिनेताओं के चारों ओर एक विशाल गोले में व्यवस्थित 14 कैमरों का उपयोग किया। यह एक डांसर को हर एक कोण से देखने वाले 14 सुरक्षा गार्डों की तरह है।
- वास्तविक दुनिया की अराजकता: उन्होंने लोगों को केवल साधारण कपड़ों में नहीं फिल्माया। उन्होंने फिल्माया:
- एक व्यक्ति को एक विशाल इन्फ्लेटेबल यूनिकॉर्न (एक सींग वाला घोड़ा) कॉस्ट्यूम में।
- किसी को चमकदार गुब्बारे फोड़ते हुए।
- चेहरे पर पेंट लगाए हुए एक जोकर।
- आग और तरल पदार्थ के साथ करतब दिखाते लोग।
- अपने मालिक के साथ खेलता हुआ एक कुत्ता।
- "कच्ची सामग्री": अधिकांश पुराने डेटासेट्स में आपको केवल बना-बनाया "केक" मिलता था (3D मॉडल)। ViVo आपको मैदा, अंडे और चीनी (सभी 14 कैमरों से कच्चा वीडियो, डेप्थ सेंसर, ऑडियो और सटीक कैमरा सेटिंग्स) देता है। यह शोधकर्ताओं को केक बनाने के अलग-अलग तरीके आज़माने की अनुमति देता है।
3. शामिल "जादुई उपकरण"
शोधकर्ताओं का काम आसान बनाने के लिए, लेखकों ने केवल कच्ची फाइलें ही नहीं डालीं। उन्होंने इसमें एक स्विस आर्मी नाइफ जैसे टूल्स शामिल किए:
- "कट-आउट" टूल: एक प्रोग्राम जो स्वचालित रूप से अभिनेता के चारों ओर एक रेखा खींचता है, जिससे उन्हें बैकग्राउंड से अलग किया जा सके (डिजिटल कैंची की तरह)।
- "क्लाउड बिल्डर": एक टूल जो वीडियो को रंगीन बिंदुओं के विशाल बादल (3D पॉइंट्स) में बदल देता है। वे हर सेकंड 155 मिलियन बिंदु उत्पन्न कर सकते हैं। एक धूल के बादल की कल्पना करें जो इतना घना है कि वह ठोस पदार्थ जैसा दिखता है; यह वही बनाता है।
4. स्ट्रेस टेस्ट: सर्वश्रेष्ठ कंप्यूटरों को काम पर लगाना
लेखकों ने केवल डेटा एकत्र नहीं किया; उन्होंने इसे परीक्षण के घेरे में भी रखा। उन्होंने वर्तमान में उपलब्ध तीन सबसे स्मार्ट, सबसे उन्नत कंप्यूटर प्रोग्रामों (AI मॉडल्स) को लिया और इन वीडियो को फिर से बनाने के लिए उनका उपयोग करने की कोशिश की।
परिणाम आश्चर्यजनक थे:
- "धुंधलापन" की समस्या: सबसे अच्छा AI भी संघर्ष कर रहा था। जब अभिनेता तेजी से चलता था, या जब वहां एक चमकदार गुब्बारा होता था, तो AI अक्सर भ्रमित हो जाता था। या तो यह गति को रोक देता था या व्यक्ति को एक भूत की तरह बना देता था।
- "समय" की समस्या: AI पहले कुछ सेकंड के लिए अच्छा था लेकिन 50 सेकंड के बाद बिखरने लगा। यह एक ऐसे छात्र की तरह है जो पहले मिनट के लिए भाषण तो पूरी तरह याद कर लेता है लेकिन थक जाने पर शब्द भूलने लगता है।
- "कंप्रेशन" की समस्या: उन्होंने यह भी परीक्षण किया कि इंटरनेट पर भेजने के लिए इन विशाल वीडियो को कैसे सिकोड़ा जाए। नए AI-आधारित कंप्रेशन तरीके पुराने मानक तरीकों की तुलना में बहुत बेहतर थे, जो चित्र को स्पष्ट रखते हुए बहुत अधिक स्थान बचाते हैं।
5. यह क्यों महत्वपूर्ण है
इस डेटासेट को सेल्फ-ड्राइविंग कारों के लिए "न्यूयॉर्क सिटी" की तरह समझें।
- पुराने डेटासेट्स एक शांत, खाली पार्किंग लॉट में गाड़ी चलाने जैसे थे।
- ViVo बारिश, पैदल यात्रियों, चमकदार कारों और निर्माण कार्यों वाले एक व्यस्त शहर में गाड़ी चलाने जैसा है।
शोधकर्ताओं को इस "व्यस्त शहर" में समस्याओं को हल करने के लिए मजबूर करके, यह शोध पत्र हमें ठीक-ठीक दिखाता है कि वर्तमान तकनीक कहाँ विफल हो रही है। यह साबित करता है कि हालांकि हम 3D दुनिया बनाने में बेहतर हो रहे हैं, लेकिन वास्तविक जीवन की अव्यवस्थित, चमकदार और तेज़ गति वाली वास्तविकता को पूरी तरह से कैप्चर करने के लिए हमें अभी एक लंबा रास्ता तय करना है।
संक्षेप में: लेखकों ने 3D वीडियो के लिए अंतिम अभ्यास मैदान बनाया है, जो वास्तविक दुनिया की अराजकता से भरा है, ताकि हमें यह दिखाने के लिए कि हमारे वर्तमान कंप्यूटर अभी बड़े स्तर के काम के लिए तैयार नहीं हैं—और हमें इसे ठीक करने के उपकरण देने के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।