Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
यह शोध पत्र RS-Avatar प्रस्तुत करता है, जो एक ऐसी विधि है जो रोलिंग-शटर वीडियो से शार्प, एनिमेटेबल 3D गॉसियन अवतारों को पुनर्गठित करती है, और यह मानक मोशन-ब्लर रेंडरिंग के स्थान पर एक स्कैनलाइन-अवेयर कंपोजिटिंग ऑपरेटर का उपयोग करती है जो एक ही फ्रेम के भीतर शरीर के विभिन्न हिस्सों के क्रमिक रीडआउट को सही ढंग से ध्यान में रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल इमेजिंग की दुनिया में, एक शांत धारणा है कि प्रत्येक फोटोग्राफ समय के एक एकल, जमे हुए क्षण को कैद करता है। जब एक कैमरा तस्वीर लेता है, तो सामान्य रूप से यह माना जाता है कि पूरा दृश्य—एक व्यक्ति के सिर के शीर्ष से लेकर उसके पैरों तक—ठीक उसी क्षण रिकॉर्ड किया जाता है। यह विश्वास आधुनिक कंप्यूटर विज़न के बड़े हिस्से का आधार है, जो मशीनों को दुनिया को देखने और समझने के लिए प्रशिक्षित करने का क्षेत्र है। यह शोधकर्ताओं को लोगों के जटिल 3D मॉडल बनाने की अनुमति देता है, जिन्हें अवतार कहा जाता है, जिन्हें किसी भी कोण से एनिमेट और देखा जा सकता है। ये डिजिटल जुड़वां आभासी उपस्थिति (वर्चुअल टेलीप्रेजेंस) और फिल्म निर्माण से लेकर खेल विश्लेषण और आर्टिफिशियल इंटेलिजेंस तक सब कुछ के लिए आवश्यक होते जा रहे हैं। हालाँकि, यह धारणा वास्तविक दुनिया में लगभग कभी सच नहीं होती है। अधिकांश कैमरे, हमारे जेबों में मौजूद स्मार्टफोन से लेकर पेशेवर स्टूडियो के हाई-स्पीड सेंसर तक, एक साथ पूरी छवि कैप्चर नहीं करते हैं। इसके बजाय, वे छवि को ऊपर से नीचे की ओर, पंक्ति दर पंक्ति स्कैन करते हैं। 'रोलिंग शटर' नामक यह विधि बताती है कि जब तक कैमरा फ्रेम के निचले हिस्से को पढ़ लेना समाप्त करता है, तब तक ऊपरी हिस्सा कुछ मिलीसेकंड पहले ही रिकॉर्ड किया जा चुका होता है। एक व्यक्ति के हाथ हिलाने या चलने के लिए, वे कुछ मिलीसेकंड शरीर की स्थिति को महत्वपूर्ण रूप से बदलने के लिए पर्याप्त होते हैं, जिससे एक सूक्ष्म लेकिन व्यापक विरूपण (डिस्टॉर्शन) पैदा होता है जहाँ शरीर के विभिन्न हिस्सों को अलग-अलग समय पर कैप्चर किया जाता है।
वर्षों से, वीडियो से इन 3D अवतारों को बनाने की कोशिश करने वाले शोधकर्ताओं ने इस समय के अंतर को काफी हद तक अनदेखा किया है, और प्रत्येक फ्रेम को एक आदर्श स्नैपशॉट की तरह माना है। इसका परिणाम एक 'डिजिटल घोस्ट' रहा है: एक ऐसा 3D मॉडल जो मूल वीडियो के समान कोणों से देखने पर तो सही दिखता है, लेकिन जब दर्शक इसे किसी नए कोण से देखने या अवतार को एक नई मुद्रा में ले जाने का प्रयास करता है, तो यह बिखर जाता है। विरूपण मॉडल के आकार में समा जाता है, जिससे अंग डगमगाते हुए, टेढ़े-मेढ़े या अस्वाभाविक रूप से मोटे दिखाई देते हैं। एक शोधकर्ता ने अब इस समस्या को सीधे संबोधित किया है, मॉडल बनाने से पहले वीडियो को ठीक करने की कोशिश करने के बजाय, मॉडल को स्वयं कैमरे के स्कैनिंग व्यवहार को समझने के लिए सिखाकर। उन्होंने एक नई प्रणाली विकसित की है जो रोलिंग-शटर वीडियो से सीधे तीक्ष्ण (शार्प), विरूपण-मुक्त 3D अवतारों का पुनर्निर्माण करती है, यह स्वीकार करते हुए कि छवि की प्रत्येक पिक्सेल लाइन समय के एक थोड़े अलग क्षण का प्रतिनिधित्व करती है।
इस नए दृष्टिकोण का मूल, जिसे शोधकर्ता RS-Avatar कहते हैं, दृष्टिकोण में एक सरल लेकिन शक्तिशाली बदलाव पर आधारित है। कंप्यूटर से यह अनुमान लगाने के बजाय कि व्यक्ति एक ही क्षण में कैसा दिखता था, यह प्रणाली इस बात को स्वीकार करती है कि व्यक्ति पूरे स्कैन के दौरान गतिमान था। सॉफ़्टवेयर शरीर की गति का एक ऐसा सटीक मॉडल बनाता है जो यह जानने के लिए पर्याप्त सक्षम है कि किसी भी दिए गए सेकंड के अंश में शरीर का प्रत्येक भाग कहाँ था। जब यह अंतिम छवि बनाता है, तो यह विभिन्न स्थितियों को आपस में मिलाता नहीं है, जिससे धुंधलापन आ सकता है; बल्कि, यह एक सूक्ष्म संपादक की तरह कार्य करता है, जो पिक्सेल की शीर्ष पंक्ति के लिए शरीर की सटीक स्थिति, अगली पंक्ति के लिए थोड़ी अलग स्थिति, और इसी तरह चुनता है, जो कैमरे द्वारा कैप्चर किए गए विशिष्ट समय से मेल खाता है। यह प्रक्रिया 'मोशन ब्लर' (गति के कारण धुंधलापन) के काम करने के तरीके से अलग है; जहाँ ब्लर एक चलते हुए ऑब्जेक्ट के सभी रंगों को एक ही धब्बे में मिलाने जैसा है, वहीं रोलिंग शटर समय के एक सटीक स्लाइसिंग (टुकड़ों में काटने) जैसा है, जहाँ प्रत्येक स्लाइस शरीर की एक विशिष्ट क्षण की स्पष्ट, तीक्ष्ण छवि रखता है।
अपने विचार का परीक्षण करने के लिए, शोधकर्ता ने एक मानक मोशन-कैप्चर स्टूडियो के डेटा का उपयोग करके एक नया बेंचमार्क बनाया। उन्होंने लोगों के हिलने-डुलने की उच्च-गुणवत्ता वाली रिकॉर्डिंग ली और कृत्रिम रूप से रोलिंग-शटर प्रभाव का अनुकरण किया, जिससे एक ऐसा डेटासेट तैयार हुआ जहाँ वास्तविक, तीक्ष्ण उत्तर ज्ञात था। फिर उन्होंने अपनी नई पद्धति की तुलना कई मौजूदा दृष्टिकोणों से की। एक सामान्य रणनीति यह है कि 3D मॉडल बनाने से पहले सॉफ्टवेयर का उपयोग करके विकृत रेखाओं को सीधा करके वीडियो को पहले "ठीक" करने का प्रयास किया जाए। दूसरी रणनीति एक ऐसे मॉडल का उपयोग करना है जो मोशन ब्लर के लिए डिज़ाइन किया गया है, जो यह मानता है कि कैमरे ने समय के दौरान गति को औसत (एवरेज) किया है। परिणाम स्पष्ट और आश्चर्यजनक थे। जिस पद्धति ने पहले वीडियो को ठीक करने का प्रयास किया, उसने चित्र में थोड़ा सुधार किया, लेकिन परिणामी 3D मॉडल अभी भी त्रुटिपूर्ण थे क्योंकि सुधार करने वाला सॉफ्टवेयर यह गारंटी नहीं दे सका कि विभिन्न कैमरा कोण तीन-आयामी स्थान में एक-दूसरे से सहमत होंगे। मोशन-ब्लर मॉडल और भी खराब प्रदर्शन कर गया, जिसने केवल रोलिंग शटर समस्या को पूरी तरह से अनदेखा करने की तुलना में कम गुणवत्ता वाले परिणाम दिए। ऐसा इसलिए हुआ क्योंकि ब्लर को संभालने के लिए उपयोग की जाने वाली गणितीय प्रक्रिया, रोलिंग शटर के लिए आवश्यक गणित से मौलिक रूप से भिन्न है; ब्लर मॉडल गति की दिशा का अनुमान लगाने की कोशिश करता है, जबकि रोलिंग शटर पहले से ही लाइनों के स्कैन होने के क्रम के माध्यम से वह दिशा प्रदान करता है।
नई प्रणाली, जो शटर को सीधे मॉडल करती है, ने अन्य सभी विधियों को पीछे छोड़ दिया। इसने काफी अधिक तीक्ष्ण और सटीक अवतार बनाए, जिसमें हाथ के पतला होने (टेपर) और हाथ तथा कूल्हे के बीच के अंतर जैसी सूक्ष्म बारीकियों को भी सुरक्षित रखा, जिन्हें अन्य विधियों ने या तो धुंधला कर दिया था या विकृत कर दिया था। शोधकर्ता ने पाया कि बेहतर परिणाम प्राप्त करने के लिए उन्हें समय के स्लाइस को अधिक बारीक या अधिक संख्या में करने की आवश्यकता नहीं थी; मौजूदा मोशन मॉडल पहले से ही एक सिंगल फ्रेम के भीतर की गति को पकड़ने के लिए पर्याप्त विस्तृत था। मुख्य बात केवल यह थी कि कंप्यूटर को शरीर की विभिन्न क्षणों की गति को अंतिम छवि में कैसे संयोजित करना है। कैमरे के स्कैन को एक एकल स्नैपशॉट के बजाय घटनाओं के एक शेड्यूल के रूप में मानकर, सिस्टम एक साफ, विरूपण-मुक्त 3D शरीर का पुनर्निर्माण कर सका जिसे बिना किसी डगमगाहट या टेढ़ेपन के किसी भी कोण से एनिमेट और देखा जा सकता था।
यह कार्य प्रदर्शित करता है कि कैमरा कैसे छवि कैप्चर करता है, यह केवल एक तकनीकी विवरण नहीं है जिसे बाद में ठीक किया जाना है, बल्कि यह देखने के भौतिक विज्ञान का एक मौलिक हिस्सा है। कैमरे के व्यवहार को सीधे 3D पुनर्निर्माण प्रक्रिया में एकीकृत करके, शोधकर्ता ने दिखाया है कि अपूर्ण वीडियो से चलते हुए व्यक्ति का एक स्पष्ट, सटीक डिजिटल प्रतिनिधित्व प्राप्त करना संभव है। निष्कर्ष बताते हैं कि छवि के एक प्रकार के विरूपण (जैसे ब्लर) को ठीक करने के लिए उपयोग किए जाने वाले उपकरण दूसरे (जैसे रोलिंग शटर) को ठीक करने के लिए सीधे तौर पर नहीं बदले जा सकते, क्योंकि त्रुटि की प्रकृति अलग है। हालांकि वर्तमान प्रणाली कई कैमरों और अच्छी रोशनी वाली स्थितियों के साथ सबसे अच्छा काम करती है, और यह शरीर के जोड़ों के गणितीय मॉडल पर निर्भर करती है, यह हमारे आसपास मौजूद साधारण वीडियो फुटेज से वास्तविक डिजिटल मानव बनाने के लिए एक नया मार्ग खोलती है। शोधकर्ता यह प्रश्न खुला छोड़ देते हैं कि क्या इस सघन समय-नमूनाकरण (डेंस सैंपलिंग) का उपयोग अंततः ऐसे वीडियो बनाने के लिए किया जा सकता है जो कैमरे द्वारा कैप्चर किए गए समय से तेज़ चलता हो, लेकिन फिलहाल, यह उपलब्धि चलते हुए मानव रूप की एक स्पष्ट और सच्ची तस्वीर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।