EgoRelight: Egocentric Human Capture and Illumination Recovery for Relightable and Photoreal Avatar Rendering
EgoRelight एक समग्र ढांचा (holistic framework) है जो एक एकल हेड-माउंटेड डिस्प्ले से पूर्ण-शरीर की गति को कैप्चर करने, पुन: प्रकाश योग्य (relightable) फोटोरियलिस्टिक अवतारों को संश्लेषित करने और उच्च गतिशील रेंज (high dynamic range) वाले एनवायरनमेंट मैप्स को रिकवर करने के माध्यम से इमर्सिव मिक्स्ड रियलिटी टेलीप्रेजेंस को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक हाई-टेक चश्मा (हेडसेट) पहना हुआ है जिसमें आपके पैरों और हाथों को देखने के लिए कैमरे लगे हैं, और दुनिया के चारों ओर देखने के लिए अन्य कैमरे लगे हैं। इस शोध पत्र, EgoRelight का लक्ष्य आपको एक सटीक, फोटो-रियलिस्टिक डिजिटल जुड़वा (डिजिटल ट्विन) में बदलना है जिसे किसी भी वीडियो गेम या वर्चुअल मीटिंग रूम में डाला जा सके, जो बिल्कुल वैसा ही दिखे जैसा आप असल जिंदगी में दिखते हैं—भले ही उस नए कमरे की लाइटिंग पूरी तरह से अलग क्यों न हो।
यह सिस्टम कैसे काम करता है, इसे तीन सरल चरणों में रोजमर्रा के उदाहरणों के माध्यम से यहाँ समझाया गया है:
1. "शैडो पपेटियर" (आपके आकार को कैप्चर करना)
समस्या: आमतौर पर, हेडसेट पर लगे कैमरे केवल आपके सामने की दुनिया को देखते हैं। उन्हें आपके अपने शरीर को देखने में कठिनाई होती है, विशेष रूपकर आपके कपड़ों को, क्योंकि यहाँ 'सेल्फ-ऑक्लूजन' (आपका अपना सिर दृश्य को बाधित करता है) की समस्या होती है।
समाधान: लेखक आपके शरीर को देखने के लिए नीचे की ओर देख रहे कैमरों का उपयोग करते हैं, जैसे कोई शैडो पपेट (परछाईं के कठपुतली) को देख रहा हो।
- उपमा: कल्पना कीजिए कि आप ऊपर एक चमकदार रोशनी वाले कमरे में खड़े हैं। आपके चश्मे पर लगे कैमरे नीचे की ओर देखते हैं और आपके शरीर और कपड़ों की "परछाईं" देखते हैं। सिस्टम इस दृश्य का उपयोग आपके मूवमेंट का एक 3D कंकाल (स्केलेटन) और आपके शरीर की सतह का एक विस्तृत मानचित्र बनाने के लिए करता है।
- जादू: यह केवल आपके पोज़ का अनुमान नहीं लगाता; यह दूरी की जानकारी (डेप्थ इंफॉर्मेशन) का उपयोग करके आपके शरीर का एक सटीक 3D मेश बनाता है, जिसमें आपकी शर्ट की सिलवटें भी शामिल हैं, जिससे यह सुनिश्चित होता है कि डिजिटल संस्करण बिल्कुल आपकी तरह ही मूव करता है।
2. "कैमेलियन सूट" (किसी भी रोशनी में आपको असली दिखाना)
समस्या: अधिकांश डिजिटल पात्रों में लाइटिंग पहले से ही "बेक्ड-इन" (स्थिर) होती है। यदि आप किसी पात्र को धूप वाले कमरे में रिकॉर्ड करते हैं, तो वे कम रोशनी वाले कमरे में अजीब और अंधेरे दिखाई देते हैं। वे अपनी स्किन टोन या अपने कपड़ों से परावर्तित होने वाली रोशनी को बदल नहीं सकते।
समाधान: EgoRelight आपके डिजिटल अवतार को एक "गिरगिट" (कैमेलियन) बनाना सिखाता है।
- उपमा: सोचिए कि आपका डिजिटल अवतार दो परतों से बने एक विशेष सूट को पहने हुए है:
- मैट लेयर (डिफ्यूज): यह आपकी त्वचा या शर्ट के आधार रंग की तरह है। यह चमकता नहीं है; यह केवल प्रकाश को सोखता है।
- शाइनी लेयर (स्पेक्युलर): यह आपकी त्वचा पर चमक या गीले जैकेट पर दिखने वाले रिफ्लेक्शन की तरह है।
- ट्रेनिंग: सूट को रोशनी के प्रति प्रतिक्रिया करना सिखाने के लिए, शोधकर्ताओं ने लोगों को एक "लाइटस्टेज" में फिल्माया—जो सैकड़ों लाइटों वाला एक विशाल गुंबद है जो किसी भी पैटर्न में फ्लैश कर सकती है। सिस्टम यह सीखता है कि रोशनी आपकी विशिष्ट त्वचा और कपड़ों से कैसे टकराती है।
- परिणाम: जब आप किसी नए वर्चुअल कमरे में प्रवेश करते हैं, तो सिस्टम गणना करता है कि नया प्रकाश आपके "कैमेलियन सूट" पर कैसे पड़ेगा। यह चमकदार हिस्सों को मैट हिस्सों से अलग करता है, जिससे यह सुनिश्चित होता है कि आप एक धूप भरे समुद्र तट या एक अंधेरी गुफा में भी पूरी तरह से वास्तविक लगें, न कि किसी प्लास्टिक के खिलौने की तरह।
3. "लाइट डिटेक्टिव" (कमरे को स्कैन करना)
समस्या: एक नए कमरे में आपके डिजिटल जुड़वा को असली दिखाने के लिए, कंप्यूटर को यह जानने की आवश्यकता है कि उस कमरे की लाइटिंग कैसी है।
समाधान: सिस्टम कमरे को स्कैन करने और लाइटिंग का पता लगाने के लिए आपके हेडसेट पर लगे सामने की ओर देखने वाले कैमरों का उपयोग करता है।
- उपमा: कल्पना कीजिए कि आप एक कमरे में जाते हैं और कंप्यूटर पूछता है, "क्या यह उज्ज्वल है या अंधेरा? क्या रोशनी गर्म (पीली) है या ठंडी (नीली)?"
- ट्रिक: सिस्टम कमरे की एक त्वरित 360-डिग्री फोटो लेता है (जो आमतौर पर एक साधारण, लो-क्वालिटी इमेज होती है) और आपके डिजिटल जुड़वा को एक "कैलिब्रेशन टूल" के रूप में उपयोग करता है। यह उस फोटो में अपने अवतार को रेंडर करता है और चेक करता है: "क्या मेरा अवतार यहाँ सही दिख रहा है?" यदि अवतार बहुत अधिक लाल या हरा दिखता है, तो सिस्टम कमरे के लाइटिंग मैप को तब तक एडजस्ट करता है जब तक कि अवतार पूरी तरह से घुल-मिल न जाए। यह कमरे का एक उच्च-गुणवत्ता वाला "लाइट मैप" बनाता है।
अंतिम परिणाम: मिक्स्ड रियलिटी टेलीप्रेजेंस
एक बार जब ये तीनों भाग काम करने लगते हैं, तो आपको एक मिक्स्ड रियलिटी टेलीप्रेजेंस अनुभव मिलता है।
- परिदृश्य: आप हेडसेट पहनकर अपने लिविंग रूम में हैं। आपका दोस्त अपने ऑफिस में है।
- प्रभाव: आपका दोस्त आपको (आपके डिजिटल जुड़वा को) अपनी ऑफिस की कुर्सी पर बैठा हुआ देखता है। क्योंकि सिस्टम ने आपकी लाइटिंग और आपके 3D आकार को कैप्चर किया है, इसलिए आप ऐसा दिखते हैं जैसे आप वास्तव में वहीं मौजूद हैं। यदि आपका दोस्त अपने ऑफिस में लैंप जलाता है, तो रोशनी आपके डिजिटल चेहरे और कपड़ों पर वास्तविक रूप से पड़ती है। यदि आप अपना हाथ हिलाते हैं, तो डिजिटल हाथ भी उसके साथ हिलता है।
यह पेपर क्या कर सकता है (और क्या नहीं)
- यह कर सकता है: केवल एक हेडसेट से एक फुल-बॉडी, फोटो-रियलिस्टिक अवतार बना सकता है। यह उस अवतार को नई लाइटिंग स्थितियों में वास्तविक दिखा सकता है। यह लाइटिंग से मेल खाने के लिए कमरे को स्कैन कर सकता है।
- यह अभी नहीं कर सकता (अभी तक): एक स्टैंडर्ड फोन पर रियल-टाइम में नहीं चल सकता (यह वर्तमान में थोड़ा धीमा है, प्रति फ्रेम लगभग एक चौथाई सेकंड लेता है)। इसके लिए पहले आपकी विशिष्ट उपस्थिति सीखने के लिए कई लाइटों वाले स्टूडियो में एक विशेष "ट्रेनिंग" सत्र की आवश्यकता होती है। यह अत्यधिक बाहरी धूप या बहुत अंधेरे वातावरण के साथ थोड़ा संघर्ष करता है क्योंकि हेडसेट के कैमरों की सेटिंग्स फिक्स्ड होती हैं।
संक्षेप में, EgoRelight एक व्यक्ति को एक डिजिटल अभिनेता में बदलने का एक नया तरीका है जो किसी भी वर्चुअल दुनिया में जा सकता है और बिल्कुल वैसा ही दिख सकता है जैसा कि एक वास्तविक इंसान होता है, और रोशनी के प्रति वैसे ही प्रतिक्रिया करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।