UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models
UniWorld-View एक एकीकृत ढांचा है जो विरल मोनोक्यूलर इनपुट से उच्च-निष्ठा, ज्यामितीय रूप से सुसंगत और सटीक रूप से नियंत्रणीय बड़े-बेसलाइन नवीन दृश्य संश्लेषण प्राप्त करने के लिए स्पष्ट ऑक्लूजन-अवेयर (occlusion-aware) 3D मार्गदर्शन को वीडियो डिफ्यूजन मॉडल्स के साथ जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक स्मार्टफोन पकड़ा हुआ है और आप अपने लिविंग रूम का चलते-फिरते एक छोटा सा वीडियो रिकॉर्ड कर रहे हैं। अब, एक ऐसे जादू के बारे में सोचिए जहाँ आप उस वीडियो को तुरंत एक बिल्कुल अलग कोण (angle) पर टेलीपोर्ट कर सकें—मान लीजिए छत के पास तैरते हुए या किसी ऐसी खिड़की से झाँकते हुए जिसे आपने कभी फिल्माया ही नहीं था—और उस नए स्थान से कमरे को पूरी स्पष्टता के साथ देख सकें। यह "नोवेल व्यू सिंथेसिस" (novel view synthesis) का सपना है, जो कंप्यूटर विज्ञान का एक ऐसा क्षेत्र है जो मशीनों को यह सिखाने की कोशिश कर रहा है कि फ्लैट, 2D तस्वीरों से 3D स्पेस को कैसे समझा जाए। लंबे समय तक, कंप्यूटर इसमें बहुत खराब थे। यदि आप उनसे किसी फोटो में कुर्सी के पीछे क्या है, इसका अनुमान लगाने को कहते, तो वे अक्सर गलत अनुमान लगाते, जिससे अजीब, खिंचे हुए धब्बे या अदृश्य छेद बन जाते। उन्हें या तो हर कोण से ली गई सैकड़ों तस्वीरों की आवश्यकता होती थी (जो उबाऊ और कठिन है) या वे गायब हिस्सों को "हैलुसिनेट" (hallucinate) करने की कोशिश करते थे, जिसके परिणामस्वरूप अक्सर ज्यामितीय दुःस्वप्न पैदा होते थे जहाँ दीवारें रबर की तरह मुड़ जाती थीं। लेकिन क्या होगा अगर हम दोनों दुनियाओं के सर्वश्रेष्ठ को मिला सकें: ज्यामिति के सख्त नियम (ताकि दीवारें सीधी रहें) और आधुनिक AI की रचनात्मक शक्ति (ताकि गायब हिस्से असली दिखें)? यही वह बड़ा सवाल है जिसे शोधकर्ता वर्चुअल रियलिटी, गेमिंग और सोशल मीडिया को वास्तव में इमर्सिव बनाने के लिए हल करने की कोशिश कर रहे हैं।
यहाँ आता है UniWorld-View, एक नई विधि जिसे पेकिंग यूनिवर्सिटी और Rabbitpre AI के शोधकर्ताओं द्वारा विकसित किया गया है, जो इन 3D फिल्मों के लिए एक सुपर-स्मार्ट निर्देशक की तरह काम करता है। मुख्य समस्या जिसे उन्होंने हल किया है, वह यह है कि जब आप उस दृश्य को एक बहुत अलग कोण से देखने की कोशिश करते हैं जिसे आपने फिल्माया था, तो क्या होता है। इसे एक शहर के नक्शे को बनाने की तरह समझें जिसे आपने केवल एक सड़क के कोने से देखा है। यदि आप अनुमान लगाने की कोशिश करते हैं कि एक इमारत के दूसरी ओर क्या है, तो आप गलती से इमारत के सामने के दरवाजे को पिछली दीवार पर बना सकते हैं, या एक पेड़ को आसमान के आर-पार खींच सकते हैं। पिछले AI तरीके अक्सर इन "फटने" (tearing) वाली गलतियों को करते थे क्योंकि उन्हें यह नहीं पता था कि दृश्य के कौन से हिस्से छिपे हुए (occluded) थे और कौन से दिखाई दे रहे थे।
UniWorld-View इसे एक चतुर दो-चरणीय रणनीति के साथ ठीक करता है। सबसे पहले, यह आपके वीडियो से एक मोटा 3D "पॉइंट क्लाउड" (दृश्यों का प्रतिनिधित्व करने वाले बिंदुओं का एक डिजिटल बादल) बनाता है। लेकिन इन बिंदुओं को केवल एक नई स्क्रीन पर प्रोजेक्ट करने के बजाय, यह एक "ट्रिपल-रिप्रोजेक्शन" (triple-reprojection) ट्रिक का उपयोग करता है। कल्पना कीजिए कि आप एक छाया की फोटो लेते हैं, फिर उस छाया के प्रतिबिंब की फोटो लेते हैं, और अंत में यह पता लगाने के लिए दोनों की तुलना करते हैं कि वस्तु के पीछे वास्तव में क्या छिपा है। यह AI को एक सटीक "मास्क" बनाने की अनुमति देता है जो इसे बताता है कि कौन से पिक्सेल वास्तविक हैं और कौन से केवल खाली छेद हैं। यह "नॉर्मल्स" (normals - सतह किस दिशा में उन्मुख है) की भी जांच करता है ताकि यह सुनिश्चित हो सके कि यह गलती से दीवार का पिछला हिस्सा न दिखा दे।
एक बार जब AI के पास एक साफ, ज्यामितीय रूप से सटीक मानचित्र तैयार हो जाता है कि वहां क्या होना चाहिए, तो यह खाली जगहों को भरने के लिए एक शक्तिशाली "वीडियो डिफ्यूजन मॉडल" (एक प्रकार का AI जो शोर को एक स्पष्ट तस्वीर में धीरे-धीरे बदलकर वीडियो उत्पन्न करता है) का उपयोग करता है। लेकिन यहाँ मुख्य बात यह है: यह केवल अनुमान नहीं लगाता है। यह एक "डुअल-स्ट्रीम" (dual-stream) प्रणाली का उपयोग करता है। एक स्ट्रीम ज्यामितीय मानचित्र को देखती है ताकि यह सुनिश्चित हो सके कि कैमरा ठीक वहीं जाए जहाँ आप चाहते हैं, और दूसरी स्ट्रीम आपके मूल वीडियो को देखती है ताकि रंग और बनावट (textures) की नकल की जा सके। यह सुनिश्चित करता है कि यदि आप कैमरे को एक नई जगह पर ले जाते हैं, तो वस्तुएं ठोस बनी रहें और लाइटिंग असली लगे, न कि पिक्सेल के सूप में पिघल जाए।
शोधकर्ताओं ने इसका परीक्षण "वर्ल्डस्कोर" (WorldScore) बेंचमार्क पर किया, जो यह परीक्षण करने का एक कठिन पैमाना है कि AI कैमरों की गतिविधियों को कितनी अच्छी तरह नियंत्रित कर सकता है और 3D दृश्यों को कितना सुसंगत रख सकता है। UniWorld-View ने "स्टेटिक" (static) दृश्यों पर उच्चतम स्कोर (85.53) प्राप्त किया और डायनेमिक दृश्यों पर दूसरे स्थान पर रहा, जिसने अन्य शीर्ष मॉडलों को पीछे छोड़ दिया। इसने यह भी दिखाया कि यह उन विशिष्ट दृश्यों पर पुन: प्रशिक्षित हुए बिना (जीरो-शॉट लर्निंग) सिंगल वीडियो से उच्च-गुणवत्ता वाले नए दृश्य उत्पन्न कर सकता है। संक्षेप में, UniWorld-View AI को पर्दे के पीछे क्या है, इसकी कल्पना करने के लिए पर्याप्त रचनात्मक होने के साथ-साथ भौतिकी और ज्यामिति के नियमों का सम्मान करना सिखाता है, जो उन अधिक यथार्थवादी आभासी दुनियाों का मार्ग प्रशस्त करता है जहाँ आप स्वतंत्र रूप से घूम सकते हैं, भले ही मूल वीडियो केवल एक त्वरित सेल्फी ही क्यों न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।