💻 computer science

MoCam: Unified Novel View Synthesis via Structured Denoising Dynamics

मोकैम (MoCam) एक एकीकृत नवीन दृश्य संश्लेषण (novel view synthesis) ढांचे को पेश करता है जो डिफ्यूजन प्रक्रिया के भीतर ज्यामितिक संरेखण (geometric alignment) और उपस्थिति परिशोधन (appearance refinement) को समयबद्ध रूप से अलग करने के लिए संरचित डिनोइजिंग डायनेमिक्स का उपयोग करता है, जिससे पहले ज्यामितिक पूर्वग्रहों (geometric priors) के साथ मोटे ढांचों को स्थापित करके और फिर उपस्थिति पूर्वग्रहों (appearance priors) का उपयोग करके त्रुटियों को सुधारने और विवरणों को परिष्कृत करने के माध्यम से मौजूदा विधियों की सीमाओं को प्रभावी ढंग से दूर किया जा सकता है।

मूल लेखक: Haofeng Liu, Yang Zhou, Ziheng Wang, Zhengbo Xu, Zhan Peng, Jie Ma, Jun Liang, Shengfeng He, Jing Li

प्रकाशित 2026-05-13

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Haofeng Liu, Yang Zhou, Ziheng Wang, Zhengbo Xu, Zhan Peng, Jie Ma, Jun Liang, Shengfeng He, Jing Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रसिद्ध पेंटिंग को फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल उसका एक धुंधला, कम-रिज़ॉल्यूशन वाला स्केच है और मूल दृश्य की एक एकल तस्वीर है। आप उस दृश्य का एक बिल्कुल अलग कोण से नया संस्करण बनाना चाहते हैं—शायद उसे बगल से या ऊपर से देखते हुए।

यह नोवेल व्यू सिंथेसिस (Novel View Synthesis) की चुनौती है: एक ऐसे कैमरा एंगल से दृश्य का यथार्थवादी नया दृश्य बनाना जो मूल रूप से कैप्चर नहीं किया गया था।

यह शोध पत्र इस समस्या को हल करने के लिए MoCam नामक एक नई विधि पेश करता है। यह कैसे काम करता है, इसका विवरण एक सरल उपमा के माध्यम से यहाँ दिया गया है।

समस्या: "खराब स्केच" की दुविधा

एक नया दृश्य बनाने के लिए, कंप्यूटर आमतौर पर मूल वीडियो से एक 3D "स्कैफोल्ड" (जैसे कि एक वायरफ्रेम मॉडल) बनाने की कोशिश करते हैं।

अच्छी बात: यह स्कैफोल्ड कंप्यूटर को ठीक-ठीक बताता है कि कैमरे को कहाँ ले जाना है।
बुरी बात: क्योंकि मूल वीडियो केवल एक सपाट 2D रिकॉर्डिंग है, इसलिए 3D स्कैफोल्ड अक्सर छेदों, गायब हिस्सों और विरूपणों (distortions) से भरा होता है। यह एक घर बनाने के लिए ऐसे ब्लूप्रिंट का उपयोग करने जैसा है जिसमें आधी दीवारें गायब हैं।

यदि आप इस टूटे हुए ब्लूप्रिंट का उपयोग करके शुरू से अंत तक अंतिम चित्र बनाने की कोशिश करते हैं, तो त्रुटियाँ उसमें "बेशक" (baked in) हो जाती हैं। परिणाम विकृत, ग्लिच युक्त या पूरी तरह से ध्वस्त दिखता है।

समाधान: MoCam का "दो-अंकों वाला नाटक" (Two-Act Play)

MoCam इसे यह समझते हुए हल करता है कि आपको पूरी प्रक्रिया के लिए एक परफेक्ट ब्लूप्रिंट की आवश्यकता नहीं है। इसके बजाय, यह काम को दो अलग-अलग अंकों में विभाजित करता है, जो प्रक्रिया के बीच में ही अपने "गाइड" को बदल देता है।

इसे दो अलग-अलग प्रकार के सहायकों के साथ एक फिल्म निर्देशित करने के रूप में सोचें:

अंक 1: आर्किटेक्ट (प्रारंभिक चरण)

गाइड: टूटा हुआ 3D स्कैफोल्ड (द "स्कैफोल्ड वीडियो")।
काम: भले ही स्कैफोल्ड छेदों से भरा हो, यह कंप्यूटर को यह बताने में उत्कृष्ट है कि चीजें कहाँ होनी चाहिए और कैमरा कैसे घूमना चाहिए।
रणनीति: MoCam इस अपूर्ण गाइड का उपयोग पहले मोटे तौर पर संरचना तैयार करने के लिए करता है। यह छेदों को अनदेखा करता है और केवल बड़ी आकृतियों और कैमरा मूवमेंट को सही करने पर ध्यान केंद्रित करता है। यह एक नैपकिन पर घर की रूपरेखा खींचने वाले आर्किटेक्ट की तरह है—इसे अभी परफेक्ट होने की ज़रूरत नहीं है; इसे बस लेआउट सही करने की ज़रूरत है।

अंक 2: इंटीरियर डिज़ाइनर (बाद का चरण)

गाइड: मूल, उच्च-गुणवत्ता वाला वीडियो (द "सोर्स वीडियो")।
काम: अब जब "रूपरेखा" स्थापित हो चुकी है, MoCam अपना गाइड बदल देता है। यह टूटे हुए स्कैफोल्ड को देखना बंद कर देता है और सुंदर, हाई-डेफिनिशन मूल वीडियो को देखना शुरू करता है।
रणनीति: कंप्यूटर अब विवरणों को भरने, छेदों को ठीक करने और बनावट (textures) को यथार्थवादी बनाने के लिए मूल वीडियो का उपयोग करता है। चूंकि "रूपरेखा" पहले से ही लॉक हो चुकी है, इसलिए कंप्यूटर संरचना को खोए बिना त्रुटियों को ठीक कर सकता है। यह इंटीरियर डिज़ाइनर के आने जैसा है जो दीवारों को पेंट करने और कलाकृतियां लटकाने आता है, यह जानते हुए कि दीवारें कहाँ होनी चाहिए।

यह विशेष क्यों है

पिछले तरीकों ने टूटे हुए स्कैफोल्ड और मूल वीडियो दोनों का एक साथ उपयोग करने की कोशिश की। यह आर्किटेक्ट और इंटीरियर डिज़ाइनर से हर निर्णय पर एक साथ बहस करने के लिए कहने जैसा है। परिणाम भ्रम है: कंप्यूटर को विरोधाभासी संकेत मिलते हैं, जिससे विजुअल ग्लिच (visual glitches) पैदा होते हैं।

MoCam उन्हें समय के अनुसार अलग करता है:

पहले: यह संरचना को सही करने के लिए आर्किटेक्ट की बात सुनता है।
फिर: यह इसे वास्तविक बनाने के लिए डिज़ाइनर की बात सुनता है।

परिणाम

शोध पत्र दिखाता है कि यह "दो-अंकों वाला नाटक" MoCam को शानदार, यथार्थवादी नए दृश्य बनाने की अनुमति देता है, भले ही मूल 3D डेटा बहुत खराब या छेदों से भरा हो। यह "ग्लिच" को फैलने से रोकता है और यह सुनिश्चित करता है कि अंतिम वीडियो एक वास्तविक, सुसंगत दृश्य की तरह दिखे, चाहे वह एक स्थिर फोटो हो या चलता हुआ वीडियो।

संक्षेप में, MoCam एक साथ टूटे हुए ब्लूप्रिंट को ठीक करने की कोशिश नहीं करता है; यह फ्रेम बनाने के लिए ब्लूप्रिंट का उपयोग करता है, और फिर दीवारों को पूरा करने के लिए मूल फोटो का उपयोग करता है।

तकनीकी सारांश: MoCam - स्ट्रक्चर्ड डिनोइजिंग डायनेमिक्स के माध्यम से यूनिफाइड नोवेल व्यू सिंथेसिस

1. समस्या विवरण

जेनरेटिव नोवेल व्यू सिंथेसिस (novel view synthesis) ज्यामितीय पूर्वधारणाओं (geometric priors) और दिखावट की पूर्वधारणाओं (appearance priors) के बीच सामंजस्य बिठाने में एक मौलिक दुविधा का सामना करता है।

ज्यामितीय पूर्वधारणाएँ (Geometric Priors): पुनर्निर्मित ज्यामिति (जैसे, डेप्थ मैप, पॉइंट क्लाउड) पर निर्भर विधियाँ लक्षित कैमरा प्रक्षेपवक्र (target camera trajectories) के लिए आवश्यक स्थानिक संरेखण (spatial alignment) प्रदान करती हैं। हालाँकि, महत्वपूर्ण दृश्य परिवर्तनों या मोनोकुलर इनपुट के तहत, ये पूर्वधारणाएँ वि-आच्छादन (disocclusion) और डेप्थ की अशुद्धि के कारण अपरिहार्य रूप से विरल (sparse), अपूर्ण और त्रुटिपूर्ण हो जाती हैं।
दिखावट की पूर्वधारणाएँ (Appearance Priors): स्रोत चित्र या वीडियो उच्च-विश्वसनीय दृश्य विवरण प्रदान करते हैं लेकिन उनमें नवीन दृष्टिकोणों के साथ ज्यामितीय पत्राचार (geometric correspondence) का अभाव होता है।
संघर्ष: मौजूदा दृष्टिकोण या तो जनरेशन प्रक्रिया के दौरान ज्यामितीय त्रुटियों को प्रसारित करते हैं (केवल स्कैफोल्ड पर निर्भर होकर) या दिखावट और ज्यामिति को स्थिर रूप से फ्यूज करने का प्रयास करते हैं। स्थिर फ्यूजन सिग्नल संघर्ष (signal conflicts) की ओर ले जाता है जहाँ मजबूत दिखावट संकेत जनरेशन के शुरुआती चरणों में ज्यामितीय विचलन (geometric drift) का कारण बनते हैं, या त्रुटिपूर्ण ज्यामिति जनरेशन के अंत में संरचनात्मक त्रुटियों को स्थायी रूप से "बेक" (bake) कर देती है। इसके परिणामस्वरूप ज्यामितीय पतन (geometric collapse), दृश्य विरूपण (visual artifacts) और अस्थिरता होती है, विशेष रूप से 4D री-कैमरा कार्यों (डायनेमिक सीन) और सिंगल-इमेज 3D पुनर्निर्माण में।

2. कार्यप्रणाली: MoCam

MoCam एक ढांचा पेश करता है जो डिफ्यूजन प्रक्रिया के भीतर स्ट्रक्चर्ड डिनोइजिंग डायनेमिक्स (structured denoising dynamics) का उपयोग करके स्टैटिक और डायनेमिक व्यू सिंथेसिस को एकीकृत करता है। मुख्य अंतर्दृष्टि यह है कि डिफ्यूजन मॉडल की विभिन्न डिनोइजिंग चरणों में अलग-अलग प्रतिनिधि आवश्यकताएं होती हैं: शुरुआती चरणों को मोटे संरचनात्मक एंकरिंग (coarse structural anchoring) की आवश्यकता होती है, जबकि बाद के चरणों को उच्च-आवृत्ति परिशोधन (high-frequency refinement) की आवश्यकता होती है।

2.1 पाइपलाइन अवलोकन

यह विधि तीन चरणों में कार्य करती है:

स्कैफोल्ड जनरेशन (Scaffold Generation): एक डेप्थ एस्टिमेटर और इनवर्स पर्सपेक्टिव प्रोजेक्शन का उपयोग करके मोनोकुलर इनपुट वीडियो (या $N$ फ्रेम के लिए दोहराए गए एकल चित्र) से एक डायनेमिक पॉइंट क्लाउड बनाया जाता है। इस पॉइंट क्लाउड को लक्षित कैमरा प्रक्षेपवक्र के साथ रेंडर किया जाता है ताकि एक मोटा "स्कैफोल्ड वीडियो" ( $x_{ren}^{tgt}$ ) बनाया जा सके। यह स्कैफोल्ड लक्षित मोशन के साथ स्थानिक रूप से संरेखित है लेकिन इसमें महत्वपूर्ण आर्टिफैक्ट्स (छेद, विरूपण) शामिल हैं।
डुअल-कंडीशनिंग आर्किटेक्चर (Dual-Conditioning Architecture): मॉडल दो अलग-अलग कंडीशनिंग सिग्नल्स का उपयोग करता है:
- स्कैफोल्ड कंडीशन ( $c_{ren}$ ): रेंडर किए गए स्कैफोल्ड वीडियो से प्राप्त, जो मजबूत मोशन और स्ट्रक्चरल प्रायर्स प्रदान करता है।
- रेफरेंस अपीयरेंस कंडीशन ( $c_{src}$ ): मूल स्रोत वीडियो से प्राप्त, जो उच्च-विश्वसनीय बनावट (texture) और ऑब्जेक्ट डायनेमिक्स प्रदान करता है।
स्टेज-वाइज जनरेशन (Stage-Wise Generation): इन सिग्नल्स को स्टैटिक रूप से फ्यूज करने के बजाय, MoCam उन्हें डिनोइजिंग टाइमस्टेप $t$ के आधार पर टेम्पोरली डिकपल (temporally decouple) करता है।

2.2 स्ट्रक्चर्ड डिनोइजिंग डायनेमिक्स

जनरेशन प्रक्रिया एक समय-निर्भर संदर्भ $c(t)$ द्वारा नियंत्रित होती है, जो एक पूर्व-निर्धारित थ्रेशोल्ड $T_{switch}$ (अनुभवजन्य रूप से 0.85 पर सेट) पर स्विच द्वारा परिभाषित है:

$c(t) = \begin{cases} c_{ren} & \text{यदि } t > T_{switch} \quad (\text{प्रारंभिक चरण}) \\ c_{src} & \text{यदि } t \le T_{switch} \quad (\text{बाद का चरण}) \end{cases}$

प्रारंभिक चरण ( $t > T_{switch}$ ): मॉडल केवल स्कैफोल्ड ( $c_{ren}$ ) पर कंडीशन होता है। चूंकि लेटेंट वेरिएबल मुख्य रूप से शोर (noise) है, इसलिए प्राथमिक कार्य वैश्विक संरचना और मोशन कोहेरेंस स्थापित करना है। मॉडल को लक्षित कैमरा प्रक्षेपवक्र का पालन करने के लिए मजबूर किया जाता है, जो दृश्य लेआउट को एंकर करने के लिए स्कैफोल्ड की ज्यामितीय अपूर्णता को जानबूझकर सहन करता है।
बाद का चरण ( $t \le T_{switch}$ ): मॉडल केवल स्रोत दिखावट ( $c_{src}$ ) पर कंडीशन होने के लिए स्विच हो जाता है। इस चरण तक, एक सुसंगत लो-फ्रीक्वेंसी संरचना पहले से ही स्थापित हो चुकी होती है। मॉडल विस्तृत विवरणों को संश्लेषित करने, बनावट को परिष्कृत करने और स्कैफोल्ड से विरासत में मिले ज्यामितीय त्रुटियों को सक्रिय रूप से सुधारने और वि-आच्छादित (disoccluded) क्षेत्रों को भरने के लिए उच्च-विश्वसनीय संदर्भ वीडियो का उपयोग करता है। यह स्कैफोल्ड के दोषों को अंतिम आउटपुट में स्थायी रूप से "बेक" होने से रोकता है।

यह फ्रेमवर्क प्री-ट्रेंड लेटेंट वीडियो जेनरेटिव मॉडल्स (जैसे, Wan2.2) पर आधारित है, जो एक वेरिएशनल ऑटोएनकोडर (VAE) के माध्यम से कंप्रेस्ड लेटेंट स्पेस में संचालित होता है।

3. प्रमुख योगदान

सिग्नल संघर्ष की पहचान: पेपर जेनेरेटिव व्यू सिंथेसिस में ज्यामितीय और दिखावट की पूर्वधारणाओं के बीच मौलिक तनाव की पहचान करता है, यह तर्क देते हुए कि स्टैटिक फ्यूजन सिग्नल इंटरफेरेंस और एरर प्रोपेगेशन का कारण बनता है।
स्ट्रक्चर्ड डिनोइजिंग डायनेमिक्स: लेखक एक सिद्धांत आधारित समाधान प्रस्तावित करते हैं जो इन सिग्नल्स को टेम्पोरली डिकपल करता है। स्कैफोल्ड को प्रारंभिक स्ट्रक्चरल एंकरिंग के साथ और दिखावट को लेट-स्टेज रिफाइनमेंट के साथ संरेखित करके, विधि मजबूत ज्यामिति-दिखावट डिसेंटैंगलमेंट (geometry-appearance disentanglement) प्राप्त करती है।
यूनिफाइड फ्रेमवर्क: MoCam एक एकल फ्रेमवर्क प्रस्तुत करता है जो सिंगल-इमेज 3D रिकंस्ट्रक्शन और वीडियो 4D री-कैमरा दोनों के लिए लागू है। यह प्रदर्शित करता है कि स्टेज-वाइज कंडीशनिंग इनपुट मोडलिटीज में सामान्यीकृत (generalize) होती है, जो बिना किसी प्रति-सीन ऑप्टिमाइजेशन के अविश्वसनीय ज्यामिति के तहत दृश्य संश्लेषित करने की चुनौती को संबोधित करती है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन OpenVid-1M डेटासेट (इन-द-वाइल्ड मोनोकुलर वीडियो) और iPhone मल्टी-व्यू डेटासेट पर किया गया।

मात्रात्मक प्रदर्शन (Quantitative Performance): MoCam कई मेट्रिक्स पर स्टेट-ऑफ-द-आर्ट विधियों (GEN3C, TrajCrafter, ReCam) से काफी बेहतर प्रदर्शन करता है:
- परसेप्चुअल क्वालिटी: VBench मेट्रिक्स (बैकग्राउंड कंसिस्टेंसी, सब्जेक्ट कंसिस्टेंसी, इमेजिंग क्वालिटी) में बेहतर स्कोर प्राप्त करता है और कम FVD-V स्कोर (उदाहरण के लिए, 3D रिकंस्ट्रक्शन में GEN3C के लिए 289.37 के मुकाबले 255.16) प्राप्त करता है।
- पोज़ सटीकता: सबसे कम रोटेशन और ट्रांसलेशन एरर बनाए रखता है, जो सटीक कैमरा कंट्रोल को प्रदर्शित करता है।
- पिक्सेल-वाइज मेट्रिक्स: iPhone डेटासेट पर, MoCam उच्चतम PSNR, SSIM और न्यूनतम LPIPS और FVD प्राप्त करता है, जो ग्राउंड ट्रुथ के प्रति उच्च निष्ठा (fidelity) को दर्शाता है।
ज्यामितीय गिरावट के प्रति मजबूती (Robustness to Geometric Degradation): कैमरा मोशन मैग्नीट्यूड (30° से 90° ऑर्बिट) को बदलते हुए प्रयोग दिखाते हैं कि MoCam ज्यामितीय स्पर्सिटी (sparsity) बढ़ने पर भी सुसंगत प्रदर्शन बनाए रखता है। प्रतिस्पर्धी बड़े दृश्य परिवर्तनों के तहत विनाशकारी ड्रिफ्ट या संरचनात्मक पतन का शिकार होते हैं, जबकि MoCam का स्टेज-वाइज दृष्टिकोण ड्रिफ्ट को रोकता है और स्पर्स एरर्स को ठीक करता है।
एब्लेशन स्टडीज (Ablation Studies):
- स्कैफोल्ड-ओनली (Scaffold-Only): इसके परिणामस्वरूप पतन वाले मेट्रिक्स मिलते हैं, जो पुष्टि करता है कि निरंतर ज्यामितीय कंडीशनिंग त्रुटियों को बेक करती है।
- स्कैफोल्ड-अर्ली (Scaffold-Early): सबसे खराब आर्टिफैक्ट्स से बचता है लेकिन लेट-स्टेज अपीयरेंस सिग्नल के बिना वि-आच्छादित क्षेत्रों में धुंधले विवरण उत्पन्न करता है।
- स्टैटिक-बोथ (Static-Both): सिग्नल इंटरफेरेंस के कारण विनाशकारी ज्यामितीय अस्थिरता (उच्च रोटेशन/ट्रांसलेशन एरर) से ग्रस्त होता है, जो टेम्पोरल डिकपलिंग की आवश्यकता को प्रमाणित करता है।
- जनरलाइजेशन: विधि विभिन्न बैकबोन आर्किटेक्चर (Wan2.1 और Wan2.2) में लगातार प्रदर्शन करती है।

5. महत्व और दावे

पेपर दावा करता है कि MoCam अविश्वसनीय ज्यामिति के तहत दृश्य संश्लेषण की अंतर्निहित चुनौती को हल करता है, जिससे डिनोइजिंग प्रक्रिया को एलाइनमेंट से रियलिज्म की ओर एक संरचित प्रगति में बदल दिया जाता है।

मजबूती (Robustness): विधि मजबूत ज्यामिति-दिखावट डिसेंटैंगलमेंट प्राप्त करती है, जो सुसंगत और फोटो-रियलिस्टिक परिणाम उत्पन्न करती है, भले ही पॉइंट क्लाउड में गंभीर छेद या विरूपण हों।
त्रुटि सुधार (Error Correction): पूर्ववर्ती विधियों के विपरीत जो त्रुटियों को प्रसारित करती हैं, MoCam का लेट-स्टेज अपीयरेंस कंडीशनिंग ज्यामितीय अशुद्धियों को सक्रिय रूप से ठीक करता है।
यूनिफाइड अप्रोच: यह रेखांकित करता है कि समान जनरेशन सिद्धांत स्टैटिक और डायनेमिक व्यू सिंथेसिस दोनों के लिए लागू होता है, जो सघन मल्टी-व्यू डेटा या प्रति-सीन ऑप्टिमाइजेशन की आवश्यकता के बिना 3D रिकंस्ट्रक्शन और 4D री-कैमरा के लिए एक एकीकृत समाधान प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि उनका स्टेज-वाइज डिज़ाइन प्रभावी रूप से अपूर्ण मोनोकुलर रिकंस्ट्रक्शन की सीमाओं को कम करके कंट्रोलेबल व्यू सिंथेसिस के लिए नए मानक स्थापित करता है।