तकनीकी सारांश: नवीन दृश्य संश्लेषण और उससे आगे के लिए स्थिर कैनोनिकल वर्ल्ड्स (Canonical Worlds) सीखना

समस्या विवरण

वर्तमान फीड-फॉरवर्ड गॉसियन स्प्लेटिंग (FFGS) विधियाँ रीयल-टाइम नवीन दृश्य संश्लेषण (novel view synthesis) की सुविधा प्रदान करती हैं, लेकिन वे एक "रेंडरिंग-प्रथम" (rendering-first) पूर्वाग्रह से ग्रस्त हैं। ये दृष्टिकोण आमतौर पर लक्षित दृश्यों को सीधे संश्लेषित करने के लिए मल्टी-व्यू साक्ष्य (multi-view evidence) को अनुकूलित करते हैं, जिसके परिणामस्वरूप अक्सर दृश्य-निर्भर भविष्यवाणियाँ होती हैं। जैसे-जैसे इनपुट दृश्यों की संख्या बढ़ती है, ये विधियाँ एक स्थिर, साझा दृश्य प्रतिनिधित्व (scene representation) में अभिसरण (converge) करने के बजाय शोर वाले, अनावश्यक या परस्पर विरोधी साक्ष्य संचित करने लगती हैं। फलस्वरूप, अतिरिक्त दृश्य प्रदर्शन को बेहतर बनाने के बजाय प्रदर्शन को खराब कर सकते हैं या आर्टिफ़ेक्ट्स (जैसे कि घोस्टिंग या असंगत ज्यामिति) पेश कर सकते हैं। पेपर का तर्क है कि मौजूदा विधियाँ "कैनोनाइजेशन" (canonization) करने में विफल रहती हैं—अर्थात, बिखरे हुए, दृश्य-केंद्रित अवलोकनों को एक सुसंगत, दृश्य-केंद्रcentric आंतरिक मॉडल में बदलना—जो मैर (Marr) के विज़न सिद्धांत पर आधारित एक अवधारणा है।

कार्यप्रणाली: CanonicalGS

लेखक CanonicalGS का प्रस्ताव करते हैं, जो एक फीड-फॉरवर्ड पाइपलाइन है जिसे 3D गॉसियन्स को डिकोड करने से पहले एक स्थिर, दृश्य-केंद्रित लेटेंट वर्ल्ड (latent world) में मल्टी-व्यू अवलोकनों को मैप करने के लिए डिज़ाइन किया गया है। यह विधि एक 2D → 2.5D → 3D पाइपलाइन का अनुसरण करती है:

1. दृश्य-केंद्रित साक्ष्य निर्माण (View-Centric Evidence Formation)

प्रत्येक इनपुट दृश्य के लिए, सिस्टम स्वतंत्र रूप से घने दृश्य फीचर्स, डेप्थ और अनिश्चितता अनुमान निकालता है:

• फीचर एक्सट्रैक्शन: एक प्री-ट्रेंड DINO-v2 बैकबोन पैच-लेवल फीचर्स निकालता है, जिन्हें इमेज रेजोल्यूशन तक अपसैंपल किया जाता है ताकि एक डेंस फीचर मैप ($F_{view}$) बनाया जा सके।
• अनिश्चितता-जागरूक डेप्थ एस्टीमेशन: प्लेन-स्वीप स्टीरियो से प्रेरित एक कॉस्ट-वॉल्यूम डेप्थ मॉड्यूल का उपयोग करके, मॉडल एक डिस्क्रीट डेप्थ प्रोबेबिलिटी वॉल्यूम की गणना करता है। यह एक डेप्थ मैप ($D$) और एक पोजीशनल अनिश्चितता मैप ($U_{pos}$) प्रदान करता है, जो डेप्थ हाइपोथीसिस के वेरिएंस से प्राप्त होता है।
• अपीयरेंस अनिश्चितता: एक अतिरिक्त अपीयरेंस अनिश्चितता मैप ($U_{app}$) को एक MLP के माध्यम से सिमेंटिक फीचर्स से निकाला जाता है।
• विश्वसनीयता मानचित्र (Reliability Map): इन अनिश्चितता स्रोतों को एक प्रति-पिक्सेल विश्वसनीयता मानचित्र ($R_{view}$) बनाने के लिए संयोजित किया जाता है, जहाँ उच्च विश्वसनीयता ज्यामितीय समर्थन और दृश्य निश्चितता को दर्शाती है।

2. दृश्य-केंद्रित साक्ष्य एकत्रीकरण (Scene-Centric Evidence Aggregation)

मुख्य नवाचार इमेज स्पेस में या गॉसियन डिकोडिंग के बाद के बजाय, एक साझा 3D वोक्सेल लैटिस ($\mathcal{V}$) में साक्ष्य को एकत्रित करने में निहित है:

• रास्टराइजेशन: सभी दृश्यों से लिफ्ट किए गए 3D पॉइंट्स को एक फिक्स्ड वोक्सेल ग्रिड पर रास्टराइज़ किया जाता है।
• विश्वसनीयता-निर्देशित एकत्रीकरण: प्रत्येक वोक्सेल के भीतर, सिस्टम एक "स्थानीय प्रतिनिधि" (वह अवलोकन जिसकी विश्वसनीयता सबसे अधिक है) की पहचान करता है। अन्य अवलोकनों को उनकी विश्वसनीयता और इस प्रतिनिधि के साथ उनके फीचर समझौते के आधार पर भारित (weight) किया जाता है।
  • जो अवलोकन विश्वसनीय हैं और स्थानीय प्रतिनिधि के साथ सुसंगत हैं, वे मजबूती से योगदान देते हैं।
  • अनिश्चित या असंगत अवलोकनों को दबा दिया जाता है।
• आउटपुट फील्ड्स: यह प्रक्रिया दो दृश्य-केंद्रित फील्ड्स उत्पन्न करती है:
  • $R_{scene}$: एक विश्वसनीयता फील्ड जो संचित समर्थन को रिकॉर्ड करता है।
  • $F_{scene}$: एक फीचर फील्ड जो विश्वसनीयता-भारित दृश्य डिस्क्रिप्टर्स को संग्रहीत करता है।

3. GP डिकोडिंग

एक डिकोडर लेटेंट सीन फील्ड्स ($F_{scene}, R_{scene}$) को रेंडर करने योग्य 3D गॉसियन्स ($G$) में मैप करता है:

• ओपेसिटी कंट्रोल: प्रत्येक गॉसियन की ओपेसिटी ($\alpha$) को संचित दृश्य विश्वसनीयता ($R_{scene}$) से एक नॉन-डिक्रीजिंग फंक्शन के माध्यम से प्राप्त किया जाता है। यह सुनिश्चित करता है कि जैसे-जैसे अधिक विश्वसनीय साक्ष्य जमा होते हैं, ओपेसिटी बढ़ती है या संतृप्त (saturate) होती है, न कि उतार-चढ़ाव करती है।
• ज्यामिति और अपीयरेंस: शेष एट्रिब्यूट्स (पोजीशन ऑफसेट, कोवेरिएंस, स्फेरिकल हारमोनिक्स) को फीचर फील्ड ($F_{scene}$) से डिकोड किया जाता है। पोजीशन को प्रतिनिधि लिफ्टेड पॉइंट पर एंकर किया जाता है और एक सीखे गए ऑफसेट द्वारा रिफाइन किया जाता है।

मुख्य योगदान

1. कैनोनाइजेशन-ओरिएंटेड FFGS: पेपर FFGS को एक रेंडरिंग पाइपलाइन से बदलकर एक रिप्रेजेंटेशन लर्निंग एल्गोरिदम के रूप में पुनर्गठित करता है। यह साक्ष्य समेकन (एविडेंस कंसोलिडेशन - दृश्य स्थान में) को प्रिमिटिव प्रेडिक्शन (गॉसियन डिकोडिंग) से स्पष्ट रूप से अलग करता है।
2. अनिश्चितता-जागरूक फ्यूजन: उन पूर्ववर्ती एकत्रीकरण विधियों के विपरीत जो सभी दृश्यों को समान मानती हैं या डिकोडिंग के बाद उन्हें मर्ज करती हैं, CanonicalGS एकीकरण से पहले साक्ष्य को वेट करने के लिए अनिश्चितता को एक प्रथम-श्रेणी के सिग्नल के रूप में उपयोग करता है, जिससे शोर और रेडंडेंसी को दबाया जा सके।
3. स्थिर दृश्य प्रतिनिधित्व: एक गैर-घटते (non-decreasing) ओपेसिटी कंस्ट्रेंट को लागू करके, जो संचित विश्वसनीयता पर आधारित है, यह विधि सुनिश्चित करती है कि अतिरिक्त दृश्य दृश्य प्रतिनिधित्व को परिष्कृत (refine) करते हैं, न कि उसे अस्थिर करते हैं।
4. डाउनस्ट्रीम ट्रांसफ़रेबिलिटी: यह आर्किटेक्चर स्वाभाविक रूप से ऐसे फीचर्स उत्पन्न करता है जो सहायक पर्सेप्शन हेड्स की आवश्यकता के बिना डाउनस्ट्रीम कार्यों (जैसे सिमेंटिक सेगमेंटेशन) के लिए उपयुक्त हैं, क्योंकि दृश्य प्रतिनिधित्व विश्वसनीय साक्ष्य पर निर्मित है।

प्रयोगात्मक परिणाम

लेखक RealEstate10K (RE10K) और DL3DV डेटासेट्स पर CanonicalGS का मूल्यांकन करते हैं, और इसकी तुलना स्टेट-ऑफ-द-आर्ट FFGS विधियों (MVSplat, DepthSplat, FreeSplat, ZPressor) और गॉसियन-स्पेस मर्जिंग वेरिएंट्स से करते हैं।

• नवीन दृश्य संश्लेषण (Novel View Synthesis): CanonicalGS पीक सिग्नल-टू-नॉइज़ रेशियो (PSNR), स्ट्रक्चरल सिमिलरिटी (SSIM), और LPIPS में महत्वपूर्ण सुधार प्राप्त करता है। विशेष रूप से, जबकि बेसलाइन विधियाँ अक्सर इनपुट दृश्यों के बढ़ने (2 से 8 दृश्य) के साथ घटती या स्थिर हो जाती हैं, CanonicalGS निरंतर सुधार दिखाता है, जो RE10K पर 2.5 dB तक का PSNR गेन प्राप्त करता है।
• प्रतिनिधित्व स्थिरता (Representation Stability): गुणात्मक और मात्रात्मक विश्लेषण दिखाते हैं कि CanonicalGS फीचर्स अधिक स्थिर हो जाते हैं और जैसे-जैसे इनपुट बढ़ते हैं, वे एक संदर्भ (12-व्यू) की ओर अभिसरित होते हैं, जबकि बेसलाइन दृश्य-सेट परिवर्तनों के प्रति संवेदनशील होती हैं।
• डाउनस्ट्रीम धारणा (Downstream Perception): जब एक लीनियर प्रोब के माध्यम से सिमेंटिक सेगमेंटेशन के लिए उपयोग किया जाता है, तो CanonicalGS बेसलाइन्स की तुलना में 11% सटीकता का लाभ देता है, जो यह दर्शाता है कि सीखा गया लेटेंट वर्ल्ड सिमेंटिक संरचना को बेहतर ढंग से संरक्षित करता है।
• मजबूती (Robustness): डेप्थ अनुमानों में गॉसियन नॉइज़ व्यवधानों के तहत, CanonicalGS डेप्थ-कंडीशन्ड बेसलाइन्स की तुलना में कम गिरावट के साथ उच्च PSNR और SSIM बनाए रखता है, जो विश्वसनीयता-निर्देशित एकत्रीकरण की प्रभावशीलता की पुष्टि करता है।

महत्व और दावे

पेपर दावा करता है कि CanonicalGS सफलतापूर्वक शास्त्रीय विज़न थ्योरी (मैर के पदानुक्रम) को आधुनिक 3D गॉसियन प्रतिनिधित्व के साथ जोड़ता है। इसका प्राथमिक महत्व यह प्रदर्शित करना है कि अतिरिक्त दृश्य एक साझा दृश्य प्रतिनिधित्व को मजबूत करने चाहिए न कि दृश्य-आधारित क्लटर (clutter) पेश करने चाहिए।

लेखक CanonicalGS को केवल एक रेंडरिंग टूल के रूप में नहीं, बल्कि एक रिप्रेजेंटेशन लर्निंग एल्गोरिदम के रूप में स्थापित करते हैं जो सक्षम बनाता है:

• स्केलेबिलिटी: प्रदर्शन इनपुट दृश्यों के साथ बढ़ता है, जो वर्तमान रेंडरिंग-फर्स्ट दृष्टिकोणों के विपरीत है।
• मजबूती: अनिश्चितता-जागरूक फ्यूजन के कारण यह सिस्टम शोर वाले डेप्थ अनुमानों और ऑक्लूजन के प्रति कम संवेदनशील है।
• सामान्यीकरण (Generalization): स्थिर, दृश्य-केंद्रित फीचर्स सिमेंटिक सेगमेंटेशन जैसे डाउनस्ट्रीम विजुअल पर्सेप्शन कार्यों के लिए प्रभावी ढंग से ट्रांसफर होते हैं।

पेपर विनम्रतापूर्वक समाप्त होता है, जिसमें ज्यामितीय इनपुट (कैमरा पोज़ और डेप्थ अनुमान) की गुणवत्ता और वोक्सेल लैटिस की निश्चित संरचना जैसी सीमाओं को स्वीकार किया गया है। यह संयुक्त कैनोनाइजेशन (डेप्थ और पोज़ को एक साथ परिष्कृत करना) और समृद्ध अनिश्चितता मॉडलिंग में भविष्य के कार्य का सुझाव देता है, लेकिन एक साझा दृश्य स्थान में साक्ष्य समेकन की ओर कोर योगदान पर जोर देता है।