In Depth We Trust: Reliable Monocular Depth Supervision for Gaussian Splatting

यहाँ शोध पत्र "In Depth We Trust: Reliable Monocular Depth Supervision for Gaussian Splatting" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि 3D Gaussian Splatting (3DGS) ने नवीन दृश्य संश्लेषण (novel view synthesis) में अत्याधुनिक परिणाम प्राप्त किए हैं, फिर भी यह विरल प्रशिक्षण डेटा (sparse training data) और बनावटहीन सतहों (textureless surfaces) के साथ संघर्ष करता है, जिससे अक्सर ज्यामितीय विसंगतियाँ (जैसे, "floaters") और सटीक गहराई मानचित्रों की कमी हो जाती है।

• चुनौती: इन समस्याओं को कम करने के लिए, शोधकर्ता अक्सर मोनोकुलर डेप्थ एस्टीमेशन (MDE) मॉडल को प्रायर (priors) के रूप में उपयोग करते हैं। हालाँकि, फाउंडेशन MDE मॉडल स्केल अस्पष्टता (अज्ञात पूर्ण गहराई), बहु-दृश्य असंगतता (विभिन्न दृश्यों में अलग-अलग स्केल), और स्थानीय ज्यामितीय अशुद्धियों से ग्रस्त होते हैं।
• परिणाम: शोर वाले, स्केल-अस्पष्ट डेप्थ प्रायर को अनियंत्रित रूप से 3DGS प्रशिक्षण पर लागू करने से अच्छी तरह से पुनर्निर्मित ज्यामिति खराब हो सकती है, जिससे बिना डेप्थ सुपरविजन के प्रशिक्षण की तुलना में रेंडरिंग गुणवत्ता और भी खराब हो जाती है। मौजूदा विधियाँ जो मोटे स्केल संरेखण (जैसे, विरल SfM बिंदुओं से मिलान करना) पर निर्भर करती हैं, वे तब विफल हो जाती हैं जब SfM डेटा विरल होता है या जब MDE मॉडल कमजोर होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक बहुमुखी प्रशिक्षण ढांचा प्रस्तावित करते हैं जो अविश्वसनीय संकेतों को सक्रिय रूप से फ़िल्टर करते हुए मोनोकुलर डेप्थ प्रायर को Gaussian Splatting अनुकूलन में एकीकृत करता है। यह ढांचा तीन मुख्य घटकों से बना है:

A. डेप्थ-इनकंसिस्टेंसी मास्क (Depth-Inconsistency Mask - DIM)

यह सुनिश्चित करने के लिए कि त्रुटिपूर्ण गहराई भविष्यवाणियाँ दृश्य ज्यामिति को खराब न करें, लेखक "इल-पोस्ड" (ill-posed) क्षेत्रों की पहचान करने और उन्हें अलग करने के लिए एक तंत्र पेश करते हैं।

• आभासी स्टीरियो सेटअप (Virtual Stereo Setup): प्रशिक्षण के दौरान, वर्तमान कैमरा पोज ($P_l$) और एक बेसलाइन $b$ द्वारा ऑफसेट किए गए एक छद्म-कैमरा ($P_r$) का उपयोग करके एक आभासी स्टीरियो पेयर बनाया जाता है।
• कंसिस्टेंसी चेक: सिस्टम दोनों दृश्यों के लिए डेप्थ मैप ($\hat{D}_l, \hat{D}_r$) रेंडर करता है। यह दाएं-दृश्य की गहराई को 3D स्पेस में बैक-प्रोजेक्ट करता है और उसे बाएं दृश्य पर पुनः प्रोजेक्ट करता है।
• मास्क जनरेशन: रेंडर किए गए बाएं डेप्थ ($\hat{D}_l$) और पुन: प्रोजेक्ट किए गए डेप्थ ($\hat{D}_{l \leftarrow r}$) के बीच पिक्सेल-वार अंतर की गणना की जाती है। यदि अंतर $\epsilon$ थ्रेसहोल्ड से अधिक है (या यदि ऑक्लूजन के कारण पॉइंट गायब है), तो एक डेप्थ-इनकंसिस्टेंसी मास्क (DIM) को 1 सेट किया जाता है।
• कार्य: यह मास्क उन क्षेत्रों की पहचान करता है जहाँ मल्टी-व्यू ज्यामितीय निरंतरता टूट जाती है (जो खराब पुनर्निर्माण या अविश्वसनीय प्रायर का संकेत देता है)। सुपरविजन चयनात्मक रूप से केवल इन असंगत क्षेत्रों पर लागू किया जाता है, जिससे शोर वाले MDE संकेतों से अच्छी तरह से पुनर्निर्मित क्षेत्रों की सुरक्षा होती है।

B. मास्किंग के साथ स्केल-इनवेरिएंट डेप्थ लॉस ($L_{sid}$)

डेप्थ सुपरविजन को वैश्विक रूप से लागू करने के बजाय, यह ढांचा मानक स्केल-इनवेरिएंट डेप्थ लॉस ($L_1$) को केवल वहीं लागू करता है जहाँ DIM असंगतता का संकेत देता है।

• फॉर्मूला: $L_{abs} = L_1(M \odot D, M \odot \hat{D})$
• लक्ष्य: यह इन विसंगत क्षेत्रों में Gaussian primitives को MDE मॉडल द्वारा प्रदान की गई मोटे तौर पर पूर्ण गहराई (स्पार्स SfM पॉइंट्स के साथ संरेखण के बाद) के साथ संरेखित करने के लिए मजबूर करता है, जिससे सटीक स्थानीय संरचनाओं को बाधित किए बिना बड़े पैमाने की ज्यामितीय त्रुटियों को सुधारा जा सके।

C. ग्रेडिएंट-अलाइनमेंट लॉस (Gradient-Alignment Loss - GAL)

MDE मॉडलों में सूक्ष्म विवरणों की कमी और पैच-आधारित सहसंबंध नुकसान (जैसे NCC) के स्मूथिंग प्रभावों को संबोधित करने के लिए, लेखक एक ग्रेडिएंट-आधारित लॉस पेश करते हैं।

• तंत्र: GAL रेंडर किए गए डेप्थ और संरेखित मोनोकुलर डेप्थ के स्थानिक ग्रेडिएंट्स (प्रथम-क्रम डेरिवेटिव) के बीच क्षैतिज ($x$) और ऊर्ध्वाधर ($y$) दोनों दिशाओं में $L_1$ अंतर की गणना करता है।
• फॉर्मूला: $L_{rel} = L_1(\partial_x D, \partial_x \hat{D}) + L_1(\partial_y D, \partial_y \hat{D})$
• लक्ष्य: यह लॉस नेटवर्क को सापेक्ष डेप्थ विविधताओं (relative depth variations) और उच्च-आवृत्ति वाली ज्यामितीय विवरणों को सीखने के लिए प्रोत्साहित करता है, जिससे यह सुनिश्चित होता है कि भले ही पूर्ण स्केल अस्पष्ट हो, तेज किनारे और सूक्ष्म संरचनाएं संरक्षित रहें।

कुल सुपरविजन लॉस (Total Supervision Loss):
अंतिम डेप्थ सुपरविजन पद एक भारित संयोजन (weighted combination) है:
$$R = \alpha L_{abs} + \beta L_{rel}$$

3. मुख्य योगदान (Key Contributions)

1. विश्वसनीय प्रशिक्षण ढांचा: एक अभिनव दृष्टिकोण जो रेंडरिंग गुणवत्ता को खराब किए बिना आसानी से उपलब्ध, अपूर्ण मोनोकुलर डेप्थ प्रायर का लाभ उठाता है, जिससे 3DGS स्केल अस्पष्टता और शोर के प्रति मजबूत बनता है।
2. डेप्थ-इनकंसिस्टेंसी मास्क (DIM): एक आभासी स्टीरियो सेटअप का उपयोग करने वाला एक गतिशील तंत्र जो मल्टी-व्यू इनकंसिस्टेंट Gaussians का पता लगाता है, जिससे चयनात्मक नियमितीकरण (selective regularization) संभव होता है जो त्रुटि प्रसार को रोकता है।
3. ग्रेडिएंट-अलाइनमेंट लॉस (GAL): एक नया लॉस फंक्शन जो सापेक्ष डेप्थ विविधताओं से सूक्ष्म ज्यामितीय संकेतों को कैप्चर करता है, जो विवरणों को संरक्षित करने में पारंपरिक पैच-आधारित सहसंबंध नुकसानों की तुलना में बेहतर प्रदर्शन करता है और अधिक कुशल है।
4. सामान्यीकरण (Generalization): यह ढांचा विशिष्ट MDE बैकबोन के प्रति तटस्थ है (DepthAnything V2, MoGe-2, UniDepth V2, Marigold के साथ परीक्षण किया गया) और विभिन्न GS वेरिएंट्स (3DGS और 2DGS) के साथ संगत है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन तीन वास्तविक दुनिया के डेटासेट्स: ScanNet++, MipNeRF 360, और TanksAndTemples पर, लो-डेटा (स्पार्स व्यू) और मध्यम-डेटा दोनों सेटिंग्स के तहत किया गया।

• रेंडरिंग गुणवत्ता: प्रस्तावित विधि ने बेसलाइन (बिना डेप्थ के 3DGS) और अत्याधुनिक प्रतिस्पर्धियों (SparseGS, DNGaussian, FSGS) को लगातार पछाड़ दिया।
  • लो-डेटा सेटिंग्स में, इसने बेसलाइन पर औसत PSNR लाभ >0.47 dB प्राप्त किया।
  • मीडियम-डेटा सेटिंग्स में, जहाँ अन्य विधियाँ अक्सर ओवर-रेगुलराइजेशन के कारण प्रदर्शन में गिरावट का शिकार होती हैं, प्रस्तावित विधि ने गुणवत्ता में सुधार जारी रखा।
• डेप्थ सटीकता: रेंडर किए गए डेप्थ मेट्रिक्स (Abs. Rel. और $\delta_1$ सटीकता) में महत्वपूर्ण सुधार देखे गए, भले ही कमजोर MDE मॉडल (जैसे, Marigold) का उपयोग किया गया हो।
• एब्लेशन स्टडीज (Ablation Studies):
  • DIM को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि हुई कि असंगत क्षेत्रों को मास्क करना महत्वपूर्ण है।
  • GAL को NCC या कोसाइन सिमिलैरिटी लॉस से बदलने के परिणामस्वरूप कम PSNR और उच्च प्रशिक्षण समय हुआ, जो विवरणों को संरक्षित करने में GAL की दक्षता और प्रभावशीलता को सिद्ध करता है।
• मजबूती (Robustness): विधि विभिन्न MDE बैकबोन में प्रभावी रही, जो यह दर्शाती है कि यह आर्किटेक्चरल बदलावों के बिना भविष्य के फाउंडेशन डेप्थ मॉडल्स के सुधारों का लाभ उठा सकती है।

5. महत्व (Significance)

यह शोध पत्र 3D पुनर्निर्माण की एक महत्वपूर्ण बाधा को संबोधित करता है: सहायक ज्यामितीय प्रायर का उपयोग करने और शोर (noise) लाने के जोखिम के बीच का संतुलन।

• व्यावहारिक प्रभाव: यह उच्च-निष्ठा वाले 3D दृश्य पुनर्निर्माण को बढ़ाने के लिए लागत प्रभावी, सिंगल-इमेज डेप्थ एस्टिमेशन मॉडल के उपयोग को सक्षम बनाता है, जिसके लिए विशेष RGB-D हार्डवेयर की आवश्यकता नहीं है।
• सैद्धांतिक अंतर्दृष्टि: यह रेखांकित करता है कि चयनात्मक सुपरविजन (उन क्षेत्रों में प्रायर लागू करना जहाँ ज्यामिति अनिश्चित है) वैश्विक सुपरविजन की तुलना में अधिक प्रभावी है।
• भविष्य की दिशा: 2D फाउंडेशन प्रायर का सुरक्षित रूप से उपयोग करके, यह ढांचा जटिल, वास्तविक दुनिया के परिदृश्यों में जहाँ डेटा विरल या शोर वाला है, उच्च-निष्ठा वाले दृश्य पुनर्निर्माण का मार्ग प्रशस्त करता है।