Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

तकनीकी सारांश: गैर-लैम्बर्टियन सतहों में सुदृढ़ मोनोलिथार डेप्थ एस्टीमेशन की ओर

समस्या विवरण
मोनोलिथार डेप्थ एस्टीमेशन (MDE) में हालिया प्रगति ने सामान्य दृश्यों में प्रभावशाली ज़ीरो-शॉट सामान्यीकरण (zero-shot generalization) क्षमताओं वाले मॉडल तैयार किए हैं। हालाँकि, ये मॉडल गैर-लैम्बर्टियन सतहों, विशेष रूप से पारदर्शी या दर्पण (ToM) क्षेत्रों का सामना करने पर अक्सर विफल हो जाते हैं। इन सतहों के अद्वितीय परावर्तक गुण मानक मॉडलों को वास्तविक सतह के बजाय परावर्तित सामग्री के आधार पर त्रुटिपूर्ण गहराई संरचनाओं की भविष्यवाणी करने के लिए प्रेरित करते हैं। इस समस्या को हल करने के पिछले प्रयास, जैसे कि Depth4ToM, प्री-ट्रेंड MDE मॉडल के माध्यम से संसाधित करने से पहले RGB छवियों को रैंडम रंगों के साथ इन-पेंट (in-paint) करने के लिए बाहरी सेगमेंटेशन मास्क पर निर्भर करते हैं। ये दृष्टिकोण दो मुख्य सीमाओं से ग्रस्त हैं: वे अतिरिक्त इनपुट मास्क की सटीकता पर अत्यधिक निर्भर हैं, और इन-पेंटिंग के दौरान रैंडम रंगों का उपयोग मजबूती की कमी रखता है, जिसके लिए व्यापक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता होती है। इसके अलावा, प्रकाश की स्थितियाँ गैर-लैम्बर्टियन सतहों में गहराई की रिकवरी को महत्वपूर्ण रूप से प्रभावित करती हैं; अत्यधिक प्रकाश बनावट (textures) को दबा सकता है, जबकि अपर्याप्त प्रकाश शोर और विरूपण पेश करता है, जो विशेष रूप से पारदर्शी वस्तुओं और दर्पण प्रतिबिंबों को प्रभावित करता है।

कार्यप्रणाली
लेखक एक प्रशिक्षण ढांचे (training framework) का प्रस्ताव करते हैं जिसे एक बेसलाइन मॉडल (विशेष रूप से Depth Anything V2) को सीधे गैर-लैम्बर्टियन सतहों की अनूठी विशेषताओं को सीखने में सक्षम बनाने के लिए डिज़ाइन किया गया है, जिससे RGB इन-पेंटिंग की आवश्यकता समाप्त हो जाती है। यह विधि तीन मुख्य घटकों से मिलकर बनी है:

1. रैंडम टोन-मैपिंग ऑग्मेंटेशन (RTA):
   गैर-लैम्बर्टियन डेप्थ एस्टीमेशन को प्रकाश के प्रति संवेदनशीलता को संबोधित करने के लिए, लेखक सिंथेटिक Hypersim डेटासेट पर प्रशिक्षण चरण के दौरान रैंडम टोन-मैपिंग का उपयोग करते हैं। रूपांतरण $I_{aug} = \alpha I_{ori}^{\gamma}$ लागू करके, जहाँ $\gamma$ एक मानक गामा सुधार कारक है और $\alpha$ रैंडम पर्सेंटाइल तीव्रता मानों (70वें और 99वें पर्सेंटाइल के बीच) से प्राप्त एक स्केल फैक्टर है, मॉडल को विविध प्रकाश स्थितियों के संपर्क में लाया जाता है। इसका उद्देश्य विभिन्न रोशनी की स्थितियों के तहत मॉडल की ज़ीरो-शॉट सामान्यीकरण क्षमता को बढ़ाना है।

2. नॉन-लैम्बर्टियन सरफेस रीजनल गाइडेंस (NSRG):
   इन-पेंटिंग के बजाय, लेखक एक क्षेत्रीय मार्गदर्शन तंत्र (regional guidance mechanism) पेश करते हैं जो ग्रेडिएंट डोमेन के भीतर MDE मॉडल के भविष्यवाणियों को नियंत्रित करता है। इस पूर्व धारणा के आधार पर कि अधिकांश ToM वस्तुएं निरंतर प्लेन (continuous planes) होती हैं, यह विधि मास्क किए गए गैर-लैम्बर्टियन क्षेत्रों के भीतर अनुमानित डेप्थ ग्रेडिएंट और ग्राउंड ट्रुथ ग्रेडिएंट के बीच निरंतरता लागू करती है।
   लॉस फंक्शन, $\mathcal{L}_{ToM}$, अनुमानित डेप्थ ($\nabla D$) और ग्राउंड ट्रुथ ग्रेडिएंट ($\nabla D^\star$) के बीच संरेखण के लिए एक रोबस्ट एस्टिमेटर का उपयोग करता है। यह ग्रेडिएंट्स को सामान्य करने के लिए स्केल ($s$) और शिफ्ट ($t$) गुणांकों की गणना करता है, और शीर्ष 20% अवशेषों (residuals) को हटाकर आउटलेर्स को दूर करता है। अंतिम लॉस सामान्यीकृत ग्रेडिएंट्स के बीच $L_1$ दूरी को कम करता है, जिससे यह सुनिश्चित होता है कि अनुमानित डेप्थ प्लेन ToM क्षेत्रों में स्मूथ और ग्राउंड ट्रुथ के साथ सुसंगत रहे।

3. डाइवर्स लाइटिंग इमेजेस फ्यूजन (DLIF) (वैकल्पिक):
   उन परिदृश्यों के लिए जहाँ एक ही दृश्य की कई एक्सपोज़र छवियां उपलब्ध हैं, लेखक एक वैकल्पिक फ्यूजन मॉड्यूल का प्रस्ताव करते हैं। यह मॉड्यूल Stable Diffusion के एक प्री-ट्रेंड वेरिएशनल ऑटोएनकोडर (VAE) का उपयोग करके विभिन्न प्रकाश स्थितियों वाली कई छवियों को लेटेंट फीचर्स में एनकोड करता है। इन लेटेंट फीचर्स को औसत निकालकर और उन्हें डिकोड करके, सिस्टम एक एकल फ्यूस्ड RGB छवि उत्पन्न करता है जो सैद्धांतिक रूप से डेप्थ एस्टीमेशन के लिए इष्टतम प्रकाश स्थितियों को रखती है, जो VAE के सिमेंटिक प्रायर्स (semantic priors) का लाभ उठाती है।

प्रमुख योगदान

• रैंडम टोन-मैपिंग ऑग्मेंटेशन: एक डेटा ऑग्मेंटेशन रणनीति जो प्रशिक्षण डेटासेट को विविध प्रकाश स्थितियों के साथ समृद्ध करती है, जिससे विविध प्रकाश परिदृश्यों के तहत MDE मॉडल की मजबूती और ज़ीरो-शॉट सामान्यीकरण में महत्वपूर्ण सुधार होता है।
• नॉन-लैम्बर्टियन सरफेस रीजनल गाइडेंस: एक नवीन प्रशिक्षण बाधा (training constraint) जो ग्रेडिएंट डोमेन में कार्य करती है। यह सेगमेंटेशन मास्क का उपयोग करके नेटवर्क को गैर-लैम्बर्टियन सतहों के लिए सही डेप्थ प्लेन का अनुमान लगाने के लिए सीधे निर्देशित करती है, जिससे RGB इन-पेंटिंग विधियों की अस्थिरता से बचा जा सकता है।
• वैकल्पिक इमेज फ्यूजन मॉड्यूल: एक तंत्र जो मल्टी-एक्सपोज़र छवियों को फ्यूज करने के लिए VAEs का उपयोग करता है, जो जब कई प्रकाश स्थितियां उपलब्ध हों तो डेप्थ एस्टीमेशन के लिए एक फायदेमंद इनपुट प्रदान करता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन Booster डेटासेट और NYU Depth Dataset V2 (जिसे Mirror3D द्वारा परिष्कृत किया गया है), साथ ही TRICKY2024 प्रतियोगिता टेस्ट सेट पर किया गया।

• मात्रात्मक प्रदर्शन: Depth Anything V2 बेसलाइन की तुलना में, प्रस्तावित विधि ने ToM क्षेत्रों में ( $\delta_{1.05}$ द्वारा मापा गया) Booster डेटासेट पर 33.39% और Mirror3D डेटासेट पर 5.21% की सटीकता सुधार हासिल की।
• स्टेट-ऑफ-द-आर्ट: TRICKY2024 प्रतियोगिता टेस्ट सेट पर, विधि ने ToM क्षेत्रों के भीतर 90.75 का $\delta_{1.05}$ स्कोर प्राप्त किया, जो स्टेट-ऑफ-द-आर्ट प्रदर्शन प्रदर्शित करता है।
• एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि रैंडम टोन-मैपिंग ऑग्मेंटेशन और नॉन-लैम्बर्टियन सरफेस रीजनल गाइडेंस दोनों स्वतंत्र रूप से प्रदर्शन लाभ में योगदान करते हैं, और इनका संयोजन सर्वोत्तम परिणाम देता है। वैकल्पिक इमेज फ्यूजन मॉड्यूल ने तब भी परिणामों में सुधार किया जब मल्टी-एक्सपोज़र इनपुट का उपयोग किया गया।

महत्व और सीमाएं
पेपर का दावा है कि इसकी प्राथमिक महत्ता पोस्ट-प्रोसेसिंग इन-पेंटिंग से हटकर एक अच्छी तरह से डिज़ाइन किए गए प्रशिक्षण ढांचे के माध्यम से गैर-लैम्बर्टियन विशेषताओं के प्रत्यक्ष शिक्षण की ओर बढ़ने में निहित है। ग्रेडिएंट निरंतरता और लाइटिंग मजबूती पर ध्यान केंद्रित करके, यह विधि प्रक्रिया को सरल बनाती है और रैंडम रंगों के लिए अनुभवजन्य समायोजन (empirical adjustments) पर निर्भर हुए बिना स्थिरता बढ़ाती है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि अत्यधिक ओवरएक्सपोज़्ड छवियों के मामलों में जहाँ गैर-लैम्बर्टियन सतहों (जैसे कांच) की बनावट पूरी तरह से लुप्त हो जाती है, वहां नेटवर्क अभी भी विफल हो सकता है। वे सुझाव देते हैं कि भविष्य के कार्य में ऐसी चरम स्थितियों में गुणात्मक और मात्रात्मक परिणामों को और बेहतर बनाने के लिए इमेज क्वालिटी ऑप्टिमाइज़ेशन और सिमेंटिक इंफॉर्मेशन फ्यूजन को एकीकृत किया जा सकता है।