💻 computer science

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

यह शोधपत्र एक 3D-जागरूक न्यूरल मॉडलिंग दृष्टिकोण प्रस्तावित करता है जो मजबूत लो-लाइट RGB-NIR इमेजिंग के लिए, शोर युक्त (noisy) RGB अवलोकनों को 3D स्पेस में NIR संकेतों के साथ प्रभावी ढंग से संलयित (fuse) करके स्वच्छ RGB छवियों को पुनर्प्राप्त करता है, जिससे स्वच्छ RGB पर्यवेक्षण (supervision) की आवश्यकता समाप्त हो जाती है और विभिन्न शोर स्तरों पर उत्कृष्ट सामान्यीकरण (generalization) प्रदर्शित होता है।

मूल लेखक: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

प्रकाशित 2026-08-03

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक घोर अंधेरे कमरे में एक बेहतरीन फोटो खींचने की कोशिश कर रहे हैं। आप अपना कैमरा घुमाते हैं, शटर दबाते हैं, और बदले में आपको केवल शोर (static) से भरा एक दानेदार, अव्यवस्थित दृश्य मिलता है। कंप्यूटर विज़न में "लो-लाइट इमेजिंग" (कम रोशनी में चित्रण) का दैनिक संघर्ष यही है। दशकों से, वैज्ञानिक इसे ठीक करने के लिए या तो कैमरे को प्रकाश इकट्ठा करने के लिए अधिक समय देने की कोशिश करते रहे हैं (जिससे मोशन ब्लर होता है) या फिर जटिल गणित का उपयोग करके यह अनुमान लगाने की कोशिश करते हैं कि तस्वीर कैसी होनी चाहिए। लेकिन एक चतुर तरीका है: नियर-इन्फ्रारेड (NIR) प्रकाश। हालांकि हमारी आँखें इसे नहीं देख सकतीं, लेकिन कैमरे देख सकते हैं, और NIR एक भूतिया टॉर्च की तरह व्यवहार करता है जो अंधेरे में भी वस्तुओं के आकार और बनावट को प्रकट कर देता है, भले ही वह उन्हें मोनोक्रोम, ग्रे स्केल में दिखाए। बड़ा सवाल हमेशा से यह रहा है: क्या हम इस भूतिया ग्रे मैप का उपयोग अपने शोर भरे, रंगीन फोटो को ठीक करने के लिए कर सकते हैं, बिना कंप्यूटर को यह सिखाए कि उसे क्या करना है जिसके लिए एक "परफेक्ट" संदर्भ फोटो की आवश्यकता होती है? आमतौर पर, कंप्यूटर को फोटो साफ करना सिखाने के लिए, आपको उसे एक गंदा संस्करण और एक साफ संस्करण अगल-बगल दिखाना पड़ता है। लेकिन वास्तविक दुनिया में, अंधेरे में उस साफ संस्करण को प्राप्त करना अक्सर असंभव होता है।

यह शोध पत्र, जिसका शीर्षक "Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark" है, इस पहेली को सुलझाने का एक नया तरीका प्रस्तावित करता है। लेखक, जो टोक्यो विश्वविद्यालय और अन्य संस्थानों की एक टीम है, सुझाव देते हैं कि एक एकल 2D छवि को साफ करने के बजाय, हमें पहले दृश्य का एक 3D मॉडल बनाना चाहिए। इसे इस तरह सोचें: यदि आपके पास अंधेरे में ली गई लेगो (Lego) के महल की एक धुंधली, शोर वाली फोटो है, और इन्फ्रारेड कैमरे से ली गई उसी महल की एक स्पष्ट, ग्रे फोटो है, तो पुराने तरीके ग्रे विवरणों को रंगीन फोटो पर एक स्टिकर की तरह चिपकाने की कोशिश करते हैं। यह पेपर तर्क देता है कि यह गलत दृष्टिकोण है। इसके बजाय, वे कंप्यूटर के दिमाग में महल की एक आभासी 3D मूर्ति बनाते हैं। वे मूर्ति के आकार को परिभाषित करने के लिए स्पष्ट ग्रे (NIR) फोटो का उपयोग करते हैं, और फिर वे शोर वाले रंगीन (RGB) फोटो का उपयोग उसे पेंट करने के लिए करते हैं, लेकिन वे इसे इस तरह करते हैं कि पेंट केवल वहीं चिपके जहाँ आकार तर्कसंगत हो।

शोधकर्ताओं ने पाया कि इन दो प्रकार के प्रकाश को 3D स्थान में संयोजित करके, वे बिना किसी "साफ" मूल फोटो को देखे, एक साफ, रंगीन छवि का पुनर्निर्माण कर सकते हैं। उन्होंने इस प्रक्रिया में दो प्रमुख बाधाओं की खोज की। पहला, कंप्यूटर रंगीन फोटो के रैंडम स्टैटिक (शोर) को वास्तविक विवरण के रूप में सीखने की कोशिश करता था, जिससे एक अजीब "चेकरबोर्ड" पैटर्न बन जाता था। इसे ठीक करने के लिए, उन्होंने कंप्यूटर को शोर भरी रंगीन फोटो के बजाय इन्फ्रारेड फोटो की "लय" (फ्रीक्वेंसी) सुनने के लिए प्रशिक्षित किया, जिससे प्रभावी रूप से स्टैटिक को शांत किया जा सका। दूसरा, उन्होंने महसूस किया कि इन्फ्रारेड फोटो में ग्रे का एक ही शेड वास्तविक जीवन में कई अलग-अलग रंगों के अनुरूप हो सकता है (एक ग्रे दीवार लाल, नीली या हरी हो सकती है)। इसे हल करने के लिए, उन्होंने एक विशेष "कलर कोड" प्रणाली जोड़ी जो कंप्यूटर को संभावनाओं की एक सूची से सही रंग का अनुमान लगाने देती है, बजाय इसके कि वे उन्हें एक मटमैले भूरे रंग में मिला दें।

टीम ने कंप्यूटर-जनित दृश्यों और वास्तविक दुनिया के कैप्चर, जिसमें एक उल्लू और एक रोवर का दृश्य शामिल है, दोनों पर अपने विचार का परीक्षण किया। उन्होंने कई मौजूदा तकनीकों के विरुद्ध अपने तरीके का परीक्षण किया, जिनमें भारी मात्रा में साफ प्रशिक्षण डेटा पर निर्भर तकनीकें भी शामिल हैं। परिणाम बताते हैं कि उनकी 3D-अवेयर विधि ने बहुत अधिक शोर होने के बावजूद भी अधिक स्पष्ट छवियां, बेहतर रंग और कम आर्टिफैक्ट्स (दोष) उत्पन्न किए। उन्होंने प्रदर्शित किया कि यह दृष्टिकोण बिना उन "साफ" संदर्भ फोटो की आवश्यकता के, जो अन्य तरीकों के लिए आवश्यक हैं, विभिन्न स्तरों के अंधेरे और शोर के बीच काम करता है। हालांकि वर्तमान में यह प्रणाली स्थिर दृश्यों के लिए सबसे अच्छा काम करती है और यदि कैमरे पूरी तरह से संरेखित (aligned) नहीं हैं तो संघर्ष करती है, फिर भी यह पेपर सुझाव देता है कि यह उन कैमरों को बनाने की दिशा में एक महत्वपूर्ण कदम है जो केवल उसी प्रकाश का उपयोग करके स्पष्ट रूप से देख सकते हैं जिसे वे पहले से ही कैप्चर कर रहे हैं।

तकनीकी सारांश: अंधेरे में सुदृढ़ और 3D-जागरूक RGB-NIR इमेजिंग की ओर

समस्या विवरण (Problem Statement)

कम रोशनी वाली इमेजिंग (low-light imaging) एक मौलिक चुनौती बनी हुई है। जबकि लॉन्ग-एक्सपोज़र और बर्स्ट फोटोग्राफी जैसी पारंपरिक रणनीतियाँ मोशन ब्लर और दृश्यता संबंधी समस्याओं से ग्रस्त होती हैं, और मौजूदा डीप लर्निंग-आधारित संवर्द्धन विधियाँ अक्सर "नॉइजी RGB–NIR–क्लीन RGB" ट्रिपलेट्स पर निर्भर करती हैं, ये सुपरवाइज्ड मॉडल विभिन्न शोर स्तरों के तहत खराब क्रॉस-डोमेन सामान्यीकरण (generalization) और सीमित सुदृढ़ता प्रदर्शित करते हैं। केवल नियर-इन्फ्रारेड (NIR) और नॉइजी RGB अवलोकनों का उपयोग करके, बिना किसी भी प्रकार के क्लीन RGB पर्यवेक्षण (supervision) के, सुदृढ़ लो-लाइट एन्हांसमेंट प्राप्त करने में एक महत्वपूर्ण अंतर मौजूद है।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक नवीन 3D-जागरूक न्यूरल इम्प्लिसिट फ्यूजन आर्किटेक्चर प्रस्तावित करता है जो एक वॉल्यूम रेंडरिंग फ्रेमवर्क का लाभ उठाता है ताकि अत्यधिक नॉइजी RGB अवलोकनों को 3D स्पेस में NIR संकेतों (cues) के साथ अंतर्निहित रूप से फ्यूज किया जा सके। यह दृष्टिकोण मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और वॉल्यूम रेंडरिंग पर आधारित है, जिसे RGB-NIR मोडैलिटीज के पूरक गुणों का बिना क्लीन RGB ग्राउंड ट्रुथ के लाभ उठाने के लिए पुनर्गठित किया गया है।

मुख्य वास्तुशिल्प घटक (Key Architectural Components)

3D-जागरूक फ्यूजन संरचना (NIR-कंडीशन्ड MLP):
- समानांतर संरचना (जहाँ अलग-अलग MLPs क्रमशः RGB और NIR को संभालते हैं) के विपरीत, प्रस्तावित विधि एक NIR-कंडीशन्ड संरचना का उपयोग करती है।
- एक NIR MLP, NIR अवलोकन का उपयोग करके वॉल्यूम डेंसिटी ( $\sigma$ ) का अनुमान लगाता है।
- NIR MLP का आउटपुट RGB MLP में फीड किया जाता है ताकि संरचनात्मक मार्गदर्शन (structural guidance) प्रदान किया जा सके। महत्वपूर्ण रूप से, एक ग्रेडिएंट-स्टॉपिंग रणनीति यह सुनिश्चित करती है कि नॉइजी RGB अवलोकन NIR प्रतिनिधित्व के सीखने को खराब न करें।
- यह डिज़ाइन RGB MLP को NIR में एनकोडेड संरचनात्मक जानकारी का लाभ उठाने की अनुमति देता है, जबकि NIR प्रतिनिधित्व की अखंडता बनाए रखता है, जिससे प्रभावी रूप से उन सूक्ष्म 2D बनावट (texture) विवरणों को रिकवर किया जा सकता है जो शुद्ध 3D निरंतरता (consistency) मिस कर सकती है।
NIR-मॉड्यूलेटेड पोजीशनल एनकोडिंग (NIR-P.E.):
- मानक साइनुसोइडल पोजीशनल एनकोडिंग (P.E.), जो 3D निर्देशांक ( $x$ ) और व्यू डायरेक्शन्स ( $d$ ) पर लागू होती है, गंभीर शोर के तहत "चेकरबोर्ड आर्टिफैक्ट्स" (checkerboard artifacts) उत्पन्न कर सकती है, क्योंकि नेटवर्क संरचनात्मक विवरणों के बजाय हाई-फ्रीक्वेंसी शोर पर ओवरफिट हो जाता है।
- फ्रीक्वेंसी डोमेन का विश्लेषण प्रकट करता है कि क्लीन RGB और NIR समान स्मूथ फ्रीक्वेंसी वितरण साझा करते हैं, जबकि नॉइजी RGB रैंडम हाई-फ्रीक्वेंसी शोर से हावी होता है।
- इसे संबोधित करने के लिए, लेखक P.E. को स्थानिक निर्देशांकों के बजाय NIR अनुमान ( $c_N$ ) पर लागू करते हैं। RGB MLP $x$ , $d$ , और एनकोडेड $\gamma(c_N)$ को इनपुट के रूप में लेता है।
- यह एक फ्रीक्वेंसी-अलाइन्ड मॉड्यूलेशन के रूप में कार्य करता है, जो NIR में मौजूद संरचनात्मक रूप से सुसंगत आवृत्तियों को बढ़ाता है और नॉइजी RGB पर्यवेक्षण से उत्पन्न शोर-संचालित घटकों को दबाता है।
कलर कोड MLP (C.C. MLP):
- NIR से RGB का मैपिंग स्वाभाविक रूप से इल-पोज़्ड (ill-posed) है; एक एकल NIR मान कई अलग-अलग RGB रंगों के अनुरूप हो सकता है (जैसे, NIR में समान परावर्तन वाले विभिन्न रंग के ऑब्जेक्ट्स)। मानक MLPs, अपनी स्मूथनेस के कारण, समान NIR मान वाले बिंदुओं के लिए "ब्लेंडेड" या औसत RGB अनुमान देने की प्रवृत्ति रखते हैं।
  कलर एम्बिग्युटी (ambiguity) को हल करने के लिए, एक कलर कोड MLP पेश किया गया है जो प्रत्येक NIR मान के लिए रंगों के संभाव्य वितरण (probabilistic distribution) को सीखता है।
- यह एक नॉन-यूनिफॉर्म लॉग प्रोबेबिलिटी डिस्ट्रीब्यूशन ( $\pi$ ) की भविष्यवाणी करता है और वन-हॉट कलर कोड ( $\delta$ ) को सैंपल करने के लिए गम्बेल-सॉफ्टमैक्स (Gumbel-Softmax) का उपयोग करता है।
- यह कोड RGB MLP में फीड किया जाता है, जिससे मॉडल को उन विभिन्न RGB रंगों के बीच अंतर करने में सक्षम बनाता है जो एक ही NIR मान साझा करते हैं, जिससे विविध रंग प्रतिनिधित्व सुरक्षित रहता है।

अनुकूलन (Optimization)

मॉडल को रेंडर किए गए अनुमानों और अवलोकनों के बीच L2 फोटोमेट्रिक लॉस को कम करके अनुकूलित किया जाता है। विशेष रूप से, लॉस फंक्शन में क्लीन RGB पर्यवेक्षण शामिल नहीं है। इसके बजाय, यह रेंडर किए गए NIR/RGB और देखे गए नॉइजी RGB/NIR के बीच के अंतर को कम करता है। एक्सपोज़र के अंतर को संभालने के लिए नॉइजी RGB अवलोकन को एक हाइपरपैरामीटर $\phi$ द्वारा प्रवर्धित (amplify) किया जाता है।

मुख्य योगदान (Key Contributions)

एक नया 3D-जागरूक फ्यूजन मॉडल: यह शोध पत्र RGB-NIR डार्क इमेजिंग के लिए एक मॉडल प्रस्तावित करता है जो बिना क्लीन RGB पर्यवेक्षण के, 3D स्पेस में नॉइजी RGB अवलोकनों को NIR संकेतों के साथ प्रभावी ढंग से फ्यूज करता है।
अंतर्दृष्टिपूर्ण वास्तुशिल्प घटक: RGB-NIR मोडैलिटीज की पूरक क्षमता को अनलॉक करने के लिए दो विशिष्ट घटक पेश किए गए हैं:
- NIR-मॉड्यूलेटेड पोशनल एनकोडिंग: शोर-प्रेरित ओवरफिटिंग को दबाने और चेकरबोर्ड आर्टिफैक्ट्स को समाप्त करने के लिए।
- कलर कोड MLP: बुनियादी NIR-से-RGB अस्पष्टता को हल करने और कलर ब्लेंडिंग को रोकने के लिए।
डेटासेट: भविष्य के अनुसंधान को सुगम बनाने के लिए लेखक NIR छवियों और नॉइजी RGB अवलोकनों वाले सिंथेटिक और वास्तविक-दुनिया के मल्टी-व्यू डेटासेट प्रदान करते हैं।

परिणाम और मूल्यांकन (Results and Evaluation)

प्रस्तावित फ्रेमवर्क का मूल्यांकन सिंथेटिक डेटासेट (Mitsuba3 के माध्यम से जनरेट किया गया) और वास्तविक-दुनिया के कैप्चर (JAI FS-3200T10GE-NNC कैमरा का उपयोग करके) दोनों पर किया गया।

सिंथेटिक डेटा: मॉडल का परीक्षण पांच शोर स्तरों ( $s \in \{1/10, \dots, 1/200\}$ ) पर किया गया। इसने SSIM, PSNR और LPIPS के मामले में स्टेट-ऑफ-द-आर्ट सुपरवाइज्ड मेथड्स (SANet, NAID), अनसुपरवाइज्ड मेथड्स (NVEU), और अन्य NeRF-आधारित दृष्टिकोणों (RawNeRF, LLNeRF) को लगातार पछाड़ दिया।
वास्तविक-दुनिया का डेटा: मूल्यांकन में नॉन-रेफरेंस मेट्रिक्स (PI, MUSIQ, MANIMA) और ह्यूमन सब्जेक्टिव इवैल्यूएशन (HSE) शामिल थे। प्रस्तावित विधि ने सभी मेट्रिक्स में सर्वश्रेष्ठ स्कोर प्राप्त किया, जो मौजूदा बेसलाइन्स की तुलना में बेहतर संरचनात्मक अखंडता और रंग निष्ठा (color fidelity) प्रदर्शित करती है।
एब्लेशन स्टडीज (Ablation Studies): NIR-P.E. को हटाने से गंभीर चेकरबोर्ड आर्टिफैक्ट्स उत्पन्न हुए। C.C. MLP को हटाने से ब्लेंडिंग आर्टिफैक्ट्स मिले जहाँ अलग-अलग रंग आपस में मिल गए। उच्च-फिडेलिटी पुनर्निर्माण के लिए पूर्ण मॉडल आवश्यक था।
RAW डोमेन जनरलाइजेशन: विधि का मूल्यांकन 12-बिट RAW डोमेन में भी किया गया, जिससे पता चला कि यह बिना व्हाइट बैलेंस या कलर करेक्शन के RawNeRF और NVEU जैसे बेसलाइन्स से बेहतर प्रदर्शन करते हुए प्रभावी ढंग से सामान्यीकरण करती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि केवल NIR और नॉइजी RGB अवलोकनों का उपयोग करके सुदृढ़ लो-लाइट एन्हांसमेंट प्राप्त किया जा सकता है, जिससे कठिन-से-प्राप्त क्लीन RGB पर्यवेक्षण डेटा की आवश्यकता समाप्त हो जाती है। 3D-जागरूक न्यूरल मॉडलिंग को शामिल करके, यह विधि विभिन्न शोर स्तरों और उन परिदृश्यों में सामान्यीकरण करती है जहाँ पारंपरिक सुपरवाइज्ड मॉडल विफल हो जाते हैं। यह कार्य दर्शाता है कि इम्प्लिसिट न्यूरल रिप्रजेंटेशन (implicit neural representations), यदि RGB-NIR मोडैलिटीज (फ्रीक्वेंसी एलाइनमेंट और कलर एम्बिग्युटी) की विशिष्ट विशेषताओं को ध्यान में रखते हुए सावधानीपूर्वक पुनर्गठित किए जाएं, तो वे अत्यंत नॉइजी इनपुट से क्लीन इमेज को प्रभावी ढंग से रिकवर कर सकते हैं। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण डार्क इमेजिंग के लिए एक नया दृष्टिकोण प्रदान करता है, जो बिना पेयर्ड ट्रेनिंग डेटा की बाधाओं के एक सुदृढ़ और सामान्यीकरण योग्य समाधान प्रदान करता है।