DA-LightNet: Real-Time Rain and Haze Removal on Edge Devices

हर दिन, कैमरे दुनिया को वैसा ही देखते हैं जैसी वह है, लेकिन दुनिया शायद ही कभी स्पष्ट होती है। बारिश विंडशील्ड पर धारियां बनाती है, जिससे सामने की सड़क धुंधली हो जाती है, जबकि घनी धुंध एक शहर के ऊपर छाई रहती है, जो जीवंत इमारतों को ग्रे रंग की छाया में बदल देती है। ये मौसम की स्थितियाँ केवल एक तस्वीर को खराब नहीं करतीं; वे उन विवरणों को छीन लेती हैं जिनकी मशीनों को देखने के लिए आवश्यकता होती है। स्मार्ट कैमरों, ड्रोन और स्वायत्त वाहनों (ऑटोनॉमस व्हीकल्स) के बढ़ते नेटवर्क के लिए, जो नेविगेट करने के लिए विजन (दृष्टि) पर निर्भर करते हैं, एक धुंधली छवि एक बाधा को मिस करने या गलत मोड़ लेने का कारण बन सकती है। दशकों से, वैज्ञानिक कंप्यूटरों को इन अस्त-व्यस्त छवियों को साफ करना सिखाने के काम में लगे हुए हैं, जिसमें जटिल गणितीय मॉडलों का उपयोग करके यह अनुमान लगाया जाता है कि मौसम के हस्तक्षेप से पहले दृश्य कैसा दिखता था। हालाँकि, इस काम के लिए सबसे शक्तिशाली उपकरण पारंपरिक रूप से भारी रहे हैं, जिन्हें विशाल मात्रा में मेमोरी और शक्ति वाले बड़े कंप्यूटरों की आवश्यकता होती है। यह एक समस्या पैदा करता है: वे उपकरण जिन्हें बारिश या कोहरे में स्पष्ट रूप से देखने की आवश्यकता होती है—जैसे जंगल के ऊपर उड़ रहा एक ड्रोन या कार पर लगा एक कैमरा—अक्सर छोटे, बैटरी से चलने वाले होते हैं और इन विशाल कंप्यूटर प्रोग्रामों का भार उठाने में सक्षम नहीं होते हैं।

चीन के सिचुआन वोकेशनल एंड टेक्निकल कॉलेज के शोधकर्ताओं की एक टीम ने विशेष रूप से इन छोटे, सीमित संसाधनों वाले मशीनों के लिए डिज़ाइन किया गया एक नया समाधान विकसित किया है। उन्होंने DA-LightNet नामक एक प्रणाली बनाई है, जो एक हल्का इमेज रेस्टोरेशन नेटवर्क है जो वास्तविक समय (रियल टाइम) में बारिश और धुंध दोनों को हटा सकता है। पिछले दृष्टिकोणों के विपरीत, जिनमें अक्सर बारिश के लिए अलग और कोहरे के लिए अलग भारी प्रोग्रामों की आवश्यकता होती थी, यह नई प्रणाली दोनों समस्याओं को एक साथ संभालने के लिए एक एकल, एकीकृत आर्किटेक्चर का उपयोग करती है। शोधकर्ताओं ने नेटवर्क को "डिग्रेडेशन-अवेयर" (क्षरण-जागरूक) बनाया है, जिसका अर्थ है कि यह एक धुंधली छवि को देख सकता है और यह पता लगा सकता है कि धुंध बारिश के कारण है या कोहरे के कारण, और फिर बिना मॉडल बदले अपनी सफाई की रणनीति को समायोजित कर सकता है। उन्होंने इसे एक सुव्यवस्थित संरचना बनाकर हासिल किया है जो अनावश्यक गणनाओं को हटा देती है, और केवल छवि को बहाल करने के लिए आवश्यक आवश्यक विशेषताओं पर ध्यान केंद्रित करती है। परिणाम एक ऐसा टूल है जो एक मानक एज डिवाइस (edge device)—एक शब्द जो उन छोटे कंप्यूटरों के लिए उपयोग किया जाता है जो डेटा को दूर स्थित क्लाउड सर्वर के बजाय स्थानीय रूप से प्रोसेस करते हैं—पर फिट होने के लिए पर्याप्त छोटा है, फिर भी तुरंत स्पष्ट चित्र बनाने के लिए पर्याप्त शक्तिशाली है।

शोधकर्ताओं ने अपनी रचना का परीक्षण छवियों के दो विशिष्ट सेटों पर किया: एक जिसमें हजारों बारिश-युक्त और बारिश-मुक्त फोटो के जोड़े शामिल थे, और दूसरा धुंधले और स्पष्ट फोटो के जोड़ों के साथ। उन्होंने सिस्टम को दोनों प्रकार के मौसम के नुकसान के बीच अंतर करना और उन्हें उलटना सीखने के लिए प्रशिक्षित किया। जब उन्होंने इस सिस्टम को एनवीडिया जेटसन (NVIDIA Jetson) प्लेटफॉर्म पर चलाया, जो क्षेत्र में आर्टिफिशियल इंटेलिजेंस के लिए उपयोग किया जाने वाला एक सामान्य प्रकार का छोटा कंप्यूटर है, तो इसने 34.8 फ्रेम प्रति सेकंड की गति से छवियों को प्रोसेस किया। इसका मतलब है कि यह एक लाइव कैमरा फीड के साथ तालमेल बिठाते हुए, बिना किसी ध्यान देने योग्य देरी के, एक वीडियो स्ट्रीम को वास्तविक समय में साफ कर सकता है। पर्दे के पीछे के गणित के संदर्भ में, पूरा सिस्टम केवल 4.6 मिलियन पैरामीटर का उपयोग करता है, जो इसकी जटिलता का एक माप है, और एक एकल छवि को प्रोसेस करने के लिए 21.5 बिलियन फ्लोटिंग-पॉइंट ऑपरेशंस की आवश्यकता होती है। ये संख्याएँ अन्य उच्च-प्रदर्शन करने वाले तरीकों की तुलना में काफी कम हैं, जिन्हें अक्सर दस गुना अधिक कम्प्यूटेशनल पावर की आवश्यकता होती है।

यह समझने के लिए कि यह कैसे काम करता है, इस सिस्टम की कल्पना एक अत्यधिक कुशल संपादक के रूप में करें। जब एक बरसाती छवि आती है, तो सिस्टम पहले बारिश की धारियों के विशिष्ट पैटर्न की पहचान करने के लिए उसे स्कैन करता है। फिर यह एक विशेष मॉड्यूल का उपयोग करके अपने आंतरिक फोकस को पुनर्गठित करता है, खुद को यह बताता है कि उन हाई-फ्रीक्वेंसी विवरणों पर ध्यान देना है जिन्हें बारिश छिपा देती है, जबकि कोहरे के कारण होने वाली ग्लोबल कंट्रास्ट की समस्याओं को अनदेखा करना है। यदि छवि धुंधली है, तो वही मॉड्यूल चमक और रंग संतुलन को बहाल करने पर अपना ध्यान केंद्रित करता है। यह अनुकूलन प्रक्रिया एक एकल, संक्षिप्त संचालन श्रृंखला के भीतर होती है। शोधकर्ताओं ने इन नेटवर्कों में आमतौर पर पाए जाने वाले भारी, मानक बिल्डिंग ब्लॉक्स को "एफिशिएंट रेस्टोरेशन ब्लॉक्स" से बदल दिया है। ये ब्लॉक्स डेप्थवाइज कन्वोल्यूशन (depthwise convolution) नामक तकनीक का उपयोग करते हैं, जो पूरी चीज़ को एक साथ प्रोसेस करने के बजाय छवि के प्रत्येक कलर चैनल को अलग-अलग प्रोसेस करता है और फिर उन्हें वापस मिला देता है। यह दृष्टिकोण कंप्यूटर को किए जाने वाले काम की मात्रा को काफी कम कर देता है। अंत में, एक हल्का रिकंस्ट्रक्शन हेड साफ किए गए फीचर्स को लेता है और उन्हें एक पूर्ण चित्र के रूप में जोड़ता है, जो मूल छवि में केवल आवश्यक सुधार जोड़ता है, न कि पूरे दृश्य को शून्य से बनाने की कोशिश करता है।

टीम ने अपने नए सिस्टम की तुलना कई अन्य अग्रणी तरीकों से की, जिनमें कुछ विशाल ट्रांसफार्मर संरचनाओं का उपयोग करते हैं और अन्य जटिल अटेंशन मैकेनिज्म पर निर्भर करते हैं। हालांकि वे भारी मॉडल कागज पर कभी-कभी थोड़े अधिक शार्प चित्र बनाते हैं, लेकिन वे एज डिवाइसेस पर रियल-टाइम गति से चलने में विफल रहे। उनके प्रतिस्पर्धियों में से कुछ केवल लगभग 5 से 15 फ्रेम प्रति सेकंड ही प्रबंधित कर सकते थे, जो चलते वाहन या उड़ते ड्रोन के लिए तत्काल निर्णय लेने हेतु बहुत धीमा है। इसके विपरीत, DA-LightNet ने एक प्रतिस्पर्धी स्तर की इमेज क्वालिटी बनाए रखी और अगले सबसे अच्छे विकल्प की तुलना में दोगुने से अधिक तेज गति से चला। शोधकर्ताओं ने सिस्टम का परीक्षण रास्पबेरी पाई (Raspberry Pi) पर भी किया, जो एक और भी छोटा और कम शक्तिशाली कंप्यूटर है, यह देखने के लिए कि क्या यह सख्त सीमाओं के तहत कार्य कर सकता है। सिस्टम ने अपनी स्थिति बनाए रखी, यह प्रदर्शित करते हुए कि यह बहुत ही सीमित मेमोरी और प्रोसेसिंग पावर वाले उपकरणों पर भी कार्य कर सकता है।

अध्ययन सुझाव देता है कि यह दृष्टिकोण वर्तमान विकल्पों की तुलना में दृश्य गुणवत्ता और व्यावहारिक गति के बीच एक बेहतर संतुलन प्रदान करता है। शोधकर्ताओं ने पाया कि बारिश और धुंध हटाने के कार्यों को एक एकल मॉडल में एकीकृत करके, उन्होंने कई अलग-अलग प्रोग्रामों को स्टोर करने और चलाने की आवश्यकता को समाप्त कर दिया, जिससे मेमोरी और समय दोनों की बचत हुई। उन्होंने यह भी दिखाया कि सिस्टम बिना यह बताए कि वह किस प्रकार के मौसम को देख रहा है, केवल छवि में पैटर्न का विश्लेषण करके, विभिन्न प्रकार के मौसम के नुकसान के बीच अंतर करना सीख सकता है। यह लचीलापन वास्तविक दुनिया के अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ मौसम तेजी से और अप्रत्याशित रूप से बदल सकता है। परिणाम संकेत देते हैं कि उच्च-गुणवत्ता वाला इमेज रेस्टोरेशन केवल शक्तिशाली, क्लाउड-आधारित सुपरकंप्यूटरों का अनन्य क्षेत्र नहीं होना चाहिए। इसके बजाय, इसे सीधे कैमरा लेंस तक लाया जा सकता है, जिससे स्मार्ट डिवाइस खराब से खराब स्थितियों में भी स्पष्ट रूप से देख सकें।

आगे देखते हुए, शोधकर्ता इस कार्य को बर्फ, कम रोशनी और मोशन ब्लर जैसे अन्य मौसम संबंधी चुनौतियों को शामिल करने के लिए विस्तारित करने की योजना बना रहे हैं, जिसका लक्ष्य एक और भी सामान्य सिस्टम बनाना है जो किसी भी प्रकार के विजुअल डिग्रेडेशन को संभाल सके। वे विशिष्ट हार्डवेयर के लिए सिस्टम को और अधिक अनुकूलित करने के तरीके खोजने की भी योजना बना रहे हैं, जिसमें संभवतः क्वांटाइजेशन जैसी तकनीकों का उपयोग करना शामिल है, ताकि मॉडल को और भी छोटा और तेज़ बनाया जा सके। केवल चित्रों को बेहतर बनाने के अलावा, वे यह परीक्षण करने की भी योजना बना रहे हैं कि क्या बहाल की गई छवियां वास्तव में डाउनस्ट्रीम कार्यों में मदद करती हैं, जैसे कि ड्रोन को किसी व्यक्ति का पता लगाने या कार को व्यस्त सड़क पर नेविगेट करने में मदद करना। फिलहाल, यह कार्य इस बात का प्रदर्शन है कि सावधानीपूर्वक डिजाइन के साथ, शक्तिशाली विजन टूल्स बनाना संभव है जो हथेली में समा जाने के लिए पर्याप्त छोटे हैं, फिर भी वास्तविक समय में दुनिया का दृश्य साफ करने के लिए पर्याप्त स्मार्ट हैं।