DBDNet: Frequency-Constrained Dual-Branch Decoupling Network for Multi-Modality Image Fusion via Wavelet Transform

कैमरे दुनिया को अलग-अलग तरीकों से देखते हैं, जिनमें से प्रत्येक उनके सेंसर के भौतिक विज्ञान (फिजिक्स) द्वारा सीमित होता है। एक मानक कैमरा दृश्यमान दृश्य के समृद्ध टेक्सचर और रंगों को कैप्चर करता है, लेकिन यह अंधेरे या धुएं के माध्यम से देखने में संघर्ष करता है। एक इन्फ्रारेड कैमरा, प्रकाश के बजाय गर्मी को महसूस करते हुए, अंधेरे में भी एक गर्म शरीर का पता लगा सकता है, फिर भी यह अक्सर उस दृश्य को एक धुंधले, कम विवरण वाले भूतिया दृश्य के रूप में प्रस्तुत करता है। वैज्ञानिकों के लिए चुनौती इन दो अपूर्ण दृश्यों को एक एकल, पूर्ण छवि में मिलाने की है, जिसमें दृश्य दुनिया का तीक्ष्ण विवरण और इन्फ्रारेड दुनिया की थर्मल स्पष्टता दोनों शामिल हों। इस प्रक्रिया को 'इमेज फ्यूजन' कहा जाता है, जो सेल्फ-ड्राइविंग कारों को रात में पैदल यात्रियों को देखने में मदद करने या एनाटॉमिकल और मेटाबॉलिक स्कैन को जोड़कर डॉक्टरों को बीमारियों के निदान में सहायता करने जैसे कार्यों के लिए महत्वपूर्ण है। वर्षों से, इस कार्य को करने वाले कंप्यूटर प्रोग्राम लगभग पूरी तरह से पिक्सेल की स्थानिक व्यवस्था (स्पेशियल अरेंजमेंट) पर केंद्रित रहे हैं, जिससे वे अक्सर इमेज डेटा की आवृत्तियों (फ्रीक्वेंसी) के भीतर छिपे गहरे पैटर्न को समझने में चूक जाते हैं।

शोधकर्ताओं की एक टीम ने अब एक नया दृष्टिकोण पेश किया है जो यह बदल देता है कि इन छवियों को कैसे संयोजित किया जाता है। एक छवि को एक सपाट चित्र के रूप में मानने के बजाय, वे इसे विभिन्न आवृत्तियों के संग्रह के रूप में देखते हैं, ठीक वैसे ही जैसे एक संगीत का कॉर्ड अलग-अलग नोट्स से बना होता है। वे प्रस्ताव देते हैं कि किसी दृश्य का सुचारू, वैश्विक बैकग्राउंड निम्न आवृत्तियों (लो-फ्रीक्वेंसी) से संबंधित होता है, जबकि तीक्ष्ण किनारे और सूक्ष्म टेक्सचर उच्च आवृत्तियों (हाई-फ्रीक्वेंसी) से संबंधित होते हैं। इस प्रकार की जानकारी को शुरुआत से ही अलग करके, उनका नया सिस्टम, जिसे DBDNet कहा जाता है, बहुत अधिक सटीकता के साथ फ्यूजन प्रक्रिया को संभाल सकता है। शोधकर्ताओं ने पाया कि इस अलगाव को सख्ती से लागू करके, वे ऐसी फ्यूज्ड छवियां बना सकते हैं जो न केवल दिखने में बेहतर हैं, बल्कि उन मशीनों के लिए भी काफी उपयोगी हैं जिन्हें कठिन परिस्थितियों में कारों या लोगों जैसे ऑब्जेक्ट्स का पता लगाने की आवश्यकता होती है।

इस नए तरीके का मूल आधार एक विशिष्ट भौतिक नियम है जिसका पालन करने का शोधकर्ताओं ने निर्णय लिया: निम्न-आवृत्ति घटक दोनों छवियों के साझा बैकग्राउंड का प्रतिनिधित्व करते हैं, जबकि उच्च-आवृत्ति घटक प्रत्येक सेंसर के विशिष्ट विवरणों को धारण करते हैं। पिछले तरीकों में अक्सर इन तत्वों को आपस में मिला दिया जाता था, जिससे ऐसी छवियां बनती थीं जहाँ महत्वपूर्ण थर्मल लक्ष्य खो जाते थे या बारीक टेक्सचर धुंधले हो जाते थे। इसे ठीक करने के लिए, टीम ने एक 'डुअल-ब्रांच नेटवर्क' बनाया। एक शाखा को वैश्विक संरचना को कैप्चर करने के लिए डिज़ाइन किया गया है, जो इमेज के सुचारू, लो-फ्रीक्वेंसी भागों को अलग करने के लिए 'वेवलेट ट्रांसफॉर्म' नामक एक गणितीय उपकरण का उपयोग करती है। दूसरी शाखा स्थानीय विवरणों पर ध्यान केंद्रित करती है, जो हाई-फ्रीक्वेंसी किनारों और टेक्सचर को कैप्चर करती है। यह अलगाव सिस्टम को यह समझने में मदद करता है कि बैकग्राउंड दोनों स्रोतों के बीच साझा होना चाहिए, जबकि विशिष्ट विवरण—जैसे किसी व्यक्ति की गर्मी या ईंट की दीवार का टेक्सचर—अपने मूल स्रोत से सुरक्षित रहने चाहिए।

यह सुनिश्चित करने के लिए कि ये दोनों शाखाएं अनजाने में अपनी जानकारी को मिश्रित न कर दें, शोधकर्ताओं ने एक नया प्रकार का ट्रेनिंग नियम पेश किया। उन्होंने एक ऐसा सिस्टम बनाया जो लगातार अलग किए गए फीचर्स की जांच करता है ताकि यह सुनिश्चित हो सके कि "स्ट्रक्चर" शाखा में कोई अवांछित हाई-फ्रीक्वेंसी शोर (नॉइज़) न हो, और "डिटेल" शाखा में कोई लो-फ्रीक्वेंसी बैकग्राउंड ब्लर न हो। यदि सिस्टम को पता चलता है कि शाखाएं गलत प्रकार की जानकारी से दूषित हो गई हैं, तो वह उन्हें दंडित (पेनलाइज) करता है, जिससे वे शुद्ध बनी रहें। यह प्रक्रिया एक सख्त फिल्टर के रूप में कार्य करती है, यह सुनिश्चित करती है कि जब इन दोनों शाखाओं को अंततः संयोजित किया जाता है, तो परिणाम एक साफ, संतुलित छवि होती है जहाँ बैकग्राउंड सुचारू होता है और विवरण तीक्ष्ण होते हैं। शोधकर्ताओं ने हजारों छवियों पर इसका परीक्षण किया, जिसमें भारी धुआं और कम रोशनी वाले दृश्य शामिल थे, और पाया कि उनकी विधि मौजूदा तकनीकों से लगातार बेहतर प्रदर्शन करती है।

इस कार्य के परिणाम केवल सुंदर चित्र बनाने के बारे में नहीं हैं; इनका मशीनों के दुनिया को देखने के तरीके पर सीधा प्रभाव पड़ता है। जब शोधकर्ताओं ने अपने फ्यूज्ड इमेजेस का परीक्षण एक ऑब्जेक्ट डिटेक्शन सिस्टम के साथ किया, तो मशीन अन्य फ्यूजन विधियों की तुलना में लोगों और वाहनों की पहचान बहुत अधिक सटीकता के साथ करने में सक्षम थी। उन दृश्यों में जहाँ धुएं ने किसी कंटेनर या पैदल यात्री को ढक लिया था, पुराने तरीकों ने या तो लक्ष्य को पूरी तरह से मिस कर दिया या गलत अलार्म पैदा किया, लेकिन नए सिस्टम ने आसपास के विवरणों को स्पष्ट रखते हुए सफलतापूर्वक ऑब्जेक्ट को हाइलाइट किया। यह सुधार कई डेटासेट्स में देखा गया, जिसमें मेडिकल स्कैन्स भी शामिल हैं जहाँ लक्ष्य MRI के स्ट्रक्चरल व्यू को PET स्कैन के फंक्शनल डेटा के साथ जोड़ना होता है। इन मेडिकल टेस्ट में, नए तरीके ने ऊतकों (टिश्यू) की सूक्ष्म सीमाओं को संरक्षित करते हुए मेटाबॉलिक गतिविधि को स्पष्ट रूप से दिखाया, जो सटीक निदान के लिए अत्यंत महत्वपूर्ण है।

इस खोज को विशेष रूप से महत्वपूर्ण बनाने वाली बात यह है कि सिस्टम ने यह सीखने के लिए किसी "सही" छवि की आवश्यकता नहीं पड़ी जिससे इसकी तुलना की जा सके, जो अक्सर वास्तविक दुनिया के परिदृश्यों में प्राप्त करना असंभव होता है। इसके बजाय, इसने फ्रीक्वेंसी सेपरेशन के आंतरिक तर्क पर भरोसा किया। शोधकर्ताओं ने प्रदर्शित किया कि इस भौतिक सिद्धांत का पालन करके, सिस्टम बिना किसी अतिरिक्त प्रशिक्षण के मेडिकल स्कैन जैसे नए प्रकार के चित्रों के अनुकूल हो सकता है। यह सुझाव देता है कि यह विधि मजबूत और अनुकूलन योग्य है, जो वास्तविक दुनिया के वातावरण की अनिश्चित प्रकृति को संभालने में सक्षम है। यह कार्य पुष्टि करता है कि छवियों के बनने के मौलिक गुणों का सम्मान करके, हम ऐसे सिस्टम बना सकते हैं जो अधिक स्पष्ट रूप से देख सकें, जिससे मनुष्य और मशीनें दोनों ही अधिक आत्मविश्वास के साथ एक जटिल दुनिया में आगे बढ़ सकें।