Current Injection Spiking Neural Network for Infrared and Visible Image Fusion

कल्पना कीजिए कि आप एक रोबट के लिए परम कैमरा बनाने की कोशिश कर रहे हैं जिसे किसी भी स्थिति में पूरी तरह से देखने की आवश्यकता है। आपके पास दो अलग-अलग आँखें हैं: एक "दृश्य" (visible) आँख जो इंसानों की तरह अद्भुत रंगों और बनावटों को देखती है, लेकिन अंधेरे या धुएं में यह अंधी हो जाती है। दूसरी एक "इन्फ्रारेड" (infrared) आँख है जो गर्मी को देखती है, जिससे वह घने अंधेरे या कोहरे में भी किसी व्यक्ति को पहचान सकती है, लेकिन यह एक धुंधले, ग्रे थर्मल धब्बे जैसा दिखता है जिसमें कोई बारीक विवरण नहीं होता। लक्ष्य इमेज फ्यूजन (Image Fusion) है—इन दोनों आँखों को एक सुपर-विज़न सिस्टम में मिला देना ताकि दोनों दुनियाओं का सर्वश्रेष्ठ हिस्सा मिल सके।

लंबे समय तक, वैज्ञानिकों ने इसे आर्टिफिशियल न्यूरल नेटवर्क्स (ANNs) का उपयोग करके करने की कोशिश की है। इन्हें ऐसे समझें जैसे एक बहुत तेज़, लेकिन बहुत थका हुआ मुनीम जो हर एक नंबर को जोड़ता है, चाहे वह कितना भी छोटा या महत्वहीन क्यों न हो। यह अच्छा काम करता है, लेकिन यह बहुत अधिक ऊर्जा का उपयोग करता है, जैसे मेल चेक करने के लिए मैराथन दौड़ना।

अब स्पाइकिंग न्यूरल नेटवर्क्स (SNNs) की बारी आती है। ये इस बात से प्रेरित हैं कि हमारा वास्तविक मस्तिष्क कैसे काम करता है। संख्याओं को लगातार जोड़ने के बजाय, ये एक ऐसे कमरे की तरह हैं जहाँ लोग चिल्लाने का इंतज़ार कर रहे हैं। वे केवल तभी एक संकेत (एक स्पाइक) भेजते हैं जब कुछ दिलचस्प होता है। यह अविश्वसनीय रूप से ऊर्जा-कुशल बनाता है, जैसे एक बल्ब जो केवल तभी जलता है जब कोई कमरे में प्रवेश करता है। हालाँकि, इसमें एक पेंच है: क्योंकि वे केवल तभी चिल्लाते हैं जब वे पर्याप्त तेज़ होते हैं, वे महत्वपूर्ण जानकारी की धीमी फुसफुसाहट को छोड़ सकते हैं। यदि थर्मल सिग्नल इतना कमजोर है कि न्यूरॉन चिल्लाने के लिए पर्याप्त नहीं है, तो उसे अनदेखा कर दिया जाता है, और रोबोट उस महत्वपूर्ण विवरण को खो देता है।

यहीं पर एक नया शोध पत्र आता है जो इस समस्या को हल करता है। शोधकर्ताओं ने, रुई झाओ और सहयोगियों के नेतृत्व में, एक चतुर तकनीक प्रस्तावित की है जिसे CIS-Fuse कहा जाता है। न्यूरॉन के चिल्लाने (स्पाइक फायर करने) का इंतज़ार करने के बजाय, वे दो प्रकार के विज़न को मिलाने से पहले ही संकेतों को मिला देते हैं। वे करंट इंजेक्शन (Current Injection) नामक एक तंत्र का उपयोग करते हैं, जहाँ एक आँख के शांत, कमजोर सिग्नल को दूसरी आँख के "बैटरी" (मेम्ब्रेन पोटेंशियल) में धीरे से इंजेक्ट किया जाता है। इस तरह, भले ही इन्फ्रारेड सिग्नल इतना धीमा हो कि वह अपने आप चिल्लाने के लिए पर्याप्त न हो, फिर भी वह दूसरे नेत्र के सिग्नल के साथ मिलकर न्यूरॉन को चिल्लाने की सीमा पार करने में मदद कर सकता है।

परिणामस्वरूप, यह प्रणाली "चिल्लाने वाले" मस्तिष्क की सुपर-लो एनर्जी बचत को बनाए रखती है लेकिन बारीक विवरणों को खोती नहीं है। टीम ने इसे चार अलग-अलग डेटासेट्स पर परखा और पाया कि उनका तरीका ANNs जैसे भारी, ऊर्जा-खपत करने वाले अकाउंटेंट्स जितना ही अच्छा फ्यूज्ड इमेज बनाता है, लेकिन इसे चलाने के लिए लगभग 10 गुना कम ऊर्जा खर्च होती है। उन्होंने यह भी दिखाया कि CIS-Fuse का उपयोग करने वाले रोबोट अंधेरे में कारों और लोगों को पहचानने में बेहतर होते हैं, जिससे यह सिद्ध होता है कि स्पष्ट देखने के लिए आपको बहुत अधिक शक्ति जलाने की आवश्यकता नहीं है।

समस्या: "चिल्लाने के लिए बहुत शांत" होने का संकट

यह समझने के लिए कि यह शोध पत्र एक बड़ी बात क्यों है, हमें सूचना को प्रोसेस करने के दो बहुत अलग तरीकों के बीच के तनाव को देखना होगा।

एक तरफ, आपके पास आर्टिफिशियल न्यूरल नेटवर्क्स (ANNs) हैं जो अधिकांश आधुनिक AI को संचालित करते हैं। ये पानी की एक विशाल, निरंतर धारा की तरह हैं। पानी की हर बूंद (हर डेटा पॉइंट) को मापा और मिलाया जाता है। यह हर सूक्ष्म विवरण को पकड़ने के लिए बेहतरीन है, चाहे वह एक तेज रोशनी हो या एक हल्की छाया। लेकिन यह महंगा है। इसके लिए बहुत अधिक कंप्यूटिंग पावर की आवश्यकता होती है, जो बैटरी को जल्दी खत्म कर देती है। यह ड्रोन या सेल्फ-ड्राइविंग कारों जैसी चीजों के लिए एक समस्या है जिन्हें सीमित शक्ति पर पूरे दिन चलना होता है।

दूसरी ओर, आपके पास स्पाइकिंग न्यूरल नेटवर्क्स (SNNs) हैं। ये तंत्रिका तंत्र के डिजिटल संस्करण की तरह हैं। SNN में न्यूरॉन्स तब तक शांत बैठे रहते हैं जब तक उन्हें एक "थ्रेशोल्ड" (सीमा) पार करने के लिए पर्याप्त इनपुट नहीं मिलता। एक बार जब वे उस रेखा को पार कर लेते हैं, तो वे एक एकल, बाइनरी स्पाइक (1) फायर करते हैं। यदि वे रेखा को पार नहीं करते हैं, तो वे शांत रहते हैं (0)। यह अविश्वसनीय रूप से कुशल है क्योंकि सिस्टम केवल तभी काम करता है जब कुछ दिलचस्प होता है।

समस्या तब आती है जब आप इमेज फ्यूजन के लिए SNNs का उपयोग करने की कोशिश करते हैं। फ्यूजन के लिए इन्फ्रारेड कैमरे से एक कमजोर सिग्नल (शायद एक व्यक्ति का हल्का ताप संकेत) और विज़िबल कैमरे से एक मजबूत सिग्नल (एक पेड़ की बनावट) को लेकर उन्हें पूरी तरह से मिलाना आवश्यक है। एक मानक SNN में, यदि इन्फ्रारेड सिग्नल इतना कमजोर है कि वह न्यूरॉन को फायर करने के लिए मजबूर नहीं कर पाता, तो उसे हटा दिया जाता है। यह एक फुसफुसाहट को चिल्लाने के साथ मिलाने की कोशिश करने जैसा है; यदि आप केवल चिल्लाने पर ध्यान देते हैं, तो आप फुसफुसाहट को खो देते हैं। शोध पत्र का तर्क है कि SNN की यह "बाइनरी" प्रकृति उसी पूरक जानकारी को फेंक देती है जो फ्यूजन को उपयोगी बनाती है।

समाधान: चिल्लाने से पहले मिश्रण

इस शोध पत्र के लेखकों ने महसूस किया कि समाधान मेम्ब्रेन पोटेंशियल (membrane potential) में निहित है। एक जैविक न्यूरॉन (और SNNs) में, न्यूरॉन के फायर करने से पहले, वह अपने "बैटरी" (मेम्ब्रेन पोटेंशियल) में चार्ज जमा करता है। यह बैटरी इनपुट को तब भी थामे रखती है जब वह चिल्लाने के लिए पर्याप्त मजबूत न हो।

लेखक एक नया ऑपरेटर प्रस्तावित करते हैं जिसे करंट इंजेक्शन स्पाइकिंग (CIS) कहा जाता है। यह सरल शब्दों में इस प्रकार काम करता है:

1. सेटअप: कल्पना करें कि डेटा की दो धाराएँ हैं: एक इन्फ्रारेड कैमरे से और एक विज़िबल कैमरे से।
2. इंजेक्शन: उन्हें आपस में लड़ने देने के बजाय कि कौन पहले चिल्लाएगा, सिस्टम "सहायक" स्ट्रीम (मान लीजिए इन्फ्रारेड) को लेता है और उसे मुख्य स्ट्रीम (विज़िबल) की "बैटरी" में एक "गेटेड करंट" के रूप में इंजेक्ट करता है।
3. गेट (द्वार): एक स्मार्ट गेटकीपर (एक सीखा हुआ गेट) यह तय करता है कि सहायक सिग्नल का कितना हिस्सा अंदर आने दिया जाए। इसमें हर एक सूचना चैनल के लिए एक विशेष डायल (एक लर्न करने योग्य स्केल फैक्टर) भी है, जिससे सिस्टम यह कह सकता है, "हे, यह विशिष्ट विवरण महत्वपूर्ण है, चलो इसे बढ़ाते हैं," या "इसकी आवश्यकता नहीं है, इसे कम रखें।"
4. फ्यूजन: दोनों सिग्नल न्यूरॉन के फायर करने का निर्णय लेने से पहले बैटरी के अंदर आपस में मिल जाते हैं। इसका मतलब है कि एक कमजोर इन्फ्रारेड सिग्नल न्यूरॉन को चिल्लाने की सीमा तक धकेलने में मदद कर सकता है, भले ही विज़िबल सिग्नल अकेले पर्याप्त न रहा हो।

यह दृष्टिकोण उन "बारीक" प्रतिक्रियाओं को सुरक्षित रखता है जो अन्यथा खो जातीं। यह एक ऐसी टीम की तरह है जहाँ एक शांत व्यक्ति भी अंतिम निर्णय में योगदान दे सकता है यदि वह किसी शोर मचाने वाले व्यक्ति के पास खड़ा है, बजाय इसके कि उसे इसलिए अनदेखा कर दिया जाए क्योंकि उसने पहले आवाज नहीं उठाई।

आर्किटेक्चर: विशेष ड्राइवरों के साथ एक दो-लेन वाला हाईवे

इसे प्रभावी ढंग से काम करने के लिए, शोधकर्ताओं ने एक विशिष्ट नेटवर्क आर्किटेक्चर बनाया। उन्होंने केवल एक विचार को बेतरतीब ढंग से नहीं डाला; उन्होंने एक चतुर मोड़ के साथ एक डुअल-ब्रांच सिस्टम (dual-branch system) डिजाइन किया।

उन्होंने दो समानांतर पथ (ब्रांच) बनाए जो छवियों को प्रोसेस करते हैं:

• शैलो ब्रांच (Shallow Branch): इस पथ में कम परतें हैं (केवल उनके विशेष फ्यूजन मॉड्यूल का एक ब्लॉक)।
• डीप ब्रांच (Deep Branch): यह पथ लंबा है, जो फ्यूजन मॉड्यूल के तीन ब्लॉक्स को एक के ऊपर एक रखता है।

शुरुआत में आप सोच सकते हैं, "दो अलग-अलग लंबाई क्यों?" शोध पत्र सुझाव देता है कि यह विषमता (asymmetry) नेटवर्क को स्वाभाविक रूप से विशेषज्ञता हासिल करने की अनुमति देती है। प्रशिक्षण के बाद, "शैलो" ब्रांच और "डीप" ब्रांच अलग व्यवहार करने लगे। शैलो ब्रांच ने एक हल्का मिश्रण करना सीखा, जबकि डीप ब्रांच ने एक भारी, तीव्र मिश्रण करना सीखा। यह एक रसोई में दो शेफ की तरह है: एक त्वरित, हल्के हाथ से मिलाने वाला है, और दूसरा भारी-भरकम ब्लेंडर है। साथ मिलकर, वे सभी आधारों को कवर करते हैं।

शोध पत्र एक रीपैरामीटराइज्ड आउटपुट हेड (Reparameterized Output Head) भी पेश करता है। यह एक तकनीकी चाल है जो प्रशिक्षण के दौरान सिस्टम को स्मार्ट बनाती है लेकिन उपयोग के दौरान इसे सरल रखती है। प्रशिक्षण के दौरान, सिस्टम छवियों को संयोजित करने का सबसे अच्छा तरीका सीखने के लिए एक जटिल, बहु-शाखा संरचना का उपयोग करता है। लेकिन एक बार प्रशिक्षण पूरा हो जाने के बाद, सिस्टम उन सभी शाखाओं को एक साधारण कनवल्शन लेयर में "कोलैप्स" (समाहित) कर देता है। इसका मतलब है कि अंतिम उत्पाद उतना ही तेज़ और सरल है जितना कि एक मानक लेयर, बिना अतिरिक्त जटिलता के।

परिणाम: उच्च गुणवत्ता, कम ऊर्जा

शोधकर्ताओं ने CIS-Fuse का परीक्षण चार बेंचमार्क (इन्फ्रारेड और विज़िबल छवियों के डेटासेट) पर किया और इसकी तुलना Text-IF, DCEvo, और S4Fusion जैसे 15 अन्य अत्याधुनिक तरीकों से की।

दृश्य गुणवत्ता (Visual Quality):
परिणामों ने दिखाया कि CIS-Fuse ऐसे फ्यूज्ड इमेज बनाता है जो सबसे अच्छे ANN-आधारित तरीकों के समान ही हैं। वास्तव में, इसने सभी मेट्रिक्स में औसत प्रदर्शन के मामले में शीर्ष स्थान प्राप्त किया।

• इसने अंधेरे में लोगों और कारों के स्पष्ट थर्मल आउटलाइन को सुरक्षित रखा।
• इसने विज़िबल इमेज से पेड़ों और सड़क के निशानों की बारीक बनावट को बनाए रखा।
• इसने विवरणों को "धुंधला" नहीं किया या छवियों को धुंधला नहीं बनाया, जो अन्य तरीकों के साथ एक आम समस्या है।

डाउनस्ट्रीम टास्क (Downstream Tasks):
शोध पत्र ने केवल सुंदर चित्र बनाने तक ही सीमित नहीं रहा। उन्होंने परीक्षण किया कि क्या इन फ्यूज्ड इमेजेस ने रोबोटों को वास्तव में बेहतर देखने में मदद की।

• ऑब्जेक्ट डिटेक्शन (Object Detection): उन्होंने फ्यूज्ड इमेजेस का उपयोग YOLOv8s डिटेक्टर (एक सिस्टम जो वस्तुओं को खोजता है) को प्रशिक्षित करने के लिए किया। CIS-Fuse ने डिटेक्टर को अन्य सभी तरीकों की तुलना में उच्चतम सटीकता (mAP 59.8) प्राप्त करने में मदद की। यह कठिन परिस्थितियों में लोगों और कारों को पहचानने में विशेष रूप से प्रभावी था।
• सिमेंटिक सेगमेंटेशन (Semantic Segmentation): उन्होंने एक अन्य सिस्टम का भी परीक्षण किया जो हर पिक्सेल को लेबल करता है (जैसे कलरिंग बुक में रंग भरना)। CIS-Fuse ने सबसे अच्छा समग्र स्कोर (mIoU 74.3) प्राप्त किया, जिसका अर्थ है कि यह प्रतिस्पर्धा की तुलना में कारों, गार्डरेल और पैदल यात्रियों जैसे ऑब्जेक्ट्स को अधिक सटीक रूप से रेखांकित कर सकता है।

ऊर्जा दक्षता (Energy Efficiency):
यही इस शोध पत्र की "किलर फीचर" है। क्योंकि CIS-Fuse स्पाइकिंग न्यूरॉन्स का उपयोग करता है, यह केवल तभी काम करता है जब एक स्पाइक होता है।

• शोधकर्ताओं ने न्यूरॉन्स की "फायरिंग रेट" को मापा और पाया कि औसतन केवल 14.48% न्यूरॉन्स ही किसी भी समय फायर हुए।
• एक मानक ऊर्जा मॉडल का उपयोग करते हुए, उन्होंने अनुमान लगाया कि CIS-Fuse एक समान आकार के ANN-आधारित तरीके (विशेष रूप से DCEvo) की तुलना में लगभग एक ऑर्डर ऑफ मैग्नीट्यूड (10 गुना) कम ऊर्जा का उपयोग करता है।
• इमेज रेजोल्यूशन बढ़ने के साथ ऊर्जा की बचत और भी बढ़ जाती है।

यह शोध पत्र किन चीजों को खारिज करता है

शोध पत्र बहुत स्पष्ट है कि क्या चीज़ उनके दृष्टिकोण जितना अच्छा काम नहीं करती है:

• साधारण जोड़ (Simple Addition): दोनों छवियों को एक साथ जोड़ना (element-wise addition) या उन्हें स्टैक करके एक साधारण फ़िल्टर चलाना काफी खराब प्रदर्शन करता है। इसने इस सूक्ष्मता को मिस कर दिया कि संकेतों को कैसे परस्पर क्रिया करनी चाहिए।
• एक-तरफा फ्यूजन (One-Way Fusion): संकेतों को केवल एक दिशा में मिलाना (उदाहरण के लिए, इन्फ्रारेड से विज़िबल, लेकिन वापस नहीं) दोनों तरफ से मिलाने की तुलना में खराब था। शोध पत्र का तर्क है कि दोनों मोडलिटीज को एक-दूसरे को परिष्कृत करने की आवश्यकता है।
• सिमेट्रिक ब्रांचेस (Symmetric Branches): बिल्कुल समान लंबाई की दो शाखाओं का उपयोग करना उनके एसिमेट्रिक (शैलो बनाम डीप) डिज़ाइन की तुलना में कम प्रभावी था। शोध पत्र सुझाव देता है कि विषमता ही नेटवर्क को विशेषज्ञता हासिल करने और अलग भूमिकाएँ सीखने में मदद करती है।
• साधारण न्यूरॉन्स (Simple Neurons): पुराने, सरल न्यूरॉन मॉडल (जैसे मानक Integrate-and-Fire या Leaky Integrate-and-Fire जिनमें सीखने योग्य पैरामीटर नहीं थे) के परिणामस्वरूप खराब प्रदर्शन हुआ। शोध पत्र इस बात पर जोर देता है कि "टाइम कांस्टेंट" (न्यूरॉन कितनी देर तक सिग्नल को याद रखता है) को सीखने की क्षमता अत्यंत महत्वपूर्ण है।

निष्कर्ष

शोध पत्र CIS-Fuse यह सुझाव देता है कि हमें ऊर्जा दक्षता और उच्च-गुणवत्ता वाले इमेज फ्यूजन के बीच चुनाव करने की आवश्यकता नहीं है। "मेम्ब्रेन पोटेंशियल" चरण में मिश्रण की प्रक्रिया को बदलकर—यानी न्यूरॉन के चिल्लाने का निर्णय लेने से पहले संकेतों को मिलाकर—शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो अत्यधिक कुशल और अत्यधिक प्रभावी दोनों है।

उन्होंने यह सिद्ध किया कि उनका तरीका सबसे उन्नत, ऊर्जा-खपत करने वाले AI मॉडलों के समान दृश्य गुणवत्ता प्रदान करता है, जबकि बहुत कम शक्ति का उपयोग करता है। यह बैटरी से चलने वाले उपकरणों जैसे ड्रोन, रोबोट और स्वायत्त वाहनों पर स्मार्ट विज़न सिस्टम तैनात करने के लिए एक महत्वपूर्ण कदम है, जहाँ ऊर्जा का हर जूल मायने रखता है। लेखक अपने परिणामों के प्रति आश्वस्त हैं, क्योंकि उन्होंने विभिन्न डेटासेट्स और कार्यों पर अपने परीक्षण किए हैं, और उन्होंने अपने कोड को दूसरों के सत्यापन और निर्माण के लिए उपलब्ध कराया है।