LDMFNet: A Lightweight Dual-Modal Fusion Network for Accurate Multispectral Object Detection

कल्पना कीजिए कि आप एक भीड़भाड़ वाले, कोहरे से भरे पार्क में रात के समय अपने किसी दोस्त को खोजने की कोशिश कर रहे हैं। यदि आपके पास केवल एक साधारण टॉर्च (जैसे एक मानक कैमरा) है, तो आप उनकी आकृति देख सकते हैं, लेकिन कोहरा यह बताने में बाधा डालता है कि उन्होंने लाल जैकेट पहनी है या नीली। यदि आपके पास केवल गर्मी महसूस करने वाले नाइट विजन गॉगल्स (जैसे एक इन्फ्रारेड कैमरा) हैं, तो आप उनके गर्म शरीर को ठंडे बैकग्राउंड के बीच स्पष्ट रूप से देख सकते हैं, लेकिन आप उनका चेहरा या उनके हाथ में क्या है, यह नहीं देख पाते। यह "सिंगल-मोडैलिटी" (एकल-प्रकार की) दृष्टि की क्लासिक समस्या है: केवल एक प्रकार की इंद्रिय पर निर्भर रहने से कठिन परिस्थितियों में केवल अनुमान ही लगाया जा सकता है।

इस समस्या को हल करने के लिए, कंप्यूटर विज़न के क्षेत्र के वैज्ञानिकों ने रोबोट और खुद चलने वाली कारों के लिए "डुअल-मोडल" (दोहरी-प्रकार की) आँखें बनाना शुरू कर दिया है। ये सिस्टम नियमित फोटो के समृद्ध रंगों और बनावटों को इन्फ्रारेड छवियों की गर्मी-महसूस करने वाली शक्ति के साथ मिलाने का प्रयास करते हैं। यह एक डिटेक्टिव को एक ही समय में एक हाई-डेफिनिशन फोटो और एक थर्मल स्कैन दोनों देने जैसा है। लक्ष्य ऐसी मशीनें बनाना है जो चाहे घना अंधेरा हो, चिलचिलाती धूप हो, या घना कोहरा, स्पष्ट रूप से देख सकें। हालाँकि, एक पेंच है: इन दो शक्तिशाली सूचना धाराओं को संयोजित करने के लिए आमतौर पर एक विशाल, भारी कंप्यूटर मस्तिष्क की आवश्यकता होती है, जो काम को धीमा कर देता है और इसे छोटे ड्रोन या कारों पर लगाना कठिन बना देता है। बड़ा सवाल यह है: क्या हम दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते हैं—यानी, भारी, धीमे कंप्यूटर के बिना सुपर-सटीक दृष्टि?

यही वह सवाल है जिसे LDMFNet के पीछे के शोधकर्ताओं ने सुलझाने की कोशिश की है। वे इस दो प्रकार की दृष्टि को जोड़ने का एक नया, "लाइटवेट" (हल्का) तरीका प्रस्तावित करते हैं। एक विशाल, भारी मस्तिष्क बनाने के बजाय, उन्होंने एक स्मार्ट और अधिक कुशल टीम के विशेषज्ञों की तरह काम करने वाला एक बेहतर, सुव्यवस्थित सिस्टम डिज़ाइन किया है।

"भारी" दृष्टिकोण के साथ समस्या

अतीत में, दृश्य प्रकाश (RGB) और इन्फ्रारेड (IR) छवियों को मिलाने की कोशिश करने का अर्थ अक्सर दो अलग-अलग, भारी न्यूरल नेटवर्क का उपयोग करना होता था जो अगल-बगल चलते थे। यह एक ही दृश्य को देखने के लिए दो अलग-अलग विशेषज्ञों को काम पर रखने और फिर हर एक विवरण पर बहस करने के लिए मजबूर करने जैसा था। इस प्रक्रिया ने बहुत अधिक "फीचर कन्फ्यूजन" (विशेषता भ्रम) पैदा किया और इसके लिए भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता हुई, जिससे यह वास्तविक समय (रियल-टाइम) में चलाना धीमा और महंगा हो गया। लेखक तर्क देते हैं कि समस्या के समाधान के लिए केवल अधिक कंप्यूटिंग शक्ति लगाना सही उत्तर नहीं है; इसके बजाय, हमें एक स्मार्ट तरीका चाहिए जिससे दोनों प्रकार की छवियां बिना अटके एक-दूसरे से बात कर सकें।

समाधान: विशेषज्ञों की एक हल्की टीम

लेखक LDMFNet (लाइटवेट डुअल-मोडल फ्यूजन नेटवर्क) पेश करते हैं, जो Lightweight-Dual-CSPDarknet नामक एक चतुर संरचना पर आधारित है। इसे एक सुव्यवस्थित फैक्ट्री लाइन की तरह समझें। हर एक विवरण को भारी हथौड़े से प्रोसेस करने के बजाय, वे शुरुआत में ही चैनलों को "प्रून" (जैसे सर्किट में अनावश्यक तारों को काटना) कर देते हैं। यह तुरंत आवश्यक गणनाओं की संख्या को कम कर देता है, जिससे उनकी देखने की क्षमता खोए बिना सिस्टम बहुत तेज़ हो जाता है।

एक बार जब छवियां सिस्टम में प्रवेश करती हैं, तो वे तुरंत दोनों तस्वीरों को आपस में मिला नहीं देतीं। ऐसा करना तेल और पानी को मिलाने और यह उम्मीद करने जैसा होगा कि वे पूरी तरह से मिल जाएं। इसके बजाय, सिस्टम एक विशेष मॉड्यूल का उपयोग करता है जिसे DOIM (डिटेल-कॉन्टूर फीचर इंटरेक्शन एग्रीगेशन मॉड्यूल) कहा जाता है। यह मॉड्यूल आविष्कार का केंद्र है, और यह दो अलग-अलग, रोचक चरणों में काम करता है:

1. "स्किप-कनेक्टेड चैनल अटेंशन" (SCCA): कल्पना कीजिए कि आपके पास दो दोस्त हैं, जिनमें से एक सूक्ष्म विवरण (जैसे एक तिल) पहचानने में माहिर है और दूसरा बड़े आकार (जैसे एक कार की आकृति) को देखने में माहिर है। SCCA मॉड्यूल उन्हें पहले स्वतंत्र रूप से काम करने देता है, ताकि वे भ्रमित न हों। फिर, यह एक "स्किप कनेक्शन"—एक प्रकार का एक्सप्रेस एलिवेटर—का उपयोग करके उनकी सर्वोत्तम अंतर्दृष्टि को एक-दूसरे तक पहुँचाता है। यह सिस्टम को भारी काम किए बिना विभिन्न विशेषताओं के महत्व को मापने की अनुमति देता है। यह एक स्मार्ट मैनेजर की तरह है जो जानता है कि कब डिटेल-कीपर की बात सुननी है और कब आउटलाइन-कीपर की, यह सुनिश्चित करते हुए कि कोई भी महत्वपूर्ण सुराग छूटे नहीं।

2. "मल्टी-स्केल स्पेशियल अटेंशन" (MSSA): एक बार जब दोनों स्ट्रीम अपनी अंतर्दृष्टि साझा कर लेती हैं, तो MSSA मॉड्यूल काम संभाल लेता है। सिस्टम का यह हिस्सा विभिन्न आकार के आवर्धक लेंसों (magnifying glasses) के एक सेट की तरह है। यह विभिन्न लेंसों (7x1, 11x1, और 21x1 जैसे विभिन्न कर्नेल साइज का उपयोग करके) के माध्यम से संयुक्त छवि को देखता है ताकि एक छोटे पक्षी से लेकर एक बड़े ट्रक तक, सभी आकारों की वस्तुओं को पकड़ा जा सके। "डेप्थवाइज सेपरेबल कन्वोल्यूशन" का उपयोग करके, यह बहुत कुशलता से स्कैन करता है, जिससे ऊर्जा की बचत होती है और यह सुनिश्चित होता है कि कुछ भी छूटे नहीं।

उन्होंने क्या पाया

शोधकर्ताओं ने अपने नए सिस्टम का परीक्षण तीन अलग-अलग वास्तविक दुनिया के डेटासेट्स पर किया: LLVIP (पैदल यात्री), DroneVehicle (आसमान से देखे गए वाहन), और FLIR (थर्मल इमेज)। परिणाम काफी उत्साहजनक थे।

DroneVehicle डेटासेट पर, जो हवाई दृश्यों से वाहनों को पहचानने के बारे में है, उनके तरीके ने 81.1 का mAP (सटीकता का एक स्कोर) प्राप्त किया। यह एक बड़ी छलांग थी: इसने सबसे अच्छे सिंगल-कैमरा (केवल RGB) तरीकों को 15.4 प्रतिशत अंक से और मौजूदा सर्वश्रेष्ठ डुअल-कैमरा तरीकों को 9.7 प्रतिशत अंक से पीछे छोड़ दिया।

लोगों को पहचानने के लिए LLVIP डेटासेट पर, उनके मॉडल ने 95.8 का mAP@50 और 60.8 का mAP@50:90 प्राप्त किया। वास्तव में प्रभावशाली यह है कि उन्होंने यह केवल 2.38 मिलियन पैरामीटर्स के बहुत छोटे मॉडल आकार और 6.2 GFLOPs की कंप्यूटेशनल लागत के साथ किया। इसे संदर्भ में रखने के लिए, कई अन्य उच्च-प्रदर्शन वाले मॉडलों को समान या कम स्कोर प्राप्त करने के लिए काफी अधिक "ब्रेन पावर" की आवश्यकता होती है।

यह क्यों मायने रखता है

यह पेपर सुझाव देता है कि दोनों प्रकार की छवियों के बीच बातचीत को सावधानीपूर्वक डिजाइन करके—उन्हें भ्रमित होने से बचने के लिए पर्याप्त अलग रखते हुए लेकिन ताकत साझा करने के लिए पर्याप्त जुड़ा हुआ रखते हुए—हम ऐसे विज़न सिस्टम बना सकते हैं जो अविश्वसनीय रूप से सटीक और आश्चर्यजनक रूप से तेज़ दोनों हों। लेखकों ने पाया कि उनके इंटरेक्शन मॉड्यूल को विशिष्ट चरणों (P3, P4, और P5 लेयर्स) पर रखना महत्वपूर्ण था; इसे बहुत जल्दी या बहुत देर से करने से उतना अच्छा परिणाम नहीं मिला।

संक्षेप में, LDMFNet दिखाता है कि अंधेरे या कोहरे में स्पष्ट रूप से देखने के लिए आपको एक विशाल, धीमे कंप्यूटर की आवश्यकता नहीं है। थोड़ी सी चतुर इंजीनियरिंग के साथ, एक हल्का सिस्टम एक सुपर-डिटेक्टिव की तरह काम कर सकता है, जो उच्च सटीकता के साथ वस्तुओं को पहचानने के लिए दृष्टि और गर्मी को जोड़ता है, जिससे यह सेल्फ-ड्राइविंग कारों और ड्रोन निरीक्षण जैसे वास्तविक दुनिया के उपयोगों के लिए एक मजबूत दावेदार बन जाता है।