Robust RGB-IR Object Detection under Missing-Modality Conditions via Complementary Feature Restoration and Cross-Modal Fusion

मशीन विजन की दुनिया में, कंप्यूटरों को इंसानों की तरह ही दुनिया को देखना सिखाया जाता है, जिसमें वे दृश्य प्रकाश (विज़िबल लाइट) को कैप्चर करने वाले कैमरों का उपयोग करते हैं। ये प्रणालियाँ सेल्फ-ड्राइविंग कारों, सुरक्षा कैमरों और स्वचालित कारखानों के पीछे की 'आंखें' हैं। हालाँकि, जिस तरह मानवीय आँखें बिना चाँद वाली अंधेरी रात या घने कोहरे में संघर्ष करती हैं, वैसे ही ये डिजिटल आँखें भी अक्सर तब विफल हो जाती हैं जब रोशनी कम हो जाती है या मौसम खराब हो जाता है। इसे हल करने के लिए, इंजीनियर लंबे समय से मानक रंगीन कैमरों को इन्फ्रारेड सेंसरों के साथ जोड़ते रहे हैं। जहाँ एक मानक कैमरा रंग और बनावट देखता है, वहीं एक इन्फ्रारेड कैमरा गर्मी को देखता है, जिससे यह पूर्ण अंधकार में भी किसी व्यक्ति या कार का पता लगाने में सक्षम होता है। इन दोनों दृश्यों को मिलाकर, एक प्रणाली अकेले किसी भी एक कैमरे की तुलना में अधिक स्पष्ट रूप से देख सकती है। लेकिन इस समाधान में एक छिपा हुआ दोष है: यह मान लेता है कि दोनों कैमरे हमेशा पूरी तरह से काम करेंगे। वास्तविक दुनिया में, सेंसर टूट जाते हैं, लेंस गंदे हो जाते हैं, या सिग्नल खो जाते हैं। यदि एक कैमरा विफल हो जाता है, तो पूरी प्रणाली अक्सर ध्वस्त हो जाती है, जिससे मशीन अंधी हो जाती है।

ताइवान के शोधकर्ताओं की एक टीम ने इन विजन सिस्टम को बनाने का एक नया तरीका विकसित किया है ताकि जब उनका एक 'नज़र' धुंधली हो जाए, तब भी वे काम करना जारी रख सकें। उनका दृष्टिकोण, जो हाल ही में हुए एक अध्ययन में विस्तृत है, एक ऐसा कंप्यूटर मॉडल बनाने पर केंद्रित है जो केवल दो आदर्श छवियों की प्रतीक्षा नहीं करता, बल्कि एक छवि गायब होने या क्षतिग्रस्त होने पर सक्रिय रूप से चित्र को ठीक करने की कोशिश करता है। एक टूटे हुए सेंसर को पूर्ण विफलता मानने के बजाय, यह नई प्रणाली एक कुशल 'पुनर्स्थापक' (रिस्टोरर) की तरह कार्य करती है, जो काम करने वाले कैमरे की जानकारी का उपयोग करके टूटे हुए कैमरे द्वारा छोड़े गए अंतराल को भरने का प्रयास करती है। यह मशीन को वस्तुओं का पता लगाने की अपनी क्षमता बनाए रखने की अनुमति देता है, चाहे वह अंधेरी सड़क पर कोई पैदल यात्री हो या बारिश भरे राजमार्ग पर कोई वाहन, भले ही उसके पास केवल आधा डेटा उपलब्ध हो।

शोधकर्ताओं ने अपने विचार का परीक्षण दो बड़े इमेज पेयर्स (छवियों के जोड़ों) के संग्रहों का उपयोग करके किया: एक जिसमें विभिन्न प्रकाश स्थितियों में कारों, लोगों और साइकिलों के हजारों दृश्य शामिल थे, और दूसरा जो विशेष रूप से अत्यधिक अंधेरे शहरी वातावरण में लोगों को खोजने पर केंद्रित था। उन्होंने अपने सिस्टम को तीन अलग-अलग परिदृश्यों को संभालने के लिए प्रशिक्षित किया: जब दोनों कैमरे काम कर रहे हों, जब एक कैमरा पूरी तरह से गायब हो, और जब सिस्टम को यह अनुमान लगाने के लिए मजबूर किया गया कि परीक्षण के विभिन्न हिस्सों के लिए कौन सा कैमरा काम कर रहा है। उस आदर्श स्थिति में जहाँ दोनों कैमरों ने स्पष्ट छवियां प्रदान कीं, नए सिस्टम ने 80.2% मामलों में वस्तुओं की सही पहचान की। यह प्रदर्शन मौजूदा सर्वोत्तम तरीकों के प्रतिस्पर्धी था, जिससे सिद्ध हुआ कि नए डिज़ाइन ने लचीलेपन के लिए सटीकता का त्याग नहीं किया।

हालाँकि, असली परीक्षा तब हुई जब शोधकर्ताओं ने विफलताओं का अनुकरण (सिमुलेशन) किया। उन्होंने यह देखने के लिए जानबूझकर एक कैमरे के इनपुट को हटा दिया कि सिस्टम कैसे सामंजस्य बिठाता है। जब सिस्टम को केवल इन्फ्रारेड कैमरे पर निर्भर रहने के लिए मजबूर किया गया, तो इसने उच्च सटीकता के साथ वस्तुओं को खोजने में सफलता प्राप्त की, जिससे 78.2% की सफलता दर मिली। जब इसे केवल मानक रंगीन कैमरे पर निर्भर रहना पड़ा, तब भी इसने अच्छा प्रदर्शन किया और 63.3% मामलों में वस्तुओं की सही पहचान की। शायद सबसे प्रभावशाली बात यह थी कि जब शोधकर्ताओं ने स्थितियों को मिला दिया—जहाँ आधे टेस्ट इमेजेस में कलर कैमरा नहीं था और आधे में इन्फ्रारेड कैमरा नहीं था—तब भी सिस्टम ने 73.5% की सफलता दर बनाए रखी। यह स्थिरता पुराने सिस्टमों के बिल्कुल विपरीत थी, जिनका प्रदर्शन एक इनपुट हटने पर नाटकीय रूप से गिर जाता था या पूरी तरह विफल हो जाता था।

इसे प्राप्त करने के लिए, शोधकर्ताओं ने दो मुख्य नवाचारों के साथ एक ढांचा तैयार किया। पहला, उन्होंने एक मॉड्यूल बनाया जिसे गायब या खराब हुई छवि की विशेषताओं की मरम्मत करने के लिए डिज़ाइन किया गया है। कल्पना कीजिए कि एक चित्रकार, कैनवास में छेद दिखने पर, आसपास के क्षेत्रों से रंगों और पैटर्न का उपयोग करके उस गायब हिस्से को फिर से बनाता है। इसी तरह, यह कंप्यूटर मॉड्यूल काम करने वाले कैमरे के डेटा का विश्लेषण करता है ताकि यह अनुमान लगाया जा सके कि गायब कैमरे को क्या देखना चाहिए था, जिससे खोई हुई जानकारी को दोनों छवियों को मिलाने से पहले प्रभावी रूप से पुनर्स्थापित किया जा सके। दूसरा, उन्होंने इन दो अलग-अलग प्रकार के विजन को जोड़ने के तरीके में सुधार किया। छवियों को बस एक के ऊपर एक रखने के बजाय, सिस्टम एक परिष्कृत 'अटेंशन मैकेनिज्म' का उपयोग करता है ताकि केवल छवि के सबसे प्रासंगिक हिस्सों पर ध्यान केंद्रित किया जा सके, जिससे उस शोर और भ्रम को अनदेखा किया जा सके जो हीट सिग्नेचर को रंग विवरणों के साथ मिलाने से अक्सर उत्पन्न होता है। यह सुनिश्चित करता है कि अंतिम निर्णय स्पष्ट रूप से प्राप्त संकेत (सिग्नल) पर आधारित हो।

अध्ययन बताता है कि यह विधि उन व्यावहारिक अनुप्रयोगों के लिए एक महत्वपूर्ण प्रगति है जहाँ पूर्ण परिस्थितियों में चरम प्रदर्शन (पीक परफॉर्मेंस) की तुलना में विश्वसनीयता अधिक महत्वपूर्ण है। वास्तविक दुनिया के परिवेश में, जैसे कि सड़क के कोने पर लगा सुरक्षा कैमरा या डिलीवरी ड्रोन पर लगा सेंसर, उपकरण की विफलता एक संभावना है, न कि केवल एक विचार। एक ऐसा सिस्टम जो टूटे हुए सेंसर को सुचारू रूप से संभाल सकता है, उस सिस्टम की तुलना में कहीं अधिक मूल्यवान है जो केवल तभी सटीक परिणाम देता है जब सब कुछ सही काम कर रहा हो। यह प्रदर्शित करके कि एक मशीन विजन सिस्टम तब भी मजबूत बना रह सकता है जब उसका आधा संवेदी इनपुट चला जाए, शोधकर्ताओं ने प्रयोगशाला के बाहर की अनिश्चित दुनिया के लिए अधिक सुरक्षित और अधिक भरोसेमंद तकनीक बनाने का एक ब्लूप्रिंट प्रदान किया है।