AdaFuse: a cross-modal image fusion algorithm based on negative value calibration and adaptive hierarchical activation
AdaFuse एक क्रॉस-मोडल इमेज फ्यूजन एल्गोरिदम है जो सटीक अटेंशन चयन के लिए नेगेटिव वैल्यू कैलिब्रेशन को एक एडेप्टिव हिरार्किकल एक्टिवेशन स्ट्रैटेजी के साथ एकीकृत करके फीचर असंतुलन और कम्प्यूटेशनल अक्षमता को संबोधित करता है, जिससे विज़िबल-इन्फ्रारेड इमेज फ्यूजन कार्यों में श्रेष्ठ फ्यूजन गुणवत्ता और दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर विजन की दुनिया में, मशीनें अक्सर दुनिया को वैसे नहीं देख पातीं जैसे इंसान देखते हैं, विशेष रूप से तब जब रोशनी कम हो जाती है या मौसम खराब हो जाता है। इसे हल करने के लिए, वैज्ञानिकों ने लंबे समय से दो अलग-अलग प्रकार के कैमरा सेंसरों को मिलाया है: एक जो रंग और बनावट वाली दृश्य दुनिया को देखता है, और दूसरा जो वस्तुओं से निकलने वाली अदृश्य गर्मी का पता लगाता है। लक्ष्य इन दोनों दृश्यों को एक एकल छवि में मिलाना है जो दोनों दुनियाओं का सर्वश्रेष्ठ प्रदान करे: दिन की फोटो जैसी समृद्ध विवरण और पूर्ण अंधकार में भी किसी गर्म शरीर को पहचानने की क्षमता। हालांकि, इन छवियों को मिलाना कठिन है। जब एक कंप्यूटर उन्हें मिलाने की कोशिश करता है, तो किसी व्यक्ति या कार की गर्मी अक्सर आसपास की पृष्ठभूमि में फैल जाती है, जिससे एक धुंधला, चमकता हुआ प्रभामंडल (हेलो) बन जाता है जो विवरणों को अस्पष्ट कर देता है। इसके अलावा, इन समस्याओं को ठीक करने के लिए आवश्यक जटिल गणित को अक्सर इतनी अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है कि यह वास्तविक समय के अनुप्रयोगों को धीमा कर देता है, जिससे यह तकनीक कई उपयोगों के लिए अव्यावहारिक हो जाती है।
हारबिन यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं ने इन विशिष्ट समस्याओं को हल करने के लिए 'एडाफ्यूज' (AdaFuse) नामक एक नई विधि विकसित की है। उनका दृष्टिकोण डेटा को संयोजित करने से पहले ही उसे संभालने के एक स्मार्ट तरीके पर केंद्रित है। हर छवि के हिस्से के साथ एक ही भारी कम्प्यूटेशनल प्रयास के साथ व्यवहार करने के बजाय, नया सिस्टम पहले दृश्य छवि का विश्लेषण करता है ताकि यह देखा जा सके कि कौन से हिस्से सरल हैं और कौन से जटिल। यदि छवि का एक भाग सीधा है, तो सिस्टम उसे एक उथले पथ (shallow path) के माध्यम से तेजी से संसाधित करता है। यदि किसी भाग में जटिल विवरण या महत्वपूर्ण रंग भिन्नता है, तो उसे एक गहरे, अधिक गहन प्रसंस्करण पथ पर भेजा जाता है। यह अनुकूलन रणनीति कंप्यूटर को सरल भागों पर अत्यधिक काम न करके ऊर्जा बचाने की अनुमति देती है, जबकि जटिल क्षेत्रों के लिए आवश्यक संसाधन समर्पित करती है जिन्हें सावधानीपूर्वक ध्यान देने की आवश्यकता होती है।
इस कार्य में एक प्रमुख नवाचार एक ऐसी तकनीक है जिसे "चमक" (glow) की समस्या को रोकने के लिए डिज़ाइन किया गया है। पिछली विधियों में, किसी लक्ष्य के चमकीले ताप हस्ताक्षर (heat signature) अक्सर अंधेरी पृष्ठभूमि में अनियंत्रित रूप से फैल जाते थे, जिससे परिवेश की बनावट धुंधली हो जाती थी। नया एल्गोरिदम एक अंशांकन (calibration) विधि का उपयोग करता है जो एक सटीक सीमा की तरह कार्य करती है। यह छवि के सबसे गर्म हिस्सों की पहचान करता है और फिर उनके ठीक आसपास के सिग्नल को जानबूझकर दबा देता है। ऐसा करके, सिस्टम यह सुनिश्चित करता है कि थर्मल लक्ष्य चमकीला और स्पष्ट बना रहे, लेकिन पृष्ठभूमि अपने मूल स्वरूप के अनुरूप तीक्ष्ण बनी रहे। यह उन कृत्रिम प्रभामंडलों को रोकता है जो अक्सर संलयित (fused) छवियों को अप्राकृतिक या धुंधला दिखाते हैं।
अंतिम परिणाम मशीनों और मनुष्यों दोनों के लिए अच्छा दिखे, यह सुनिश्चित करने के लिए शोधकर्ताओं ने एक विशेष प्रशिक्षण प्रणाली भी बनाई है। यह प्रणाली एक सख्त न्यायाधीश की तरह कार्य करती है, जो संलयित छवि की मूल स्रोतों के विरुद्ध जांच करती है ताकि यह सुनिश्चित किया जा सके कि कोई महत्वपूर्ण विवरण खोया या विकृत नहीं हुआ है। यह किनारों और बनावट पर बारीकी से ध्यान देती है, यह सुनिश्चित करती है कि किसी इमारत की रेखाएं या पेड़ की पत्तियां स्पष्ट बनी रहें। टीम ने हजारों छवि युग्मों वाले सार्वजनिक डेटासेट पर अपने तरीके का परीक्षण किया, जो स्पष्ट दिनों से लेकर धुंधली रातों तक विभिन्न स्थितियों में लिए गए थे। परिणामों ने दिखाया कि उनका दृष्टिकोण न केवल स्पष्ट चित्र और बेहतर कंट्रास्ट पैदा करता है, बल्कि यह कई मौजूदा विधियों की तुलना में बहुत तेजी से भी करता है। औसतन, नया सिस्टम एक छवि को केवल 0.0065 सेकंड में संसाधित करता है, एक ऐसी गति जो इसे वास्तविक समय के उपयोग के लिए व्यवहार्य बनाती है।
प्रयोगों से पता चला कि यह विधि दो प्रकार की जानकारी को संतुलित करने में विशेष रूप से अच्छी है। उन परीक्षणों में जहां अन्य विधियां रंग संतुलन के लिए संघर्ष करती थीं या बहुत अधिक शोर (noise) पैदा करती थीं, एडाफ्यूज ने थर्मल लक्ष्यों को उजागर करते हुए एक प्राकृतिक रूप बनाए रखा। उदाहरण के लिए, धुएं या कम रोशनी वाले दृश्यों में, सिस्टम ने पर्यावरण के संरचनात्मक विवरणों को खोए बिना पैदल यात्रियों और वाहनों को सफलतापूर्वक उजागर किया। शोधकर्ताओं ने पाया कि गर्मी की जानकारी के प्रसार को सावधानीपूर्वक नियंत्रित करके, वे विवरण और स्पष्टता का एक ऐसा स्तर प्राप्त कर सकते थे जो पिछली विधियां नहीं कर सकी थीं। यह कार्य यह सुझाव देता है कि कंप्यूटिंग शक्ति को कहाँ और कैसे लागू करना है, इस बारे में अधिक चयनात्मक होकर, और ताप हस्ताक्षरों के पृष्ठभूमि के साथ होने वाले संपर्क को सख्ती से नियंत्रित करके, हम ऐसी संलयित छवियां बना सकते हैं जो अत्यधिक सूचनात्मक और दृश्य रूप से विश्वसनीय दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।