BMTransUNet: Boundary-Aware Gated Multimodal Transformer for Remote Sensing Semantic Segmentation

कल्पना कीजिए कि आप अंतरिक्ष से ली गई एक शहर की विशाल, उच्च-रिज़ॉल्यूशन वाली तस्वीर देख रहे हैं। एक इंसान के लिए, एक सपाट सड़क, एक ऊँची इमारत और घास के एक टुकड़े के बीच अंतर करना आसान है। लेकिन एक कंप्यूटर के लिए, सब कुछ रंगीन बिंदुओं का एक ग्रिड मात्र है। यह रिमोट सेंसिंग सिमेंटिक सेगमेंटेशन (remote sensing semantic segmentation) की दुनिया है, जहाँ वैज्ञानिक कंप्यूटर को यह सिखाते हैं कि छवि के हर एक पिक्सेल को वास्तव में वह क्या है—जैसे कि "पेड़," "कार," या "इमारत"—जैसा कि लेबल दिया जाए।

लंबे समय से, कंप्यूटर इस काम में काफी अच्छे रहे हैं यदि वे केवल मानक रंगीन तस्वीरों (RGB) को देखते हैं। लेकिन ठीक वैसे ही जैसे आपको एक अंधेरे कमरे में काली बिल्ली देखने में कठिनाई हो सकती है, कंप्यूटर तब भ्रमित हो जाते हैं जब छाया पड़ती है, मौसम खराब होता है, या वस्तुएं बहुत समान दिखने लगती हैं। उन्हें बेहतर देखने में मदद करने के लिए, वैज्ञानिकों ने उन्हें एक दूसरी जोड़ी "आंखें" दीं: DSM (डिजिटल सरफेस मॉडल्स)। यदि एक रंगीन फोटो एक पेंटिंग की तरह है, तो एक DSM जमीन की ऊंचाई का एक 3D मानचित्र है। यह रंग नहीं दिखाता, लेकिन यह कंप्यूटर को बताता है कि एक इमारत कितनी ऊँची है या एक घाटी कितनी गहरी है। बड़ी चुनौती इन दो बहुत अलग प्रकार की जानकारियों—रंगीन तस्वीर और ऊंचाई के मानचित्र—को मिलाने का तरीका खोजना था, ताकि कंप्यूटर दृश्य को पूरी तरह से समझ सके, विशेष रूप से उन किनारों पर जहाँ एक चीज़ समाप्त होती है और दूसरी शुरू होती है।

यहाँ BMTransUNet आता है, जो शेडोंग यूनिवर्सिटी और हुआज़ोंग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी के शोधकर्ताओं द्वारा डिज़ाइन किया गया एक नया कंप्यूटर मॉडल है। इस मॉडल को एक जटिल मामले पर काम करने वाली एक सुपर-स्मार्ट जासूसी टीम के रूप में समझें। केवल एक-एक करके सुरागों को देखने के बजाय, इस टीम के पास "रंग के सुरागों" (फोटो से) और "ऊंचाई के सुरागों" (3D मैप से) को जांच के हर एक चरण में मिलाने की एक विशेष रणनीति है।

शोधकर्ताओं ने पाया कि पुराने तरीके अक्सर इन सुरागों को या तो बहुत जल्दी या बहुत देर से मिलाने की कोशिश करते थे, जैसे ब्रश उठाने से पहले ही रंगों को मिलाने की कोशिश करना, या एक नया लेयर जोड़ने के लिए पेंट के सूखने का इंतज़ार करना। BMTransUNet, एक "दोहरी-शाखा" (dual-branch) पद्धति का उपयोग करता है। कल्पना कीजिए कि दो जासूस साथ-साथ चल रहे हैं: एक रंगों का अध्ययन करता है, और दूसरा ऊंचाइयों का। अपनी यात्रा के हर कदम पर, वे MAGF (मोडैलिटी-अवेयर गेटेड फ्यूजन) नामक एक विशेष उपकरण का उपयोग करके नोट्स की तुलना करने के लिए रुकते हैं। यह उपकरण एक स्मार्ट द्वारपाल की तरह कार्य करता है, जो यह तय करता है कि उस विशिष्ट क्षण में रंग के सुरागों को कितनी प्राथमिकता देनी है और ऊंचाई के सुरागों को कितनी। यह एक शेफ की तरह है जो सूप चखता है और निर्णय लेता है, "ठीक है, मुझे अभी थोड़ा अधिक नमक (ऊंचाई) चाहिए, लेकिन कम मिर्च (रंग) चाहिए।"

लेकिन टीम वहीं नहीं रुकी। उन्होंने गौर किया कि बेहतरीन मिश्रण के बावजूद, वस्तुओं के किनारे (जैसे छत और आकाश के बीच की तीखी रेखा) अक्सर धुंधले हो जाते हैं। इसे ठीक करने के लिए, उन्होंने एक "एज एन्हांसमेंट" मॉड्यूल जोड़ा, जो एक उच्च-शक्ति वाले आवर्धक लेंस (magnifying glass) की तरह है जो विशेष रूप से चीजों की रूपरेखा को देखता है। उन्होंने एक विशेष "स्किप कनेक्शन" भी बनाया (जिसे EASC कहा जाता है) जो जांच की शुरुआत से ही तीखे, स्पष्ट किनारों को लेता है और उन्हें अंतिम समाधान में वापस डाल देता है, जिससे यह सुनिश्चित होता है कि कोई भी सूक्ष्म विवरण खो न जाए। अंत में, उन्होंने मॉडल को एक "दोहरे-सिर" (dual-head) रणनीति के साथ प्रशिक्षित किया, जिसका अर्थ है कि कंप्यूटर को एक साथ दो पहेलियाँ हल करनी होती हैं: वस्तु क्या है इसकी पहचान करना और उसकी रूपरेखा को पूरी तरह से बनाना। यदि वह रूपरेखा गलत बनाता है, तो उसे पता चल जाता है कि उसे फिर से प्रयास करने की आवश्यकता है।

जब शोधकर्ताओं ने इस नई जासूसी टीम का परीक्षण हवाई छवियों के दो प्रसिद्ध डेटासेट (Vaihingen और Potsdam) पर किया, तो परिणाम प्रभावशाली थे। Vaihingen डेटासेट पर, BMTransUNet ने 98.38% की समग्र सटीकता और 85.33% का औसत इंटरसेक्शन ओवर यूनियन (mIoU) प्राप्त किया। यह कई अन्य शीर्ष-स्तरीय मॉडलों से बेहतर था, जिसमें एक लोकप्रिय मॉडल TransUNet भी शामिल है, जिसने 96.48% सटीकता और 78.26% mIoU प्राप्त किया। नया मॉडल कठिन जोड़ियों के बीच अंतर करने में विशेष रूप से अच्छा था, जैसे कि एक ऊंचे पेड़ और कम झाड़ियों के बीच अंतर करना, या बड़ी वस्तुओं के बीच छिपी छोटी कारों का पता लगाना।

पेपर यह सुझाव देता है कि रंग और ऊंचाई की जानकारी को लगातार एक-दूसरे से बात करने में रखकर, और किनारों पर विशेष ध्यान देकर, मॉडल दुनिया की बहुत स्पष्ट तस्वीर बनाता है। हालांकि यह मॉडल कुछ सरल संस्करणों की तुलना में थोड़ा अधिक जटिल है और अधिक कंप्यूटर मेमोरी का उपयोग करता है, शोधकर्ता दिखाते हैं कि सटीकता में महत्वपूर्ण उछाल के लिए यह समझौता सार्थक है। वे निष्कर्ष निकालते हैं कि यह दृष्टिकोण ऊपर से हमारी दुनिया को समझने में कंप्यूटर की मदद करने के लिए एक शक्तिशाली नया तरीका प्रदान करता है, हालांकि वे उल्लेख करते हैं कि भविष्य के कार्य और भी अधिक प्रकार के डेटा, जैसे कि रडार या टेक्स्ट विवरण, को जोड़ने की संभावना तलाश सकते हैं ताकि सिस्टम को और भी स्मार्ट बनाया जा सके।