BMTransUNet: Boundary-Aware Gated Multimodal Transformer for Remote Sensing Semantic Segmentation

تخيل أنك تنظر إلى صورة فوتوغرافية ضخمة وعالية الدقة لمدينة تم التقاطها من الفضاء. بالنسبة للإنسان، من السهل التمييز بين طريق مسطح، ومبنى شاهق، ورقعة عشب. لكن بالنسبة للكمبيوتر، كل شيء ليس سوى شبكة من النقاط الملونة. هذا هو عالم التجزئة الدلالية للاستشعار عن بعد، وهو مجال يعلم فيه العلماء الحواسيب كيفية تصنيف كل بكسل في الصورة بما هو عليه بالفعل—مثل "شجرة"، أو "سيارة"، أو "مبنى".

لفترة طويلة، كانت الحواسيب جيدة جداً في هذا الأمر إذا كانت تنظر فقط إلى الصور الملونة القياسية (RGB). ولكن تماماً كما قد تجد صعوبة في رؤية قطة سوداء في غرفة مظلمة، ترتبك الحواسيب عندما تسقط الظلال، أو تسوء الأحوال الجوية، أو تبدو الأشياء متشابهة جداً. ولمساعدتها على الرؤية بشكل أفضل، بدأ العلماء في منحها "زوجاً ثانياً من العيون": نموذج السطح الرقمي (DSM). إذا كانت الصورة الملونة تشبه اللوحة، فإن الـ DSM يشبه خريطة ثلاثية الأبعاد لارتفاع الأرض؛ فهو لا يظهر الألوان، لكنه يخبر الكمبيوتر بالضبط كم يبلغ ارتفاع المبنى أو مدى عمق الوادي. وكان التحدي الكبير هو كيفية دمج هذين النوعين المختلفين تماماً من المعلومات—الصورة الملونة وخريطة الارتفاع—ليتمكن الكمبيوتر من فهم المشهد بشكل مثالي، خاصة عند الحواف حيث ينتهي شيء ما ويبدأ آخر.

هنا يأيدخل BMTransUNet، وهو نموذج حاسوبي جديد صممه باحثون من جامعة شاندونغ وجامعة هوازونغ للعلوم والتكنولوجيا. فكر في هذا النموذج كفريق تحقيق ذكي للغاية يعمل على قضية معقدة. فبدلاً من مجرد النظر إلى الأدلة واحداً تلو الآخر، يمتلك هذا الفريق استراتيجية خاصة لدمج "أدلة الألوان" (من الصورة) و"أدلة الارتفاع" (من الخريطة ثلاثية الأبعاد) في كل خطوة من خطوات تحقيقهم.

وجد الباحثون أن الطرق القديمة غالباً ما حاولت خلط هذه الأدلة إما مبكراً جداً أو متأخراً جداً، مثل محاولة مزج الطلاء قبل أن تمسك بالفرشاة، أو الانتظار حتى تجف اللوحة لإضافة طبقة جديدة. ومع ذلك، يستخدم BMTransUNet نهج "المسار المزدوج". تخيل محققين يسيران جنباً إلى جنب: أحدهما يدرس الألوان، والآخر يدرس الارتفاعات. وفي كل خطوة من خطوات سيرهما، يتوقفان لمقارنة الملاحظات باستخدام أداة خاصة تسمى MAGF (الدمج الواعي بالنمط). تعمل هذه الأداة كحارس بوابة ذكي، حيث تقرر بالضبط مقدار الوزن الذي يجب إعطاؤه لأدلة الألوان مقابل أدلة الارتفاع في تلك اللحظة المحددة. إنه يشبه طباخاً يتذوق الحساء ويقرر: "حسناً، أحتاج إلى القليل من الملح (الارتفاع) الآن، ولكن أقل من الفلفل (اللون) في هذه اللحظة".

لكن الفريق لم يتوقف عند هذا الحد. فقد لاحظء أنه حتى مع الدمج الرائع، غالباً ما تصبح حواف الأشياء (مثل الخط الحاد بين السقف والسماء) ضبابية. ولإصلاح ذلك، أضافوا وحدة "تعزيز الحواف"، وهي تشبه عدسة مكبرة عالية القدرة تبحث خصيصاً عن الخطوط العريضة للأشياء. كما بنوا "اتصالاً تخطياً" خاصاً (يسمى EASC) يأخذ الحواف الحادة والواضحة من بداية التحقيق ويحقنها مرة أخرى في الحل النهائي، مما يضمن عدم فقدان أي تفاصيل دقيقة. وأخيراً، قاموا بتدريب النموذج باستراتيجية "الرأس المزدوج"، مما يعني أن الكمبيوتر يتعين عليه حل لغزين في آن واحد: تحديد ماهية الشيء ورسم خطوطه الخارجية بدقة مثالية. فإذا أخطأ في الرسم الخاري، سيعرف أنه بحاجة للمحاولة مرة أخرى.

عندما اختبر الباحثون فريق التحقيق الجديد هذا على مجموعتين شهيرتين من البيانات للصور الجوية (Vaihingen وPotsdam)، كانت النتائج مبهرة. ففي مجموعة بيانات Vaihingen، حقق BMTransUNet دقة إجمالية بلغت 98.38% ومتوسط تقاطع فوق الاتحاد (mIoU) قدره 85.33%. وكان هذا أفضل من العديد من النماذج الرائدة الأخرى، بما في ذلك نموذج TransUNet الشهير، الذي سجل دقة 96.48% وmIoU بنسبة 78.26%. كان النموذج الجديد بارعاً بشكل خاص في التمييز بين الأزواج الصعبة، مثل التفريق بين شجرة عالية وشجيرات منخفضة، أو رصد السيارات الصغيرة المختبئة بين الأجسام الأكبر.

تشير الورقة البحثية إلى أنه من خلال جعل معلومات اللون والارتفاع تتواصل مع بعضها البعض باستمرار، ومن خلال إعطاء اهتمام إضافي للحواف، يخلق النموذج صورة أوضح بكثير للعالم. وبينما يعد النموذج أكثر تعقيداً ويستخدم ذاكرة حاسوبية أكثر من النسخ الأبسط، يوضح الباحثون أن هذه المقايضة تستحق العناء بسبب القفزة الكبيرة في الدقة. وقد خلصوا إلى أن هذا النهج يقدم طريقة قوية جديدة لمساعدة الحواسيب على فهم عالمنا من الأعلى، رغم أنهم أشاروا إلى أن العمل المستقبلي يمكن أن يستكشف إضافة أنواع أخرى من البيانات، مثل الرادار أو الأوصاف النصية، لجعل النظام أكثر ذكاءً.