Axial-Relation Guided Fusion State Space Model for Optical-Elevation Sensing Image Segmentation
تقترح الورقة البحثية إطار عمل ARG-Mamba، وهو إطار عمل قائم على نموذج فضاء الحالة يستخدم نمذجة السياق متعدد المقاييس والدمج الموجه بالعلاقة المحورية لتحقيق أداء متفوق وكفاءة حوسبية في تقسيم صور الاستشعار عن بعد البصرية-الارتفاعية.
تخيل أنك تحاول حل لغز صور (jigsaw puzzle) عملاق وعالي الدقة لمدينة ما، ولكن لديك مجموعتان مختلفتان من الأدلة لمساعدتك.
مجموعتا الأدلة:
الصورة البصرية (Optical Photo): هذه تشبه صورة فوتوغرافية ملونة عادية ملتقطة من طائرة. وهي تظهر لك الألوان، والأنسجة، والأنماط الموجودة على الأرض (مثل العشب الأخضر، أو الطرق الرمادية، أو الأسطح الحمراء).
خريطة الارتفاع (DSM): هذه تشبه خريطة طبوغرافية ثلاثية الأبعاد. هي لا تظهر الألوان، لكنها تخبرك بدقة كم هو مرتفع أو منخفض الشيء. فهي تعرف أن الشجرة طويلة، وأن السيارة قصيرة، وأن المبنى شاهق الارتفاع.
المشكلة: لفترة طويلة، كانت برامج الكمبيوتر التي تحاول تصنيف هذه الصور (مثل التمييز بين "شجرة" و"سيارة") تعتمد في الغالب على الصورة الملونة فقط. وكانت غالباً ما ترتكب أخطاءً؛ فعلى سبيل المثال، قد يبدو سطح رمادي مسطح وكأنه طريق رمادي في الصورة، أو قد تضيع سيارة صغيرة وسط نسيج موقف للسيارات.
أدرك مؤلفو هذه الورقة البحثية أنه إذا دمجت "أدلة الألوان" مع "أدلة الارتفاع"، فمن المفترض أن يصبح الكمبيوتر أفضل بكثير في حل اللغز. ومع ذلك، كانت الطرق الموجودة سيئة في أمرين:
لم تستطع رؤية "الصورة الكبيرة" (تخطيط المدينة بأكمله) و"التفاصيل الدقيقة" (سيارة واحدة) في نفس الوقت.
لم تكن جيدة جداً في دمج معلومات اللون والارتفاع معاً بطريقة ذكية.
الحل: ARG-Mamba قام المؤلفون ببناء نظام ذكاء اصطناعي جديد يسمى ARG-Mamba. فكر فيه كأنه محقق فائق الذكاء يستخدم مجموعة أدوات خاصة لحل اللغز.
1. المحقق "متعدد المقاييس" (MS-SSM) تخيل أنك تنظر إلى خريطة. أحياناً تحتاج إلى الابتعاد (الزوم للخلف) لرؤية الحي بأكته، وأحياناً تحتاج إلى الاقتراب (الزوم للأمام) لرؤية صندوق بريد واحد.
الطرق القديمة كانت تنظر عادةً إلى الخريطة عند مستوى زووم واحد فقط.
ARG-Mamba يستخدم "وحدة حالة متعددة المقاييس" (Multi-Scale State Space Module). هذا يشبه محققاً يمكنه التبديل فوراً بين عدسة واسعة الزاوية وعدسة مكبرة. إنه ينظر إلى الصورة بأربعة أحجام مختلفة في وقت واحد. هذا يسمح له بفهم أن "السيارة" هي جسم صغير يقع على "طريق" الذي هو جزء من "مدينة" أكبر. وهو يفعل ذلك بسرعة كبيرة، دون أن يتعثر في الحسابات البطيئة.
2. "خلاط العلاقات المحورية" (ARGFM) الآن، كيف تخلط صورة الألوان مع خريطة الارتفاع؟
الطرق القديمة كانت غالباً ما تدمج الصورتين معاً ببساطة، مثل رمي وعائين من الحساء في قدر واحد والأمل في أن يمتزجا جيداً.
ARG-Mamba يستخدم "وحدة دمج موجهة بالعلاقات المحورية" (Axial-Relation Guided Fusion Module). تخيل أن الصورة عبارة عن شبكة ضخمة من المربعات (مثل رقعة الشطرنج). تنظر هذه الوحدة إلى الشبكة في اتجاهين محددين: الصفوف (أفقياً) والأعمدة (رأسياً).
تسأل: "إذا نظرت عبر هذا الصف، هل يتطابق اللون مع الارتفاع؟"
تسأل: "إذا نظرت لأسفل هذا العمود، هل هذان الدليلان ينتميان لبعضهما البعض؟"
من خلال تقسيم مهمة الخلط المعقدة إلى هذه الخطوط الأفقية والرأسية البسيطة، يمكن للكمبيوتر تحديد كيفية ارتباط بيانات اللون والارتفاع ببعضها البعض بكفاءة. الأمر يشبه تنظيم غرفة فوضوية عن طريق ترتيب جميع الكتب أولاً على الرفوف (الصفوف) ثم تكديم الصناديق (الأعمدة)، بدلاً من محاولة ترتيب كل شيء دفعة واحدة.
النتائج اختبر المؤلفون هذا المحقق الجديد على مجموعتي بيانات شهيرتين (Vaihingen و Potsdam)، وهما بمثابة "امتحانات" معيارية للذكاء الاصطناعي في الاستشعار عن بعد.
الدقة: حصل ARG-Mamba على درجات أعلى من جميع المنافسين الأقوياء الآخرين. لقد كان بارعاً بشكل خاص في رصد الأشياء الصغيرة والصعبة مثل السيارات والتمييز بين الأشجار والشجيرات المنخفضة.
السرعة: على الرغم من كونه أكثر ذكاءً، إلا أنه كان أيضاً أسرع ويتطلب طاقة حاسوبية أقل من العديد من الطرق الثقيلة الأخرى.
باختصار تقدم هذه الورقة طريقة جديدة للكمبيوترات للنظر في الصور الجوية وخرائط الارتفاع ثلاثية الأبعاد معاً. ومن خلال استخدام نظام يمكنه التكبير والتصغير في آن واحد، وخلط البيانات بطريقة منظمة صفاً بصف وعموداً بعمود، يخلق نظام الذكاء الاصطناعي الجديد (ARG-Mamba) خريطة للعالم أكثر وضوحاً ودقة من الطرق السابقة.
ملخص تقني: نموذج حالة الفضاء الموجه بالارتباط المحوري للدمج بين الاستشعار البصري والارتفاعي لتجزئة الصور
بيان المشكلة
تعد التجزئة الدلالية لصور الاستشعار عن بُعد عالية الدقة أمراً بالغ الأهمية لمهام مراقبة الأرض مثل التخطيط العمراني وإدارة الكوارث. ومع ذلك، فإن الاعتماد فقط على الصور البصرية غالباً ما يؤدي إلى نتائج دون المستوى الأمثل في المشاهد المعقدة بسبب محدودية المعلومات الطيفية والنسيجية. وبينما توفر بيانات الارتفاع (نموذج السطح الرقمي - DSM) إشارات هندسية وهيكلية تكميلية، تواجه طرق الدمج متعددة الوسائط الحالية تحديين رئيسيين:
نقص النمذجة متعددة المقاييس: تعمل معظم الطرق القائمة على نماذج حالة الفضاء (SSM) على تسلسلات رموز أحادية المقياس، مما يجعلها تجد صعوبة في التقاط التفاصيل المحلية الدقيقة والاعتمادات السياقية العالمية الواسعة التي تتسم بها الأجسام في الاستشراف عن بُعد في آن واحد.
الدمج غير الأمثل بين الوسائط المتعددة: يتباين الارتباط الدلالي بين الميزات البصرية (الطيفية/النسيجية) والميزات الارتفاعية (الهندسية/الهيكلية) عبر فئات الأجسام المختلفة. وغالباً ما تفشل استراتيجيات الدمج الحالية في نمذجة هذه الارتباطات المعقدة والواعية بالسياق بشكل تكيفي.
المنهجية: ARG-Mamba
يقترح المؤلفون ARG-Mamba (Mamba للدمج الموجه بالارتباط المحوري)، وهو إطار عمل ثنائي المسار (Encoder-Decoder) يعتمد على نماذج حالة الفضاء (SSMs) مصمم للتجزئة الدلالية للبيانات البصرية-الارتفاعية. يدمج الهيكل نمذجة الاعتماد طويل المدى ذات التعقيد الخطي مع الدمج الصريح بين الوسائط المتعددة.
1. وحدة حالة الفضاء متعددة المقاييس (MS-SSM)
لمعالجة التباين في المقاييس، قدم المؤلفون وحدة MS-SSM داخل كتل الحالة البصرية (VSSBs) الخاصة بالمشفر.
الآلية: تقوم الوحدة بتقسيم خرائط الميزات المدخلة إلى ميزات فرعية متعددة على طول بُعد القنوات، حيث تتم معالجة كل منها بمقاييس مكانية مختلفة (على سبيل المثال، {1، 2، 4، 8}).
المسح (Scanning): تستخدم مسحاً متعدد المقاييس انتقائي (MS-SS2D) يقوم بعملية مسح ثنائية الاتجاه ضمن نوافذ غير متداخلة لكل مقياس. وهذا يحد من مسافة المسح لتقليل الضوضاء مع التقاط الهياكل المحلية.
الدمج: يتم دمج الميزات من جميع المقاييس عبر عملية تجميع (Concatenation) ومعالجتها بواسطة إسقاط خطي وتلافف عميق (DConv) لدمج الإشارات متعددة المقاييس بشكل تكيفي ومعالجة تكرار القنوات. يتيح ذلك للنموذج التقاط التفاصيل المحلية والاعتمادات العالمية بتعقيد حسابي خطي.
2. وحدة الدمج الموجه بالارتباط المحوري (ARGFM)
توضع وحدة ARGFM بين المراحل المتناظرة للمشفرات البصرية والارتفاعية، وهي تسهل التفاعل الهيكلي بين الوسائط المتعددة.
طبقة انتباه الارتباط المحوري (ARAL): بدلاً من حساب مصفوفة انتباه ثنائية الأبعاد كاملة (والتي تبلغ تعقيدها O((HW)2))، تقوم ARAL بتفكيك مصفوفة العلاقات الكثيفة بين الرموز البصرية والارتفاعية إلى انتباهات محورية صفية وعمودية. يقلل هذا من التعقيد إلى O(HW(H+W)) مع التقاط أنماط التفاعل المتوافقة مع الهياكل الشبكية للاستشراف عن بعد (مثل الطرق والمباني).
حالة الفضاء للدمج (Fus-SSM): تعمل الرموز الواعية بالعلاقات التي تولدها ARAL كمعدلات لوحدة دمج (Fusion SSM). تقوم هذه الوحدة بدمج رموز السياق المحلي ورموز العلاقة عبر التجميع المتقاطع، باستخدام المسح الانتقائي لنشر المعلومات وتسهيل التفاعل العميق بين الإشارات الطيفية والهندسية.
التكامل: تمر الميزات المنقحة عبر آليات الانتباه المتقاطع والإسقاطات الخطية لإنتاج تمثيلات مدمجة للمفكك (Decoder)، بينما تستمر الميزات الخاصة بكل وسيط إلى مرحلة المشفر التالية.
المساهمات الرئيسية
يوضح البحث ثلاث مساهمات رئيسية:
إطار عمل ARG-Mamba: إطار عمل مبتكر يدمج نماذج حالة الفضاء (SSMs) مع دمج موجه بالارتباط المحوري الصريح لالتقاط الاعتمادات طويلة المدى بكفاءة في صور الاستشراف عن بعد متعددة المصادر.
وحدة MS-SSM: وحدة مصممة للتعامل مع التباينات في المقاييس في الصور عالية الدقة، مما يسمح بالنمذجة المشتركة للتفاصيل المحلية الدقيقة والسياق العالمي ضمن إطار عمل موحد ذي تعقيد خطي.
وحدة ARGFM: آلية تعمل على نمذجة الارتباطات العابرة للوسائط العالمية صراحةً عبر التفكيك المحوري، مما يتيح دمجًا فعالًا وهيكليًا للميزات البصرية والارتفاعية غير المتجانسة.
النتائج التجريبية
قيم المؤلفون ARG-Mamba على مجموعتي بيانات مرجعيتين: ISPRS Vaihingen (بمقياس 9 سم GSD) و ISPRS Potsdam (بمقياس 5 سم GSD)، وكلتاهما تحتوي على ست فئات من غطاء الأرض.
الأداء الكمي: تفوق ARG-Mamba باستمرار على ست طرق رائدة (بما في ذلك PSTNet، وFEANet، وGMNet، وCMNeXt، وFTransUNet، وMFNet) عبر جميع المقاييس (درجة F1، والدقة الإجمالية، وmIoU).
في Vaihingen، حقق mIoU بنسبة 83.72% (مقابل 82.42% لأفضل نتيجة تالية، MFNet).
في Potsdam، حقق mIoU بنسبة 85.30% (مقابل 85.10% لـ MFNet).
لوحظت تحسينات ملحوية في اكتشاف الأجسام الصغيرة والمعقدة مثل "السيارات" و"الغطاء النباتي المنخفض".
التحليل النوعي: أظهرت النتائج المرئية أن ARG-Mamba أنتج خرائط تجزئة ذات حدود أوضح للأجسام وتسمية مناطق أكثر اتساقًا، لا سيال في استخراج المباني والتعرف على الأجسام الصغيرة، مع تقليل ضوضاء الفوضى مقارنة بنماذج CNN وTransformer الأساسية.
الكفاءة الحسابية: أظهر النموذج كفاءة جيدة، حيث تطلب عددًا أقل بكثير من المعلمات (77.1 مليون) وعمليات (56.4G FLOPs) مقارنة بالنماذج الهجينة الثقيلة مثل MFNet (313.2 مليون معلمة) وFEANet (255.3 مليون معلمة)، مع الحفاظ على أوقات استدلال أسرع (0.268 ثانية).
الأهمية والادعاءات
يزعم البحث أن ARG-Mamba يقدم حلاً متوازنًا للتجزئة البصرية-الارتفاعية من خلال معالجة قيود الأساليب الحالية متعددة المقاييس ومتعددة الوسائط. ومن خلال الاستفادة من التعقيد الخطي لنماذج SSM والكفاءة الهيكلية لتفكيك الارتباط المحوري، يحقق إطار العمل دقة تضاهي أحدث التقنيات دون التكاليف الحسابية الباهظة المرتبطة بالهياكل الهجيلة أو القائمة على Transformer. ويؤكد المؤلفون أن نهجهم مناسب تمامًا لمهام الاستشراف عن بعد واسعة النطاق حيث تتطلب الدقة العالية والكفاءة الحسابية معًا. وقد تم جعل الكود متاحًا للجمهور لدعم المزيد من الأبحاث في هذا المجال.