Exploring Efficient Open-Vocabulary Segmentation in the Remote Sensing
تعالج هذه الورقة نقص المعيار الموحد وفجوة النطاق في تقسيم صور الاستشعار عن بعد مفتوح المفردات من خلال تقديم OVRSISBench المعياري واقتراح RSKT-Seg، وهو إطار عمل مبتكر يتفوق على النماذج المرجعية الحالية في الدقة وسرعة الاستدلال من خلال وحداته المتخصصة في التجميع المقاوم للدوران، والدمج الفعال، ونقل المعرفة.
المؤلفون الأصليون:Bingyu Li, Haocheng Dong, Da Zhang, Zhiyuan Zhao, Junyu Gao, Xuelong Li
في عالم الرؤية الحاسوبية، تم تدريب الآلات منذ زمن طويل على التعرف على الأشياء وتصنيفها في الصور، تماماً كما يتعلم الطفل تحديد القطة أو السيارة. لسنوات، كانت هذه الأنظمة تقتصر على قائمة ثابتة من الفئات التي عُلّمت إياها صراحة؛ فإذا كان النموذج يعرف ما هي "السيارة"، لم يكن بإمكانه فجأة التعرف على "دراجة هوائية" ما لم يتم إعادة تدريبه ببيانات جديدة. وقد تغير هذا مع ظهور التجزئة ذات المفردات المفتوحة (open-vocabulary segmentation)، وهي تقنية تسمح للحواسيب بفهم الصور من خلال اللغة. ومن خلال ربط الأنماط البصرية بالأوصاف النصية، يمكن لهذه الأنظمة الآن تحديد أشياء لم ترها من قبل، ببساطة لأن المستخدم يمكنه وصفها. ومع ذلك، فقد بُنيت هذه التكنولوجيا للصور الفوتوغرافية اليومية للأشخاص والأماكن. وعندما حاول العلماء تطبيق هذه الأدوات نفسها على المشاهد الواسعة من الارتفاعات العالية التي تلتقطها الأقمار الصناعية والطائات بدون طيار، واجهت الأنظمة صعوبة. فالعالم من الأعلى يبدو مختلفاً: الطرق والحقول تمتد في شبكات لا متناهية، ويمكن أن تظهر أشياء مثل الطائرات أو السفن في أي زاوية، متحديةً التوجه العمودي الذي اعتاد عليه البشر. ويظل سد الفجوة بين العالم المألوف لصور مستوى الشارع والمنظور الفريد للاستشعار عن بعد تحدياً كبيراً.
لقد تصدى فريق من الباحثين الآن لهذه المشكلة المحددة عبر إنشاء معيار جديد للاختبار وأداة متخصصة مصممة لرؤية العالم من الأعلى. لقد بدأوا بإدراك أن مجال الاستشلال عن بعد ذي المفردات المفتوحة كان يفتقر إلى أرضية مشتركة للمقارنة. فبدون طريقة موحدة لاختبار النماذج الحاسوبية المختلفة، كان من الصعب معرفة أي الطرق تعمل بشكل أفضل لصور الأقمار الصناعية. ولحل هذه المشكلة، أنشأ الفريق معياراً شاملاً، حيث جمع ثماني مجموعات بيانات متنوعة تغطي كل شيء من التخطيطات الحضرية الكثيفة إلى المناطق الزراعية والمناظر الجوية عالية الدقة. لقد نظموا هذه الصور بحيث يتم تدريب النماذج على بعض المجموعات واختبارها على مجموعات أخرى، مما يضمن أن الأنظمة تتعلم حقاً التعرف على مفاهيم جديدة بدلاً من مجرد حفظ صور محددة. وعندما مرروا النماذج القوية الموجودة حالياً عبر هذا الاختبار الجديد، كانت النتائج كاشفة. فبينما أدت هذه النماذج أداءً جيداً في الصور الفوتوغرافية القياسية، انخفضت دقتها بشكل كبير عند مواجهة بيانات الاستشعار عن بعد. لقد فشلت في مراعاة الخصائص الفريدة للمشاهد الجوية، مثل حقيقة أن مبنى أو مركبة قد تكون مائلة في أي اتجاه، أو أن سياق المشهد غالباً ما يمتد عبر مساحة أكبر بكثير من الصورة التقليدية.
ولمعالجة أوجه القصور هذه، طور الباحثون إطار عمل جديداً يسمى RSKT-Seg، والذي يعمل كمترجم متخصص لصور الأقمار الصناعية. يعتمد جوهر هذا النظام على ثلاث استراتيجيات متميزة تعمل معاً لفهم منظور السماء العالي. أولاً، يدرك النظام أن الأشياء في الصور الجوية ليس لها اتجاه "أعلى" واحد. وللتعامل مع ذلك، يقوم بتحليل الصورة من زوايا متعددة في وقت واحد، وتدوير البيانات البصرية لضمان التعرف على سفينة أو جسر بغض النظر عن كيفية توجهها في الإطار. يسمح هذا النهج المستقل عن الدوران للنموذج ببناء فهم مستقر للأشكال التي قد تبدو مختلفة تماماً اعتماداً على مسار القمر الصناعي. ثانياً، يستخدم إطار العمل طريقة خفيفة الوزن لدمج هذه القرائن البصرية مع الأوصاف النصية. فبدلاً من الانشغال بالحسابات الثقيلة، يقوم بدمج التخطيط المكاني للصورة مع معنى الكلمات بكفاءة، مما يسمح له بتحديد مكان وجود جسم معين بدقة دون إبطاء العملية. وأخيراً، يستفيد النظام من المعرفة المستمدة من النماذج التي تم تدريبها خصيصاً على بيانات الاستشعار عن بعد. فهو يستخدم هذه الخبرة المسبقة لسد الفجوات، مما يعلم النظام الجديد فعلياً كيفية تفسير الأنسجة والأنماط الفريدة لسطح الأرض.
كانت نتائج هذا النهج الجديد جوهرية. فعند اختباره مقابل المعيار الجديد، تفوق النظام باستمرار على كل من النماذج الكلاسيكية المصممة للصور العادية والمحاولات الأحدث لتجزئة الاستشعار عن بعد. لقد حقق تحسناً كبيراً في الدقة، حيث حدد ورسم حدود الأشياء بشكل صحيح عبر مجموعة واسعة من مجموعات البيانات الصعبة. وربما الأهم من ذلك، كان النظام سريعاً بشكل ملحوظ. فبينما استغرقت النماذج المتقدمة الأخرى وقتاً طويلاً لمعالجة صورة ما، أكمل هذا الإطار الجديد المهمة في نصف الوقت تقريباً، مما يجعله أكثر ملاءمة للتطبيقات التي تتطلب الوقت الفعلي حيث تكون السرعة ضرورية. وجد الباحثون أنه من خلال دمج هذه التعديلات المحددة للتدوير، ودمج البيانات الفعال، والمعرفة الخاصة بالمجال، استطاعوا إنشاء أداة لا تفهم لغة السماء فحسب، بل تفعل ذلك أيضاً بمستوى من الدقة والسرعة كان بعيد المنال سابقاً. يمهد هذا العمل طريقاً واضحاً للمستقبل، ويثبت أنه مع التعديلات الصحيحة، يمكن تطويع الذكاء الاصطناعي ليرى العالم تماماً كما يُرى من الأعلى.
ملخص تقني: استكشاف التجزئة الفعالة للصور الاستشعارية عن بُعد ذات المفردات المفتوحة
بيان المشكلة
تُعد تجزئة الصور الاستشعارية عن بُعد ذات المفردات المفتوحة (OVRSIS) مهمة ناشئة تعمل على تكييف التجزئة ذات المفردات المفتوحة (OVS) مع مجال الاستشعار عن بُعد (RS). ورغم قدرة نماذج الرؤية واللغة (VLMs) على كسر قيود الفئات المحددة مسبقاً، إلا أن مجال OVRSIS لا يزال غير مستكشف بشكل كافٍ بسبب عقبتين رئيسيتين:
الافتقار إلى التقييم المعياري: لا يوجد معيار موحد لـ OVRSIS. تعتمد الأعمال السابقة على مجموعات بيانات محدودة أو إعدادات تجريبية غير متسقة، مما يجعل المقارنات العادلة والتحليل المنهجي أمراً صعباً.
فجوة النطاق وقيود النقل: يؤدي نقل نماذج OVS المدربة على الصور الطبيعية مباشرة إلى مجال الاستشعار عن بُعد إلى انخفاض كبير في الأداء. تفشل طرق OVRSIS الحالية غالباً في نمذجة الخصائص النوعية للاستشعار عن بُعد بشكل كافٍ، مثل الثبات الدوراني (بسبب زوايا الطائرات/الأقمار الصناعية)، والسياق المكاني واسع النطاق، والتنوع الطيفي. علاوة على ذلك، تفتقر هذه الطرق غالباً إلى آليات فعالة للتكيف مع النطاق ونقل المعرفة من نماذج الاستشعار عن بُعد المدربة مسبقاً.
المنهجية: RSKT-Seg
لمعالجة هذه التحديات، يقترح المؤلفون RSKT-Seg، وهو إطار عمل فعال لتجزئة المفردات المفتوحة مصمم خصيصاً للاستشعار عن بُعد. يدمج الهيكل ثلاثة مكونات رئيسية مصممة لسد فجوة النطاق وتعزيز الكفاءة:
1. تجميع خرائط التكلفة متعدد الاتجاهات (RS-CMA)
تظهر صور الاستشعار عن بُعد غالباً اتجاهات عشوائية للأجسام بسبب اختلاف زوايا الأقمار الصناعية أو الطائرات. لمعالطة ذلك، يقوم RS-C عبر التقاط الإشارات المرئية الثابتة دورانياً:
الترميز متعدد الاتجاهات: يتم تعزيز الصورة المدخلة عبر تدويرها في أربعة اتجاهات (0°، 90°، 180°، 270°).
استخراج الميزات باستخدام مشفر مزدوج: يتم استخراج الميزات باستخدام مشفر صور CLIP مدرب مسبقاً (Eclipv) للمواءمة بين الرؤية والنص، ومشفر DINO مدرب مسبقاً (Edino) تم تدريبه خصيصاً على بيانات استشعار عن بُعد واسعة النطاق لدمج المعرفة الخاصة بالنطاق.
بناء خريطة التكلفة: يتم حساب تشابه جيب التمام (Cosine similarities) بين الميزات المرئية (من كل من CLIP وDINO) والتمثيلات النصية لكل دوران. ويتم دمج هذه الميزات لإنشاء خريطة تكلفة ثابتة دورانياً وواعية بالنطاق.
2. دمج خريطة التكلفة الفعال (RS-Fusion)
يعمل هذا النموذج على نمذجة التبعيات المكانية والدلالية مع الحفاظ على سرعة الاستنتاج من خلال تقليل الأبعاد بشكل خفيف:
محول التعزيز المكاني (SET): يقوم بدمج خريطة التكلفة المدمجة مع الميزات المتوسطة من CLIP وDINO. يقوم وحدة تقليل مكاني (Rs) بضغط الدقة المكانية، يليه كتلة Transformer تستخدم الانتباه المتقاطع (cross-attention) لتجميع السياق المكاني.
محول تعزيز الفئات (CET): يعمل على تحسين الميزات في بُعد الفئة من خلال دمج الميزات النصية من CLIP. بعد خفض العينة المكاني عبر متوسط التجميع (average pooling)، تقوم كتلة Transformer ثانية بمعالجة التفاعلات على مستوى الفئة.
التحسين التكراري: يتم تطبيق SET وCET بشكل تكراري عبر N من الطبقات لتعزيز القدرة على التمييز لكل من الأجسام ضمن نفس الفئة وعبر الفئات المختلفة.
3. نقل معرفة الاستش عن بُعد (RS-Transfer)
لاستعادة الأنسجة دقيقة التفاصيل التي فُقدت أثناء تقليل الأبعاد، يتم استخدام وحدة رفع مستوى الدقة (upsampling):
حقن الميزات: يتم دمج الميزات المتوسطة من RemoteCLIP، وCLIP القياسي، ومشفر DINO مع خريطة التكلفة المرفوعة.
التحسين: تقوم وحدة إسقاط (projection module) بتحسين هذه الميزات المدمجة عبر طبقات متعددة (Nd) لإنتاج التنبؤ النهائي على مستوى البكسل بالدقة الأصلية للصورة.
المساهمات الرئيسية
OVRSISBench: صاغ المؤلفون معياراً موحداً ومعيارياً لـ OVRSIS. لقد أعادوا صياغة ثماني مجموعات بيانات مستخدمة على نطاق واسع في الاستشعار عن بُعد (مثل DLRSD، iSAID، LoveDA، إلخ) تحت بروتوكول المفردات المفتوحة، مما يسمح بتقييم متسق عبر الطرق المختلفة.
التقييم الشامل: باستخدام OVRSISBench، قام البحث بتقييم نماذج OVS وOVRSIS التمثيلية. يكشف التحليل أن نماذج OVS الكلاسيكية تؤدي بشكل سيء عند نقلها مباشرة إلى مجال الاستشضاء عن بُعد، وأن طرق OVRSIS الحالية غالباً ما تفشل في الاستفادة الكاملة من الأولويات النوعية للاستشعار عن بُعد.
إطار عمل RSKT-Seg: يحقق الإطار المقترح أداءً يمثل أحدث ما توصل إليه العلم (state-of-the-art) مع تحسين سرعة الاستنتاج بشكل كبير. فهو يدمج بفعالية الثبات الدوراني، ونمذجة السياق المكاني، ونقل المعرفة الخاص بالنطاق.
النتائج التجريبية
أُجريت تجارب مكثفة على OVRSISBench باستخدام 8 مجموعات بيانات، حيث تم التدريب على DLRSD وiSAID.
الأداء: يتفوق RSKT-Seg باستمرار على خطوط الأساس القوية لـ OVS (مثل SCAN، SAN، SED، Cat-Seg) وطرق OVRSIS الحالية (مثل OVRS، GSNet).
يحقق تحسناً بمقدار +3.8 mIoU و +5.9 mACC مقارنة بخطوط الأساس القوية في المتوسط عبر جميع مجموعات البيانات.
يظهر متانة عبر سيناريوهات متنوعة، بما في ذلك الغطاء الأرضي المعقد (Potsdam)، والأجسام الصغيرة (UAVid)، ومجموعات البيانات الصعبة (VDD، UDD5).
يتوسع الأداء بفعالية مع استخدام هياكل خلفية أقوى (ViT-L مقابل ViT-B).
الكفاءة: رغم الهيكل المعقد، يحقق RSKT-Seg سرعة استنتاج تبلغ ضعفي (2×) مقارنة بطرق مثل Cat-Seg وOVRS.
متوسط وقت الاستنتاج هو 65.11 مللي ثانية (حوالي 15.36 إطار في الثانية)، مقارنة بـ 114.88 مللي ثانية لـ Cat-Seg و285.37 مللي ثانية لـ OVRS.
دراسات الاستئصال (Ablation Studies):
إن إدراج خريطة التكلفة القائمة على DINO (المدربة على بيانات الاستشعار عن بُعد) يعزز الأداء بشكل كبير مقار بـ استخدام DINO المدرب مسبقاً على الصور الطبيعية فقط.
يعد نموذج RS-CMA (الثبات الدوراني) واستراتيجية RS-Fusion حاسمين لتحقيق مكاسب الأداء.
تظهر استراتيجيات الضبط الدقيق أن إبقاء مشفر CLIP في حالة "انتباه" (attention) مع تجميد مشفر DINO يحقق أفضل النتائج.
الأهمية
يزعم البحث أن RSKT-Seg يطور مجال OVRSIS من خلال توفير إطار تقييم موحد (OVRSISBench) وحلاً عالي الأداء وفعالاً يعالج تحديداً التحديات الفريدة لصور الاستشعار عن بُعد. ومن خلال إثبات أن دمج الثبات الدوراني ونقل المعرفة الخاص بالنطاق أمر ضروري لسد الفجوة بين الصور الطبيعية وصور الاستشعار عن بُعد، يضع هذا العمل معياراً جديداً للبحوث المستقبلية في تجزئة المفردات المفتوحة للاستشعار عن بُعد. ويؤكد المؤلفون أن نهجهم يحقق كلاً من دقة التجزئة العالية والاستنتاج السريع، مما يجعله مناسباً للتطبيقات في الوقت الفعلي.