SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

ملخص تقني: SoDa2: تكييف النطاق مفتوح المجموعة في مرحلة واحدة عبر المحاذاة المنفصلة لتصنيف الصور فائقة الطيف عبر المشاهد

بيان المشكلة
يعد تصنيف الصور فائقة الطيف (HSI) عبر المشاهد مهمة أساسية في الاستشعار عن بُعد، ومع ذلك، فإنه يواجه تحديات كبيرة عند تطبيقه في سيناريوهات العالم الحقيقي. تفترض طرق التعلم العميق التقليدية أن بيانات التدريب (المصدر) واختبار (الهدف) موزعة بشكل مستقل ومتماثل. ومع ذلك، فإن الاختلافات في المستشعرات، وظروف التصوير، والتأثيرات الجوية تسبب "انزياح النطاق" (domain shift)، مما يؤدي إلى تدهور أداء النموذج عند تطبيقه على مشاهد جديدة. علاوة على ذلك، غالبًا ما تحتوي نطاقات الهدف في العالم الحقيقي على "فئات غير معروفة" (فئات غير موجودة في نطاق المصدر)، مما يجعل طرق تكييف النطاق (DA) ذات المجموعة المغلقة القياسية غير فعالة. تواجه أساليب تكييف النطاق مفتوح المجموعة (OSDA) الحالية للصور فائقة الطيف تحديين رئيسيين:

1. مشكلات المحاذاة الهجينة: تقوم معظم الطرق بمحاذاة الميزات الطيفية والمكانية المختلطة في مساحة موحدة. ومع ذلك، تساهم الميزات الطفية والمكانية بشكل مختلف في التصنيف وتتوزع بشكل مستقل؛ لذا فإن المحاذاة المباشرة للميزات المختلطة يمكن أن تقوض قابلية نقل النطاق عبر المجالات.
2. عدم الكفاءة الحسابية: تعتمد أساليب OSDA الحالية عادةً على بنيات ذات مصنف مزدوج واستراتيجيات تدريب من مرحلتين (التدريب المسبق يليه التدريب المشترك)، مما يؤدي إلى إجراءات معقدة وتكاليف حسابية عالية.

المنهجية: SoDa2
يقترح المؤلفون SoDa2، وهو طريقة لتكييف النطاق مفتوح المجموعة في مرحلة واحدة تعتمد على المحاذاة المنفصلة. تم تصميم الإطار لاستخراج ميزات ثابتة النطاق مع التمييز التكيفي بين الفئات المعروفة وغير المعروفة دون معرفة مسبقة بالفئات غير المعروفة. تتكون البنية من ثلاثة مكونات أساسية:

1. استخراج الميزات ثنائي النمط المدرك للمساهمة:
   بدلاً من دمج الميزات مبكرًا، تستخدم الطريقة فروعًا متوازية لاستخراج الميزات الطيفية والمكانية بشكل مستقل.

• الفرع الطيفي: يستخدم طبقات تلافيفية مع اتصالات متبقية عبر الطبقات للحفاظ على معلومات النطاق الدقيقة والميزات الطيفية عالية المستوى.
• الفرع المكاني: يستخدم طبقات تلافيفية ثلاثية الأبعاد (3D) لالتقاط الهياكل العالمية والأنماط المحلية، مع اتصالات متبقية للحفاظ على التفاصيل الضحلة.
• آلية الانتباه: يتم تطبيق وحدات انتباه القنوات والانتباه المكاني على الفروع المعنية لإعادة وزن الميزات بشكل تكيفي، مع التركيز على النطاقات الطيفية والمواقع المكانية الأكثر إفادة لمهمة التصنيف.

2. وحدة المحاذاة المنفصلة:
   لمعالجة انزياح النطاق، تقلل الطريقة من "تشتت المتوسط الأقصى" (MMD) بين نطاقي المصدر والهدف. ومن الأهمية بمكان أن هذه المحاذاة منفصلة:

• يتم حساب MMD بشكل منفصل للميزات الطيفية ($L_{spe}$) والميزات المكانية ($L_{spa}$).
• يتجنب هذا النهج الارتباك الناتج عن محاذاة الميزات المختلطة غير المتجانسة، مما يسمح للنموذج بتعلم تمثيلات مستقلة وثابتة النطاق لكل نمط.
• إجمالي فقدان المحاذاة هو مجموع خسائر MMD الطيفية والمكانية.

3. وحدة التعرف على المجموعة المفتوحة (إطار عمل مرحلة واحدة):
   تستخدم الطريقة مشفرًا ثنائي الفرع لنطاق الهدف للتمييز بين الفئات المعروفة وغير المعروفة في مرحلة تدريب واحدة:

• مشفر الميزات المحاذية: يتعلم الميزات الثابتة للنطاق والمقيدة بخسارة MMD (الدلالات المشتركة بين المصدر والهدف).
• مشفر الميزات الجوهرية: يتعلم الميزات الخاصة بالهدف دون قيود عبر النطاقات، ملتقطًا الخصائص التمييزية للفئات غير المعروفة.
• قياس الاتساق: تحسب الطريقة تشابه جيب التمام المربع بين الميزات المحاذية والجوهرية لكل عينة من عينات الهدف.
• نموذج الخليط الغاوسي (GMM): يتم نمذجة توزيع درجات التشابه هذه باستخدام GMM بمكونين (يمثلان الفئات المعروفة وغير المعروفة). تُصنف العينات بناءً على المكون الغاوسي الذي يتوافق معه تسجيلها، مما يتيح التعرف على المجموعة المفتوحة دون معرفة صريحة بالفئات غير المعروفة.

المساهمات الرئيسية

1. استراتيجية المحاذاة المنفصلة: تقدم الورقة نهجًا مبتكرًا لمحاذاة الميزات الطيفية والمكانية بشكل مستقل باستخدام MMD، مما يعالج قيود المحاذاة الهجينة في بيانات الصور فائقة الطيف حيث تمتلك الأنماط خصائص توزيع متميزة.
2. إطار عمل تدريب في مرحلة واحدة: على عكس طرق OSDA ذات المرحلتين، يدمج SoDa2 استخراج الميزات، ومحاذاة النطاق، والتعرف على المجموعة المفتوحة في عملية تدريب موحدة وفعالة من حيث التكلفة في مرحلة واحدة.
3. استخراج الميزات المدرك للمساهمة: يسمح تصميم الفروع الطيفية والمكانية المتوازية مع آليات الانتباه بالتعزيز الانتقائي للميزات التمييزية من كلا النمطين.
4. التعرف على المجموعة المفتوحة القائم على GMM: تستخدم الط طريقة GMM لنمذجة درجات الاتساق بين الميزات المحاذية والجوهرية، مما يسمح بالفصل التلقائي بين الفئات المعروفة وغير المعروفة دون الحاجة لمعرفة مسبقة بالفئات غير المعروفة.

النتائج التجريبية
قيم المؤلفون SoDa2 على ثلاثة مجموعات بيانات للصور فائقة الطيف عبر المشاهد:

• PU-PC: من جامعة بافيا (المصدر) إلى مركز بافيا (الهدف).
• HU13-HU18: من هيوستن 2013 (المصدر) إلى هيوستن 2018 (الهدف).
• ZY-GF: من Ziyuan1-02D Yancheng (المصدر) إلى GaoFen-5 Yancheng (الهدف).

تمت مقارنة الطريقة مع أحدث أساليب OSDA، بما في ذلك OSBP، وSTA، وDAMC، وUADAL، وANNA، وMTS، وWGDT. تم قياس الأداء باستخدام متوسط دقة الفئات المعروفة ($OS^*$)، ودقة الفئات غير المعروفة ($UNK$)، ومتوسطهما التوافقي ($HOS$).

• الأداء: حقق SoDa2 أداءً فائقًا عبر جميع مجموعات البيانات الثلاث. على سبيل المثال، في مهمة PU-PC، حقق $HOS$ بنسبة 80.7% و $UNK$ بنسبة 94.3%، متفوقًا على ثاني أفضل طريقة (WGDT). وفي مهمة ZY-GF، وصل إلى $HOS$ بنسبة 94.7%.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن الجمع بين خسائر المحاذاة المنفصلة الطيفية والمكانية يعطي أفضل النتائج، مما يؤكد ضرورة استراتيجية الفصل. علاوة على ذلك، تبين أن الترتيب المحدد لتطبيق آليات الانتباه قبل دمج الميزات كان أكثر فعالية من دمج الميزات أولاً ثم تطبيق الانتباه.
• حساسية المعلمات: حددت الدراسة أن ضبط عدد مكونات الخليط ($K$) إلى 2 ووزن خسارة المحاذاة ($\alpha$) إلى 10 وفر التوازن الأمثل بين التعرف على الفئات المعروفة وغير المعروفة.

الأهمية والادعاءات
تدعي الورقة أن SoDa2 يعالج بفعالية التحديات المزدوجة المتمثلة في انزياح النطاق وتحديد الفئات غير المعروفة في تصنيف الصور فائقة الطيف عبر المشاهد. من خلال فصل محاذاة الميزات الطيفية والمكانية، تحافظ الطريقة على الخصائص الفريدة لكل نمط مع تقليل التباينات في التوزيع. يوفر إطار العمل أحادي المرحلة بديلاً فعالاً من حيث الحوسبة لاستراتيجيات التدريب المعقدة ذات المرحلتين. يؤكد المؤلفون أن الطريقة تحقق دقة تصنيف فائقة وقابلية نقل نموذج عالية، مما يوفر حلاً قويًا لمهام المجموعة المفتوحة عبر المشاهد في تطبيقات الاستشعار عن بُعد. كود الطريقة متاح للمجتمع العلمي.