Unmixing-Guided Spatial-Spectral Mamba with Clustering Tokens for Hyperspectral Image Classification

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Unmixing-Guided Spatial-Spectral Mamba with Clustering Tokens for Hyperspectral Image Classification" (نموذج Mamba المكاني-الطيفي الموجه بفك الامتزاج مع رموز التجميع لتصنيف الصور فائقة الطيفية).

1. بيان المشكلة

يواجه تصنيف الصور فائقة الطيفية (HSI) ثلاثة تحديات رئيسية:

• تأثير الامتزاج الطيفي (Spectral-Mixture Effect): غالبًا ما تحتوي البكسلات على مواد مختلطة، مما يجعل من الصعب تحديد البصمات الطيفية النقية.
• التباين المكاني-الطيفي (Spatial-Spectral Heterogeneity): تظهر بيانات HSI تباينات معقدة عبر كل من النطاقين المكاني والطيفي.
• الحفاظ على الحدود والتفاصيل: تعاني النماذج الحالية من صعوبة في الحفاظ على التفاصيل الدقيقة وحدود الفئات.

بينما تم تطبيق نماذج التعلم العميق مثل CNNs وTransformers، إلا أنها تواجه قيودًا:

• شبكات CNN: محدودة في نمذجة التبعيات المكانية-الطفية طويلة المدى.
• نماذج Transformers: تكلفة حوسبة عالية وخطر الإفراط في التخصيص (overfitting) بسبب التعقيد التربيعي في آليات الانتباه (attention mechanisms).
• نماذج Mamba (نماذج فضاء الحالة - State-Space Models): رغم كفاءتها بالتعقيد الخطي، تعاني نماذج Mamba القياسية من تدهور الارتباط (correlation decay) عند معالجة صورة HSI كاملة كسلسلة رموز (token sequence) واحدة طويلة. هذا النهج غير فعال في التقاط الأنماط الدقيقة في الصور شديدة التباين.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يدمج فك الامتزاج الطيفي (spectral unmixing) مع بنية قائمة على Mamba لتوجيه اختيار الرموز وتسلسلها.

أ. نظرة عامة على النموذج

تتكون البنية من فرعين متوازيين (فك الامتزاج والتصنيف) متصلين عبر خرائط الوفرة (Abundance Maps).

1. تضمين الرقعة (Patch Embedding): يتم معالجة مكعب HSI المدخل إلى خرائط ميزات.
2. الأفرع المزدوجة:
   • فرع فك الامتزاج: يتعلم العناصر النهائية (endmembers) وخرائط الوفرة.
   • فرع التصنيف: يتعلم الميزات المميزة لملصقات الفئات.
3. اختيار الرموز (Token Selection): تُستخدم خرائط الوفرة لتحديد العناقيد (clusters)، والتي يتم من خلالها اختيار أفضل K من الرموز (Top-K tokens) بشكل تكيفي لكتل Mamba.
4. الدمج (Fusion): يتم دمج الميزات من كلا الفرعين لإنتاج خريطة التصنيف النهائية، وخرائط الوفرة، وخرائط تباين العناصر النهائية.

ب. المكونات الرئيسية

1. شبكة فك امتزاج شبه عمياء مع تباين العناصر النهائية (Semi-Blind Unmixing Network with Endmember Variability)

• استخراج الوفرة: تستخدم شبكة تلافيفية (1×1) لتقدير خرائط الوفرة ($A$) مع الحفاظ على البنية المكانية.
• نمذجة تباين العناصر النهائية: بدلاً من افتراض عناصر نهائية ثابتة، يقوم النموذج بتهيئة العناصر النهائية باستخدام تحليل المكونات الرأسية (VCA) وتكرارها إلى $R$ من المتغيرات العالمية. ثم يتعلم أوزان التباين لكل بكسل لإعادة بناء العناصر النهائية ديناميكيًا كتركيبة محدبة من هذه المتغيرات. هذا يعالج مشكلة ظهور نفس المادة بشكل مختلف في ظل ظروف متغيرة.
• إعادة البناء: يتم نمذجة الطيف المرصود كمجموع مرجح للوفرة والعناصر النهائية المتغيرة.

2. اختيار الرموز التكيفي Top-K (Adaptive Top-K Token Selection)

• الدافع: لتجنب معالجة الصورة بأكملها كسلسلة واحدة طويلة (مما يسبب تدهور الارتباط)، يختار النموذج فقط الرموز الأكثر معلوماتية بناءً على عناقيد الوفرة.
• الوفرة الزمنية: يستخدم المتوسط المتحرك الأسي (EMA) لخرائط الوفرة عبر دورات التدريب لتثبيت اختيار الرموز.
• استراتيجية الاختيار: يتم حساب عدد الرموز ($K_p$) لكل عنقود وفرة $p$ بناءً على قيم ذروة ومتوسط الوفرة. يضمن ذلك تركيز النموذج على مناطق الوفرة العالية مع الحفاظ على التنوع المكاني.
• تقليل التعقيد: يقلل التعقيد من $O(L \cdot d \cdot s)$ (حيث $L$ هو إجمالي البكسلات) إلى $O(\sum K_p \cdot d \cdot s)$، حيث $\sum K_p \ll L$.

3. وحدة Mamba المكانية-الطفية الموجهة بفك الامتزاج (Unmixing-Guided Spatial-Spectral Mamba Module)

• كتل Mamba المتوازية: يستخدم النموذج $P+1$ من كتل Mamba المتوازية (حيث $P$ هو عدد العناصر النهائية).
  • تعالج $P$ من الكتل الرموز المكانية الخاصة بالوفرة (المختارة من خريطة ميزات التصنيف بناءً على خريطة الوفرة رقم $p$).
  • تعالج $P$ من الكلل الرموز الطيفية الخاصة بالوفرة (المعاد تشكيلها لتعلم الميزات الطيفية المجمعة).
  • تتعامل كتلة إضافية واحدة مع البكسلات غير المختارة (المتفرقة).
• التسلسل (Sequencing): يتم ترتيب الرموز حسب قيمة الوفرة (من الأعلى إلى الأدنى) قبل تغذيتها في طبقات Mamba، مما يخلق تسلسلاً غير محلي، متفرقًا، وتكيفيًا.

4. التعلم متعدد المهام (Multi-Task Learning)

• يتم الإشراف على النموذج بواسطة دالة فقدان مشتركة:
  $$L_{total} = L_{CE} + 0.01 L_{unmix} + 0.001 ||A||_{1/2}$$
  • $L_{CE}$: فقدان الإنتروبيا المتقاطعة (Cross-entropy loss).
  • $L_{unmix}$: مسافة الزاوية الطيفية (SAD) لدقة إعادة البناء.
  • $||A||_{1/2}$: عقوبة التشتت غير المحدبة على خرائط الوفرة.

3. المساهمات الرئيسية

1. شبكة فك امتزاج طيفي مبتكرة: تتعلم تلقائيًا العناصر النهائية وخرائط الوفرة مع نمذجة تباين العناصر النهائية صراحةً، مما يفك تشابك تأثير الامتزاج الطيفي.
2. استراتيجية اختيار الرموز Top-K: تقدم استراتيجية فعالة وتكيفية لتسلسل الرموز بناءً على عناقيد الوفرة، مما يحل مشكلة تدهور الارتباط في نماذج Mamba القياسية ويقلل من تكلفة الحوسبة.
3. Mamba مكاني-طيفي موجه بفك الامتزاج: وحدة جديدة تتعلم العلاقات بين الرموز المتفرقة المختارة في كل من النطاقين المكاني والطيفي، مما يحسن تعلم الميزات والحفاظ على التفاصيل بشكل كبير.
4. إطار عمل موحد متعدد المهام: يعمل في آن واحد على تحسين التصنيف، وفك الامتزاج، ونمذجة التباين، مما ينتج خرائط تصنيف دقيقة إلى جانب مكتبات طيفية وخرائط وفرة شاملة.

4. النتائج التجريبية

تم تقييم النموذج على أربع مجموعات بيانات: QUH-Tangdaowan، وPavia University، وHouston، وFanglu Tea Farm.

• الأداء: تفوق الطريقة المقترحة ("Ours") باستمرار على الطرق الحديثة (بما في ذلك RF، وSSRN، وSS-ConvNeXt، وTransformers، ونماذج Mamba أخرى مثل MambaHSI وSFMamba وSDMamba) في الدقة الإجمالية (OA)، والدقة المتوسطة (AA)، ومعاملات كابا (Kappa).
  • مثال: في مجموعة بيانات QUH-Tangdaowan، حقق النموذج 98.25% OA، متفوقًا على ثاني أفضل نموذج (MambaHSI بنسبة 97.76%).
• التحليل النوعي:
  • الحفاظ على الحدود: أنتج النموذج حدود فئات أكثر حدة وحافظ على التفاصيل الدقيقة (مثل الأشجار المنفردة، حواف المباني، والطرق) بشكل أفضل من النماذج القائمة على الرقع أو تلك التي تعتمد بكثافة على خفض العينات (downsampling).
  • تقدير الوفرة: قدم فرع فك الامتزاج خرائط وفرة متميزة وذات معنى فيزيائي، حيث التقط التباينات الدقيقة (مثل الظلال تحت الأشجار) التي أغفلتها النماذج الأخرى.
• دراسة الاستئصال (Ablation Study): أدى إزالة المكونات مثل الترميز الموضعي (positional coding)، أو اختيار Top-K، أو تباين العناصر النهائية إلى انخفاض كبير في الأداء، مما يؤكد ضرورة كل وحدة.
• حساسية عدد العناصر النهائية: أظهرت التجارب أن ضبط عدد العناصر النهائية ($P$) ليكون مساويًا لعدد الفئات لم يعطِ أفضل النتائج؛ حيث أدى استخدام $P$ أعلى (لأخذ التباين في الاعتبار) إلى تحسين الأداء.

5. الأهمية

تجسر هذه الورقة الفجوة بين فك الامتزاج الطيفي الفيزيائي وبنيات التعلم العميق الحديثة (Mamba).

• الكفاءة: من خلال استخدام فك الامتزاج لتوجيه اختيار الرموز، يتغلب النموذج على اختناقات الحوسبة ومشكلات تدهور الارتباط الناتجة عن تطبيق Mamba على مكعبات HSI الكاملة.
• القابلية للتفسير: لا يوفر الإطار مجرد ملصق تصنيف فحسب، بل يقدم أيضًا رؤى فيزيائية (خرائط الوفرة والمكتبات الطيفية)، وهي أمور بالغة الأهمية للمراقبة البيئية واستكشاف الموارد.
• المتانة: تجعل نمذجة تباين العناصر النهائية الصريحة النموذج أكثر قوة تجاه التباينات الطيفية في العالم الحقيقي، مما يؤدي إلى قدرة فائقة على التعميم في مجموعات البيانات المعقدة واسعة النطاق.

الكود متاح للجمهور، مما يسهل المزيد من الأبحاث في مجال التعلم العميق الموجه بفك الامتزاج للاستشعار عن بُعد.