Cosine-Normalized Attention for Hyperspectral Image Classification

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاهتمام الموحد بالتشابه الجيبي لتصنيف الصور فائقة الطيفية" (Cosine-Normalized Attention for Hyperspectral Image Classification).

1. بيان المشكلة

يواجه تصنيف الصور فائقة الطيفية (HSIC) تحديين رئيسيين:

• عدم التطابق الهندسي في آلية الاهتمام: تعتمد نماذج الـ Transformer القياسية على الاهتمام بناتج الضرب النقطي المقياس (scaled dot-product attention)، والذي يحسب التشابه بناءً على الضرب الداخلي لمتجهات الاستعلام ($Q$) والمفتاح ($K$). هذا المقياس يخلط بين مقدار المتجه واتجاهه. في البيانات فائقة الطيفية، غالبًا ما تختلف البصمات الطيفية في مقدارها بسبب تغيرات الإضاءة، أو التأثيرات الجوية، أو ضوضاء المستشعر، حتى عندما تظل هوية المادة الأساسية كما هي. وبناءً على ذلك، قد يعطي اهتمام الضرب النقطي الأولوية للمقدار على حساب الاتجاه الزاوي الأكثر تمييزًا للبصمة الطيفية.
• ندرة البيانات الملصقة (Labels): يعد تصنيف مستوى البكسل للصور فائقة الطيفية أمرًا مكلفًا ويتطلب جهدًا يدويًا كبيرًا. غالبًا ما تعاني النماذج من الإفراط في التخصيص (overfitting) عند التدريب على بيانات محدودة للغاية (مثل 1% من البكسلات)، خاصة عند استخدام بنيات معقدة ذات عدد ضخم من المعلمات (parameters).

2. المنهجية

يقترح المؤلفون آلية "الاهتمام الموحد بالتشابه الجيبي" (Cosine-Normalized Attention) المدمجة في إطار عمل "ترانسفورمر" (Transformer) خفيف الوزن للمجال المكاني-الطيفي.

أ. الابتكار الجوهري: الاهتمام الموحد بالتشابه الجيبي

بدلاً من تشابه الضرب النقطي القياسي، تعيد الطريقة صياغة تسجيل الاهتمام من منظور هندسي:

1. التوحيد بـ $\ell_2$ ( $\ell_2$ Normalization): يتم إسقاط تضمينات الاستعلام ($Q$) والمفتاح ($K$) على كرة فائقة (hypersphere) موحدة عن طريق توحيدها:
   $$\tilde{q} = \frac{q}{\|q\|_2}, \quad \tilde{k} = \frac{k}{\|k\|_2}$$
   يضمن هذا أن يعتمد تسجيل التشابه فقط على الزاوية بين المتجهات، متجاهلاً الاختلافات في المقدار.
2. تشابه جيب التمام المربع (Squared Cosine Similarity): يتم حساب تسجيل التشابه كتربيع لعنصر تشابه جيب التمام:
   $$S = (\tilde{q}^\top \tilde{k})^2 = \cos^2(\theta)$$
   تعمل عملية "الحدة" (sharpening) هذه على تعزيز المحاذاة الزاوية القوية مع تثبيط المحاذات الضعيفة، مما يخلق توزيع اهتمام أكثر تركيزًا.

ب. البنية الهيكلية

• تقطيع الرموز (Patch Tokenization): يتم تقسيم مكعب الـ HSI إلى رقع ثلاثية الأبعاد متداخلة ($P \times P \times C$). تُسقط المتجهات الطيفية داخل الرقع في فضاء التضمين وتُعامل كرموز (tokens).
• بنية الترانسفورمر (Transformer Backbone): يُستخدم "ترانسفورمر" مكاني-طيفي خفيف الوزن مع:
  • بُعد التضمين: 64
  • العمق: 4 طبقات
  • رؤوس الاهتمام: 4
  • بُعد الـ MLP: 128
• نظام التدريب: يتم تقييم النموذج تحت نظام تقسيم 1% تدريب / 1% تحقق / 98% اختبار لمحاكاة الندرة الشديدة في البيانات الملصقة.

ج. التحليل المنضبط

تقيم الدراسة 11 نوعًا مختلفًا من تسجيلات الاهتمام ضمن نفس البنية الهيكلية لعزل تأثير دالة التشابه. وتشمل المتغيرات:

• جيب التمام المربع (المقترح)
• جيب التمام (Cosine similarity)
• الضرب النقطي المقياس (القياسي)
• الاهتمام الجمعي (Additive attention)
• متغيرات الاهتمام المتقاطع (حيث يأتي $Q$ و $K$ من مسارات مختلفة)

3. المساهمات الرئيسية

1. إعادة المحاذاة الهندسية: تحدد الورقة مشكلة عدم التطابق بين اهتمام الضرب النقطي الإقليدي والطبيعة الزاوية للبصمات فائقة الطيفية، وتعالجها. وتقترح أن الاتساق الزاوي يمثل انحيازًا استقرائيًا (inductive bias) أكثر قوة لـ HSIC من المقاييس التي تشمل المقدار.
2. الأداء الخفيف: يحقق الأسلوب المقترح نتائج رائدة (state-of-the-art) باستخدام بنية أصغر وأبسط بكثير مقارنة بنماذج الـ Transformer والـ Mamba المعقدة الحديثة.
3. التحليل الاستبعادي الشامل (Ablation Analysis): من خلال دراسة منضبطة، يثبت المؤلفون أن اختيار دالة التشابه هو عامل أكثر حسمًا في الأداء من زيادة عمق أو عرض أو تعقيد النموذج.
4. المتانة: أظهرت الطريقة استقرارًا فائقًا ضد الضوضاء الطيفية وتغيرات المقدار، وهي أمور شائعة في بيانات الاستشعار عن بعد.

4. النتائج التجريبية

تم اختبار الطريقة على ثلاث مجموعات بيانات مرجعية: Salinas (SA)، و WHU Hi HongHu (HH)، و QUH-Tangdaowan (TD).

• مقاييس الأداء: حقق متغير جيب التمام المربع (CS2) المقترح باستمرار أداءً رفيع المستوى في الدقة الإجمالية (OA)، ومعامل كابا ($\kappa$)، والدقة المتوسطة (AA).
  • مثال (Salinas): حقق CS2 دقة إجمالية بنسبة 99.18% وكابا بنسبة 99.33%، متفوقًا على نماذج Mamba الحديثة (مثل SSAM و DBMLLA) ونماذج Transformer الأخرى (مثل MSST و S2CIFT).
• المقارنة: تفوق النهج المقترح أو عادل النماذج المرجعية المعقدة (بما في ذلك WaveFormer و DiffFormer ومتغيرات Mamba المختلفة) رغم استخدامه لبنية أخف بكثير.
• الجودة البصرية: أظهرت خرائط التصنيف التي أنتجتها الطريقة المقترحة مناطق أكثر تجانسًا، وأخطاءً معزولة أقل، وحدود فئات أكثر وضوحًا، لا سيما في المناطق التي تتشابه فيها الأطياف.
• رؤى التحليل الاستبعادي:
  • توحيد كلا من الاستعلام (Query) والمفتاح (Key) أعطى أفضل النتائج.
  • تفوق جيب التمام المربع على متغيرات جيب التمام القياسي والضرب النقطي.
  • كان للتغييرات الهيكلية (مثل زيادة العمق أو عدد الرؤوس) تأثير هامشي مقارنة بالانتقال إلى تسجيل يعتمد على جيب التمام.
  • أظهر النموذج تراجعًا تدريجيًا ومنضبطًا تحت ضغط الضوضاء الطيفية المتزايدة (من 10dB إلى 30dB)، مما يؤكد متانته.

5. الأهمية والخاتمة

يحدث هذا العمل تحولًا جوهريًا في التركيز في مجال HSIC، من تصميم بنيات تزداد تعقيدًا إلى تحسين الخصائص الهندسية لآلية الاهتمام.

• الانحياز الاستقرائي: يرسخ البحث حقيقة أن التسجيل القائم على جيب التمام يوفر انحيازًا استقرائيًا حاسمًا لتعلم التمثيلات فائقة الطيفية، مما يربط الهندسة الداخلية للنموذج بالخصائص الفيزيائية للبيانات الطيفية.
• الكفاءة: يثبت البحث أنه في سيناريوهات ندرة البيانات الملصقة، يكون تحسين دالة التشابه أكثر فعالية من مجرد زيادة حجم معلمات النموذج.
• القدرة على التعميم: تشير النتائج إلى أن آليات الاهتمام في الاستشعار عن بعد يجب أن تعطي الأولوية للعلاقات الزاوية على المسافات الإقليدية للتعامل مع تغيرات الإضاءة وتغيرات المستشعرات بفعالية.

باختًا، تقدم الورقة بديلًا بسيطًا، قابلًا للتفسير، وفعالًا للغاية لآلية الضرب النقطي القياسية، مبرهنة على أن التسجيل المدرك للهندسة هو المحرك الرئيسي للأداء في تصنيف الصور فائقة الطيفية.