ملخص تقني: LESSViT: تعلم تمثيل طيفي متين تحت تأثير تحول التكوين الطيفي

1. بيان المشكلة

تلتقط الصور فائقة الطيف (HSI) بصمات طيفية دقيقة عبر مئات النطاقات الطولية الموجية المتجاورة، مما يتيح توصيفاً مفصلاً للمواد، والحالات الفيزيائية الحيوية، والعمليات البيئية. ومع ذلك، يبرز تحدٍ جوهري يتمثل في تباين التكوينات الطيفية عبر المستشعرات المختلفة. فخلافاً للصور الطبيعية ذات قنوات RGB الثابتة، تختلف مستشعرات HSI بشكل كبير في تغطية الأطوال الموجية، وأخذ عينات النطاقات، وأبعاد القنوات. ونتيجة لذلك، فإن النماذج التي يتم تدريبها على تكوين طيفي ثابت غالباً ما تفشل في التعميم على مستشعرات أخرى، مما يؤدي إلى معاناة من "التحول الطيفي".

تواجه النهج الحالية مقايضة بين الكفاءة والقدرة التعبيرية:

• النمذجة الضمنية: غالباً ما تقوم نماذج Vision Transformers (ViTs) القياسية بدمج البعد الطيفي في بعد القنوات أو تستخدم تضمينات رقع (patch embeddings) ثابتة. وبينما تعد هذه الطرق فعالة حوسبياً، إلا أنها تفترض بنية قنوات ثابتة وتفشل في نمذجة العلاقات المعتمدة على الطول الموجي بشكل صريح، مما يحد من القدرة على التعميم عبر المستشعرات.
• النمذجة الصريحة: إن معاملة القنوات الطيفية كرموز (tokens) مستقلة وتطبيق انتباه مكاني-طيفي كامل يسمح بنمذجة صريحة، ولكنه يتسبب في تعقيد حوسبي باهظ يصل إلى $O(N^2C^2)$، حيث $N$ هو عدد الرموز المكانية و $C$ هو عدد القنوات الطيفية. وهذا يجعل الأمر غير قابل للتطبيق عملياً لمدخلات HSI عالية الأبعاد.

2. المنهجية: LESSViT

يقترح المؤلفون LESSViT (Low-rank Efficient Spatial–Spectral ViT)، وهو بنية مرنة تجاه المستشعرات مصممة لتحقيق تعميم طيفي عبر المستشعرات من خلال ثلاثة مكونات أساسية:

2.1 التضمين المترابط للرقع (Tied Patch Embedding)

لدعم تنوع الأبعاد الطيفية، يستخدم LESSViT طبقة تضمين رقع مترابطة. بدلاً من تعلم أوزان متميزة لكل قناة، يستخدم النموذج أوزان إسقاط مشتركة عبر جميع القنوات. وبالنظر إلى مدخل HSI بحجم $C \times H \times W$، يتم تقسيمها إلى رقع وإسقاطها إلى رموز باستخدام رسم خرائط خطي مشترك. يضمن هذا قدرة النموذج على معالجة مدخلات بعدد مختلف من القنوات الطيفية دون الحاجة لإعادة التدريب أو تغيير البنية.

2.2 الانتباه المكاني-الطيفي الفعال منخفض الرتبة (LESS Attention)

لحل المقايضة بين الكفاءة والقدرة التعبيرية، قدم المؤلفون LESS Attention، وهو تحليل هيكلي منخفض الرتبة للانتباه المكاني-الطيفي.

• التفكيك: تستغل الطريقة القابلية للفصل الهيكلي للبيانات فائقة الطيف، حيث تفكك التفاعلات المشتركة إلى مكونات مكانية فقط ومكونات طيفية فقط.
• الآلية: يتم تفكيك الرموز المدخلة إلى رموز مكانية ($X_S$) ورموز طيفية ($X_C$) باستخدام طبقة تجميع الانتباه (Attention Pooling Layer). ويتم حساب الانتباه المكاني والطيفي ($A_S$ و $A_C$) بشكل مستقل.
• التقريب منخفض الرتبة: يتم تقريب الانتباه المكاني-الطيفي المشترك عبر حاصل الضرب الكروني لهذه المكونات: $A = \sum_{i=1}^r A_C^i \otimes A_S^i$، حيث $r$ هي رتبة التقريب منخفض الرتبة.
• تقليل التعقيد: يقلل هذا النهج من التعقيد الحوسبي من $O(N^2C^2D)$ إلى $O(r(N^2d_1 + C^2d_2 + NCD))$، حيث $d_1$ و $d_2$ هما الأبعاد الفرعية. وهذا يتيح نمذجة التبعيات المشتركة صراحةً دون الحاجة لحساب مصفوفة الانتباه الكاملة عبر الشبكة المكانية-الطيفية بأكملها.

2.3 الترميز الموضعي المدرك للطول الموجي (SSRoPE)

لنمذجة العلاقات الطيفية باتساق تحت تكوينات متغيرة، قدم المؤلفون الترميز الموضعي الدوار المكاني-الطيفي (SSRoPE).

• البعد المكاني: يطبق RoPE ثنائي الأبعاد القياسي على الإحداثيات المكانية $(u, v)$.
• البعد الطيفي: يطبق RoPE أحادي الأبعاد على البعد الطيفي باستخدام الأطوال الموجية الفيزيائية $\lambda$ بدلاً من مؤشرات القنوات الثابتة.
• الفائدة: يضمن هذا التصميم أن الترميز الموضعي يعكس الهيكل الفيزيائي للطيف، مما يجعل النموذج قوياً تجاه التغيرات في تغطية الطول الموجي وأخذ عينات النطاقات.

2.4 التدريب المسبق: HyperMAE

لتمكين التدريب المسبق القابل للتوسع، اقترح المؤلفون HyperMAE (المشفر التلقائي المقنع فائق الطيف):

• التقنيع المنفصل (Decoupled Masking): بدلاً من التقنيع العشوائي فوق الرموز المسطحة، يطبق HyperMAE تقنيعاً مستقلاً للرقع المكانية والقنوات الطيفية (تقنيع بنسبة 75% لكل بعد). وهذا يحافظ على الهيكل القابل للفصل المطلوب لـ LESS Attention.
• أخذ عينات القنوات الهرمي (HCS): أثناء التدريب المسبق، يتم أخذ عينة فرعية فقط من القنوات بشكل عشوائي ضمن نطاق نسبة محدد مسبقاً. وهذا يقلل من تكلفة الذاكرة والحوسبة لفك التشفير من أجل إعادة البناء الكثيفة مع الحفاظ على التعرض لمدخلات متنوعة من القنوات الجزئية. أثناء الضبط الدقيق والاستدلال، يتم إزالة فك التشفير، ويعالج النموذج مدخلات القنوات الكاملة بكفاءة.

3. المساهمات الرئيسية

1. LESS Attention: تحليل هيكلي منخفض الرتبة للانتباه المكاني-الطيفي يقلل من تعقيد نمذجة التفاعلات المشتركة من الدرجة التربيعية إلى ما يقرب من الخطية بالنسبة لعدد القنوات، مما يتيح النمذجة الصريحة على نطاق واسع.
2. بنية LESSViT: نموذج ViT غير مرتبط بالقنوات مع تضمينات رقع مترابطة وترميز موضعي مدرك للطول الموجي (SSRoPE)، مصمم للنمذجة المتسقة والمتينة تحت تكوينات طيفية متغيرة.
3. تدريب HyperMAE المسبق: إطار عمل للتعلم الذاتي المسبق مصمم خصيصاً مع تقنيع مكاني-طيفي منفصل وأخذ عينات قنوات هرمي، مما يجعل التدريب قابلاً للتطبيق للبيانات عالية الأبعاد.
4. معيار التعميم عبر الأطياف: إنشاء بروتوكول تقييم صارم على معيار SpectralEarth الذي يحاكي التباين عبر المستشعرات (التحول الطيفي، الأطوال الموجية غير المرئية، وتوسع القنوات) لتقييم التعميم بشكل منهجي.

4. النتائج التجريبية

قيم المؤلفون LESSViT على معيار SpectralEarth، حيث تم التدريب على تكوين ثابت ($C_{120VNIR+}$$) والاختبار عبر أربعة سيناريوهات: داخل التوزيع، التحول الطيفي، الأطوال الموجية غير المرئية، وتوسع القنوات.

• المتانة تجاه التحول الطيفي: تفوق LESSViT باستمرار على النماذج المرجعية (مثل SpectralViT و DOFA و HyperSigma) في الإعدادات خارج التوزيع. على سبيل المثال، في حالة "الأطوال الموجية غير المرئية" ($C_{82}$)، أظهر LESSViT انخفاضاً أقل بكثير في الأداء مقارنة بـ SpectralViT، الذي عانى من انخفاضات تصل إلى 90% في مهام معينة.
• أداء داخل التوزيع: بينما حقق SpectralViT أعلى أداء في إعدادات داخل التوزيع (على الأرج Round لتخصصه في القنوات الثابتة وحجم الرقع الأصغر)، ظل LESSViT منافساً، حيث احتل المركز الثاني في معظم الحالات.
• الكفاءة والقابلية للتوسع: أظهر LESSViT زمن استجابة (latency) يقترب من الثبات مع زيادة عدد القنوات. وفي المقابل، أظهرت النماذج المرجعية التي تستخدم الانتباه الكامل الصريح (مثل ChannelViT) زيادة سريعة في زمن الاستجابة وفشلت (خروج عن الذاكرة - Out-of-Memory) عند أعداد قنوات عالية (مثل $C=200$).
• دراسات الاستئصال (Ablation Studies): أدى إزالة SSRoPE أو استخدام ترميز SIREN القياسي إلى تدهور الأداء، خاصة في مهام التجزئة، مما يؤكد أهمية الترميز المدرك للطول الموجي. كما تبين أن أخذ عينات القنوات الهرمي يحسن كفاءة التدريب (تقليل الوقت بنسبة 17%) مع تأثير ضئيل على أداء المهام اللاحقة.

5. الأهمية والادعاءات

يزعم البحث أن النمذجة المكانية-الطيفية الصريحة والفعالة ضرورية لتعلم التمثيل فائق الطيف القابل للتوسع والتعميم.

• معالجة المقايضة: نجح LESSViT في التوفيق بين الكفاءة والقدرة التعبيرية. فهو يتجنب المحظورات الحوسبية للانتباه المكاني-الطيفي الكامل ويتغلب على قيود النمذجة الطيفية الضمنية في نماذج ViTs القياسية.
• المرونة تجاه المستشعرات: من خلال فصل التكلفة الحوسبية عن أبعاد القنوات واستخدام ترميز الطول الموجي الفيزيائي، يوفر LESSViT مساراً لتمكين النماذج من التعميم عبر مستشعرات مختلفة دون الحاجة لإعادة التدريب لكل تكوين محدد.
• القيود: يقر المؤلفون بتواضع بأن التعميم على تكوينات طيفية غير مرئية تماماً أو نادرة جداً لا يزال يمثل تحدياً. علاوة على ذلك، بينما يعد LESS Attention خطياً في التعقيد، فإن تقليل حجم الرقع لتحسين جودة التجزئة لا يزال يستحدث أعداداً كبيرة من الرموز، مما قد يكون مكلفاً حوسبياً حتى مع الطريقة المقترحة.

في الختام، يقدم LESSViT حلاً قابلاً للتوسع للتعميم عبر الأطياف، موضحاً أن التحليل الهيكلي منخفض الرتبة والتصميم غير المرتبط بالقنوات أمر بالغ الأهمية لتعلم تمثيل فائق الطيف متين.