ملخص تقني: إعادة التفكير في كفاءة "خليط الخبراء" لتصنيف الاستشعار عن بعد في حالات فقدان الأنماط (Modality-Missing)

1. تعريف المشكلة

يعتمد التصنيف متعدد الأنماط في الاستشناء عن بعد على مصادر بيانات متكاملة (مثل: البصري، SAR، الطيفي الفائق، LiDAR) لتحقيق مراقبة قوية للأرض. ومع ذلك، تعاني السيناريوهات الواقعية تكراراً من فقدان الأنماط (missing modalities) نتيجة فشل المستشعرات، أو التداخل الجوي، أو قيود الميزانية. يؤدي هذا النقص إلى تدهور حاد في أداء النماذج متعددة الأنماط التقليدية، والتي تفترض عادةً توافر جميع الأنماط بالكامل أثناء التدريب والاستنتاج على حد سواء.

تتبع الحلول الحالية عموماً نموذجاً ذا مرحلتين: تدريب نموذج على بيانات كاملة، ثم تكييفه مع سيناريوهات الفقدان عبر وحدات إضافية أو إعادة التدريب. يعاني هذا النهج من قصورين رئيسيين:

1. الأعباء الحسابية: عملية إعادة التدريب أو التكييف المتكررة لأنماط متعددة من فقدان الأنماط هي عملية غير فعالة.
2. فجوة التعميم: تفشل النماذج المدربة على بيانات كاملة في مراعاة عدم الاكتمال المتأصل في الملاحظات الواقعية، مما يحد من قدرتها على التعامل مع ظروف فقدان الأنماط غير المرئية.

بينما يوفر الضبط الدقيق الفعال للمعلمات القائم على "المحفزات" (Prompt-based PEFT) بديلاً خفيف الوزن، إلا أنه غالباً ما يتطلب نمواً أسياً في الإعدادات مع زيادة عدد الأنماط، مما يعيق القدرة على التوسع.

2. المنهجية: MaMOL

يقترح المؤلفون خليط الـ LoRA المدرك للفقدان (MaMOL)، وهو إطار عمل فعال من حيث المعلمات يعيد صياغة تعلم الأنماط المفقودة كـ مشكلة حساب مشروط. بدلاً من معاملة الأنماط المفقودة كمهمة إعادة بناء للبيانات، يستخدم MaMOL بنية "خليط الخبراء" (Mixture-of-Experts - MoE) لاختيار مسارات حسابية ديناميكية بناءً على المدخلات المتاحة.

البنية الأساسية

بُني MaMOL على نموذج (Vision Transformer - ViT) مدرب مسبقاً ومجمد. يقوم الإطار بحقن خبراء "التكيف منخفض الرتبة" (LoRA) في طبقات التغذية الأمامية، مما يفكك التحويل إلى ثلاثة مكونات مهيكلة:
$$f(z, m) = f_{shr}(z) + f_{mod}(z, m) + f_{pat}(z, m)$$
حيث $z$ هو التمثيل المدخل و $m$ هو مؤشر توافر النمط.

يستخدم الإطار آلية توجيه مزدوجة تتكون من فئتين متكاملتين من الخبراء:

1. الخبراء الثابتون (المستقلون عن النمط والخاصون به):

   • الخبير المشترك: يتم تفعيله دائماً لترميز المعرفة المستقلة عن النمط والمشتركة عبر جميع السيناريوهات، مما يضمن الاستقرار العالمي.
   • الخبراء الخاصون بالنمط: يتم تفعيلهم فقط عندما يكون النمط المقابل موجوداً ($\alpha_i = m_i$). هؤلاء يحافظون على الأولويات المعتمدة على النمط ويضمنون استقرار محاذاة الميزات عند توافر مستشعرات معينة.

2. الخبراء الديناميكيون (المدركون للأنماط):

   • مجموعة من $K_d$ من الخبراء الذين يتخصصون تكيفياً في تكوينات أنماط الفقدان المختلفة.
   • آلية التوجيه: على عكس الـ MoE القياسي، يدمج الموجه (Router) صراحةً كلاً من المحتوى الدلالي للمدخل ($z$) وتكوين النمط المفقود ($\psi(m)$). يقوم باختيار أفضل $K$ من الخبراء عبر دالة بوابة:
     $$g = \text{TopK}(\text{softmax}(W \phi([z; \psi(m)])))$$
   • يسمح هذا للنموذج بتعلم تكييفات محددة لأنماط الفقدان (مثل: "فقدان HS فقط" مقابل "فقدان LiDAR فقط") دون الحاجة لإعادة التدريب.

كفاءة المعلمات

من خلال استخدام تقنية LoRA (التكيف منخفض الرتبة)، يقدم MaMOL عدداً ضئيلاً من المعلمات القابلة للتدريب. يتم تفكيك الخبراء إلى مصفوفات منخفضة الرتبة ($A \in \mathbb{R}^{r \times d}, B \in \mathbb{R}^{d \times r}$ حيث $r \ll d$)، مما يتيح توحيد $2^M - 1$ من تركيبات الأنماط الممكنة ضمن بنية نموذج واحدة.

3. المساهمات الرئيسية

1. إعادة صياغة المشكلة: تعيد الورقة صياغة تعلم الأنماط المفقودة في الاستشعار عن بعد كـ مشكلة اختيار خبير مشروط، مما يقدم أول دراسة منهجية لنماذج MoE تحت إعدادات متنوعة لفقدان الأنماط.
2. إطار عمل MaMOL: تقديم إطار عمل MoE فعال من حيث المعلمات وذو توجيه مزدوج يوحد سيناريوهات متعددة لفقدان الأنماط. يقوم الإطار بفصل المعرفة المشتركة المستقلة عن النمط عن التكييفات الديناميكية المدركة للنمط.
3. التحقق التجريبي: تُظهر التجارب المكثفة أن MaMOL يحسن بشكل كبير من المتانة والتعميم تحت سيناريوهات متنوعة لفقدان الأنماط مع حد أدنى من الأعباء الحسابية. كما ثبت أن الإطار قابل للتوسع ليشمل مهام الصور الطبيعية، مما يؤكد قابليته للتطبيق عبر المجالات.

4. النتائج التجريبية

قيم المؤلفون MaMOL على ثلاث مجموعات بيانات عامة متعددة الأنماط للاستشعار عن بعد: Houston2013 (HS + LiDAR)، Trento (HS + LiDAR)، و Augsburg (HS + SAR).

• الأداء: تفوق MaMOL باستمرار على النماذج المرجعية المتطورة (بما في ذلك MMP، وDCP، ومتغيرات MoE مثل Moerep، وMoeada، وMoetask) عبر جميع معدلات الفقدان (50%، 70%، 90%) وتكوينات الفقدان.
  • في مجموعة بيانات Houston2013 مع معدلات فقدان 50%، حقق MaMOL دقة إجمالية (OA) بلغت 98.40% (مقابل 97.60% لأفضل نموذج تالٍ)، وبلغت 88.00% في سيناريو (50% تدريب / 100% اختبار)، متفوقاً بشكل ملحوظ على النماذج المرجعية التي انخفضت إلى حوالي 83-85%.
  • في Augsburg، حيث الاختلافات بين الأنماط كبيرة، أظهر MaMOL مزايا واضحة، محققاً 79.05% OA مقارنة بـ 78.57% لأفضل نموذج مرجعي تحت معدلات فقدان 50%.
• التعميم: أكدت تجارب النقل على مجموعة بيانات الصور الطبيعية MM-IMDb أن MaMğu generalizes (يتعمم) خارج نطاق الاستشعار عن بعد، محققاً أعلى درجات F1-Macro عبر جميع تقسيمات التدريب والاختبار.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الخبراء الديناميكيين إلى انخفاض كبير في الأداء، مما يؤكد دورهم في التكيف مع أنماط الفقدان.
  • أدت إزالة الخبراء الثابتين إلى تقليل الاستقرار، مما يسلط الضوء على أهميتهم في الحفاظ على المعرفة المستقلة.
  • وضع الخبراء في آخر ست طبقات من Transformer أعطى أفضل النتائج، مما يشير إلى أن التوجيه الدينمايكي أكثر فعالية في نمذجة التفاعلات عالية المستوى بين الأنماط.

5. الأهمية والادعاءات

تدعي الورقة أن MaMOL يقدم حلاً خفيف الوزن، وقوياً، وقابلاً للتوسع لعدم اكتمال تعدد الأنماط في الواقع. من خلال معاملة فقدان الأنماط كمشكلة حساب مشروط بدلاً من مشكلة إعادة بناء البيانات، أثبت المؤلفون أن:

• بنيات MoE يمكنها بطبيعتها التكيف مع سيناريوهات متنوعة لفقدان الأنماط دون الحاجة لإعادة تدريب منفصلة أو إعدادات محفزات أسية.
• فصل الخبراء المشتركين والديناميكيين يسمح بنقل مستقر للمعرفة مع الحفاظ على المرونة لأنماط الفقدان المحددة.
• النهج قابل للتوسع، وقادر على التعامل مع تركيبات معقدة متعددة الأنماط (تصل إلى ثلاثة أنماط في التجارب) والانتقال إلى مجالات الصور الطبيعية.

يضع هذا العمل MaMOL كخطوة نحو بناء أنظمة تعلم متعددة الأنماط مدركة للفقدان وقابلة للتعميم، مما يعالج التحدي الجوهري المتمثل في الموثوقية في تطبيقات الاستشعار عن بعد المقيدة بالمستشعرات.