ملخص تقني: UNIV – نموذج أساسي موحد للأنماط المرئية وتحت الحمراء

1. بيان المشكلة

أدت التطورات الأخيرة في النماذج الأساسية إلى نتائج مثيرة للإعجاب في مهام النمط الواحد لكل من المجالات المرئية (RGB) وتحت الحمراء (IR). ومع ذلك، لا تزال هناك "فجوة عبر النماط" كبيرة عند تطبيق هذه النماذج عبر الأنماط المختلفة. يحدد المؤلفون السبب الجذري في أنه اختصار نمطي (pattern shortcut): تميل النماذج المدربة على نمط واحد إلى الاعتماد على إشارات سطحية خاصة بالمستشعر (مثل اللون والسطوع في RGB، أو الكثافة الحرارية في IR) بدلاً من البنى الدلالية الكامنة.

وبناءً على ذلك، عندما يتم تطبيق نموذج مدرب على الأشعة تحت الحمراء (IR) على بيانات مرئية (RGB)، فإنه غالباً ما يخطئ في تحديد موقع الانتباه بناءً على إشارات السطوع، والعكس صحيح. تفتقر النهج الحالية إلى مشفر موحد قادر على إنتاج ميزات متسقة دلالياً لكلا النمطين، مما يحد من القدرة على التعميم في بيئات الإدراك المتنوعة (سيناريوهات RGB فقط، أو IR فقط، أو سيناريوهات RGB-IR المشتركة).

2. المنهجية

يقترح البحث UNIV، وهو نموذج أساسي موحد مصمم لسد الفجوة بين الأنماط تحت الحمراء والمرئية. جوهر UNIV هو استراتيجية تعلم ذاتي الإشراف تسمى التعلم التبايني للرقع عبر الأنماط (PCCL).

2.1. البنية الأساسية

يستخدم UNIV مشفراً قابلاً للتدريب ($E_{train}$) ومشفر RGB مسبق التدريب ومجمد ($E_{frozen}$) تم تهيئته من نموذج مدرب مسبقاً على ImageNet (تحديداً MCMAE).

• المدخلات: صور مقترنة من النمط المرئي (RGB) وتحت الأحمر (IR).
• استخراج الميزات: يستخرج المشفر القابل للتدريب الميزات ($F^V$ للمرئي، و $F^I$ لتحت الأحمر) لكلا النمطين.
• الهدف: تعلم فضاء ميزات موحد حيث تتجمع ميزات نفس الفئة الدلالية معاً عبر الأنماط، بينما تتباعد ميزات الفئات المختلفة.

2.2. ركائز الرقع الموجهة بالانتباه (Attention-Guided Patch Anchors)

لتوجيه التعلم دون الحاجة إلى تسميات (labels) حقيقية، يستفيد UNIV من الأولويات الدلالية المشفرة في مشفر RGB المجمد ($E_{frozen}$).

• توليد التسميات الزائفة (Pseudo-Label Generation): تُستخدم خريطة الانتباه في الطبقة الأخيرة من $E_{frozen}$ المطبقة على النمط المرئي لتحديد التشابه الدلالي بين رقع الصور.
• القناع الثنائي (Binary Masking): يتم تحويل خريطة الانتباه هذه إلى مصفوفة تسميات زائفة ثنائية ($M^A$) باستخدام ثلاث قواعد:
  1. التشابه الذاتي: يتم تعيين العناصر القطرية لتكون 1.
  2. اختيار الارتباط: لكل رقعة، يتم تحديد أكثر $m$ من الرقع المترابطة (بناءً على درجات الانتباه) كعناصر إيجابية (1) حتى يتم استيفاء عتبة تراكمية $\gamma$.
  3. قمع عدم التشابه: يتم تعيين جميع المدخلات الأخرى لتكون 0.
• الركائز (Anchors): تعمل الميزات من المشفر المجمد كركائز دلالية ($F^A$) يتم محاذاة مخرجات المشفر القابل للتدريب معها.

2.3. التعلم التبايني للرقع عبر الأنماط (PCCL)

تقوم استراتيجية التحسين بمحاذاة تمثيلات المشفر القابل للتدريب مع الركائز الدلالية المحددة بواسطة $M^A$.

• الهدف: يقلل النموذج من عدم التشابه بين الأزواج السالبة (الفئات المختلفة) ويعظم التشابه بين الأزواج الموجبة (نفس الفئة) عبر الأنماط.
• دالة الخسارة: يصيغ المؤلفون الخسارة كخسارة التقاطع المتوافق الثنائي (BCE) بين مصفوفة التسميات الزائفة $M^A$ ودالة الـ sigmoid لمصفوفة التشابه المستمدة من الميزات القابلة للتدريب.
  • $L_{IA}$: يحاذي ميزات الأشعة تحت الحمراء مع الركائز.
  • $L_{VA}$: يحاذي الميزات المرئية مع الركائز (لمنع النسيان الكارثي لأداء RGB).
  • إجمالي الخسارة: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$.
• الآلية: تقوم هذه العملية بجذب الرقع ذات الصلة دلالياً معاً عبر الأنماط ودفع الرقع غير المرتبطة بعيداً، مما يعيد بناء فضاء ميزات موحد يعطي الأولوية للبنية الدلالية فوق الأنماط الخاصة بالمستشعر.

2.4. مجموعة بيانات MVIP

لدعم هذا التعلم عبر الأنماط، قدم المؤلفون MVIP (أزواج المرئي وتحت الأحمر متعددة المشاهد)، وهو معيار شامل يحتوي على 98,992 زوجاً من الصور المتوافقة بدقة.

• المصادر: تم تجميعها من خمس مجموعات بيانات عامة: FLIR-Align، وKAIST، وDroneVehicle، وLLVIP، وLasHeR.
• التغطية: سيناريوهات متنوعة تشمل القيادة في المناطق الحضرية، والمراقبة، ورؤى الطائرات بدون طيار، وتغطي كل من ظروف النهار والليل.

3. المساهمات الرئيسية

1. التعلم التبايني للرقع عبر الأنماط (PCCL): طريقة تعلم ذاتي الإشراف تقلل بشكل تكيفي الفجوة في الميزات عبر الأنماط مع تعزيز القدرة على التمييز بين الفئات باستخدام التسمات الزائفة الموجهة بالانتباه.
2. مجموعة بيانات MVIP: أكبر معيار للمقارنة بين المرئي وتحت الأحمر حتى الآن، مما يوفر أساساً متيناً للأبحاث القوية عبر الأنماط مع ما يقرب من 100 ألف زوج متوافق.
3. الأداء المتفوق (State-of-the-Art): يحقق UNIV نتائج متفوقة في مهام الأشعة تحت الحمراء مع الحفاظ على دقة تنافسية في مهام RGB.

4. النتائج التجريبية

أُجريت تجارب واسعة النطاق على مهام التجزئة الدلالية وكشف الأشياء.

4.1. التجزئة الدلالية للأشعة تحت الحمراء (MSRS-IR)

• الأداء: حقق UNIV (نسخة LoRA) نسبة 76.0 mIoU، متفوقاً على الحالة السابقة للأداء (InfMAE) بمقدار +1.7 mIoU.
• الكفاءة: تم تحقيق هذا التحسن مع تحديث 1.8 مليون معلمة فقط (حوالي 2% من إجمالي 88.7 مليون معلمة) عبر تقنية LoRA.
• التدريب المسبق الكامل: وصلت نسخة المعلمات الكاملة إلى 76.6 mIoU.

4.2. كشف الأشياء بالأشعة تحت الحمراء (M3FD-IR)

• الأداء: حقق UNIV (LoRA) نسبة 56.9 mAP و 88.7 AP50، متفوقاً على InfMAE بمقدار +0.7 mAP.
• ملاحظة: يشير المؤلفون إلى أن التدريب المسبق لجميع المعلمات أعطى نتائج كشف أقل مثالية قليلاً مقارنة بـ LoRA، ويعزون ذلك إلى الإفراط في تحسين تشابه الرقع على حساب الثراء الدلالي داخل الرقع الفردية، وهو أمر بالغ الأهمية للكشف.

4.3. مهام RGB اللاحقة

• الحفاظ على أداء RGB: حافظ UNIV على أداء تنافسي في مهام RGB، حيث حقق 79.0 mIoU في MSRS-RGB (مطابق للنموذج الأساسي) و 51.2 mIoU في ADE20K (محافظاً على 99% من قدرة MCMAE الأصلية).
• الأهمية: يثبت هذا أن UNIV نجح في بناء فضاء موحد دون التسبب في "انهيار النمط" أو النسيان الكارثي لقدرات RGB الأصلية.

4.4. تحليل فضاء الميزات

• المحاذاة: أظهر تحليل مسافة الأرض (EMD) أن UNIV حسن المحاذاة عبر الأنماط بشكل كبير، حيث تتجمع ميزات الفئة نفسها بشكل أقرب من ميزات الفئات المختلفة.
• القابلية للفصل: أكدت تصورات t-SNE أن UNIV يحقق فصلاً أفضل بين الفئات مقارنة بالنماذج أحادية النمط مثل MCMAE أو InfMAE.

5. الأهمية والادعاءات

يدعي البحث أن UNIV يقدم حلاً عاماً وقابلاً للتوسع لبناء فضاء ميزات دلالي موحد عبر الأنماط. تكمن أهميته الأساسية في معالجة مشكلة "الاختصار النمطي"، حيث تفشل النماذج في التعميم عبر الأنماط بسبب الاعتماد على إشارات المستشعر السطحية.

من خلال دمج PCCL، يعيد UNIV بناء فضاء دلالي موحد فعال يحقق:

1. محاذاة قوية عبر الأنماط: ضمان تمثيلات ميزات متسقة للأجسام الدلالية نفسها بغض النظر عن نمط المستشعر.
2. قدرة قوية على الفصل الدلالي بين الفئات: تعزيز قدرة النموذج على التمييز بين فئات الأجسام المختلفة.

يؤكد المؤلفون أن هذا النهج يسمح بـ التكيف الفعال (عبر LoRA) لمهام الأشعة تحت الحمراء دون التضحية بقدرات النموذج الأصلية في المهام المرئية، مما يوفر مساراً عملياً لنشر أنظمة إدراك قوية في ظروف الطقس والإضاءة المتنوعة. كما تم تسليط الضوء على تقديم مجموعة بيانات MVIP كمورد حيوي للأبح futuras في هذا المجال.