ملخص تقني: CMS2-Fusion

1. بيان المشكلة

يهدف دمج الصور تحت الحمراء والمرئية إلى دمج معلومات الإشعاع الحراري من المستشعرات تحت الحمراء مع التفاصيل المكانية والنسيج الغني للكاميرات المرئية في تمثيل واحد شامل. وبينما حققت طرق التعلم العميق تقدماً في هذا المجال، إلا أن النهج الحالي غالباً ما يتبع نموذج "الترميز ثم الدمج" (encode-then-fuse). في هذه الطرق، تتم معالجة الأنماط تحت الحمراء والمرئية عبر فروع شبكية منفصلة (باستخدام CNN أو Transformers أو نماذج تعتمد على Mamba) دون أي تبادل للمعلومات خلال مرحلة الترميز. ويتم تأجيل التفاعل بين الأنماط حتى مرحلة الدمج النهائية، عادةً عبر عملية دمج بسيطة مثل التجميع (concatenation) أو المتوسط الحسابي.

ويرى المؤلفون أن هذا الفصل يفشل في استغلال الإمكانات الكاملة لـ نماذج فضاء الحالة (SSMs)، وتحديداً نموذج Mamba. في Mamba، تلتقط الحالات الخفية (hidden states) السياق المكاني بشكل طبيعي من خلال انتقالات الحالة. ومن خلال إبقاء الأنماط معزولة أثناء الترميز، تفوت هذه الطرق فرصة تعلم تمثيلات مقترنة دلالياً على مستوى انتقال الحالة، مما قد يحد من قدرة النموذج على حل الاختلافات الجوهرية بين الأنماط (مثل انخفاض الدقة في الأشعة تحت الحمراء مقابل انخفاض الرؤية في الضوء المرئي تحت الإضاءة الضعيفة).

2. المنهجية: CMS2-Fusion

يقترح البحث إطار عمل CMS2-Fusion (الاقتران المتبادل للأنماط في فضاء الحالة)، وهو إطار عمل ينقل النموذج من "الترميز ثم الدمج" إلى "الترميز كعملية اقتران" (encoding-as-coupling). الابتكار الجوهلي هو آلية تسمح للحالات الخفية لكلا النمطين بالتفاعل ديناميكياً أثناء عملية الترميز داخل كتل Mamba.

المكونات الرئيسية:

• كتلة الرؤية المقترنة (CoupledVisionMambaBlock):

  • بدلاً من المسارات المستقلة، يتم إسقاط خرائط السمات تحت الحمراء ($I_{IR}$) والمرئية ($I_{VIS}$) في فضاء حالة مشترك.
  • يتم تعديل تحديثات الحالة لكل نمط لتشمل حداً من النمط الآخر، مسبوقاً بـ معامل اقتران قابل للتعلم ($\lambda$).
  • معادلات التحديث هي:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • هنا، يتم تهيئة $\lambda$ بقيمة 0.3 ويتم تعلمها أثناء التدريب للتحكم في قوة التفاعل بشكل تكيفي. ويمثل $P$ مصفوفات الإسقاط القابلة للتعلم.
  • يضيف هذا التصميم عبئاً ثابتاً صغيراً فقط مقارنة بنموذج Mamba القياسي، محافظاً على التعقيد الخطي $O(L)$.

• مشاركة المعلمات (Parameter Sharing):

  • داخل كل كتلة، يتشارك النمطان معلمات Mamba الأساسية (مصفوفة انتقال الحالة $A$ ومعلمات الإسقاط الانتقائية).
  • تظل إسقاطات المدخلات ($P_{IR}, P_{VIS}$) والإسقاطات المتبادلة بين الأنماط ($P_{VIS \to IR}, P_{IR \to VIS}$) خاصة بكل نمط.
  • تقلل هذه الاستراتيجية إجمالي عدد المعلمات بنسبة 13% مقارنة بالنموذج المرجعي غير المقترن.

• البنية الهيكلية:

  • المُرمِّز (Encoder): هيكل هرمي ثلاثي المراحل حيث تتكون كل مرحلة من كتل Mamba مقترنة. تعمل عملية دمج الرقع (Patch merging) على تقليل الدقة المكانية مع زيادة عمق القنوات.
  • وحدة الدمج (Fusion Module): تقع عند أعمق مستوى للسمات (دقة 16x16)، وتستخدم آلية انتباه مكاني لوزن السمات بناءً على "النشاط" المحلي (L2 norm لمتجهات السمات)، مما يخصص تلقائياً أوزانًا أعلى للمناطق الحرارية البارزة في الأشعة تحت الحمراء والمناطق الغنية بالنسيج في الضوء المرئي.
  • المُفكِّك (Decoder): يقوم مُفكك مرتبط بالوصلات المتخطية (skip-connected) بإعادة بناء الصورة إلى دقتها الأصلية. تستخدم الوصلات المتخطية المتوسط الحسابي للسمات المقترنة، حيث تم تحقيق المحاذاة الدلالية بالفعل أثناء الترميز.

• دالة الفقد (Loss Function):

  • يتم تدريب النموذج باستخدام فقد مركب: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • تحافظ $\mathcal{L}_{L1}$ على السطوع والتباين.
  • تضمن $\mathcal{L}_{edge}$ الحفاظ على مقدار التدرج.
  • تفرض $\mathcal{L}_{SSIM}$ التشابه الهيكلي.

3. المساهمات الرئيسية

1. الاقتران المتبادل للأنماط في فضاء الحالة: يقدم البحث آلية اقتران متبادلة للأنماط داخل كتل ترميز Mamba، مما يسمح بالتفاعل على مستوى الحالات الخفية أثناء الترميز بدلاً من تأجيله لمرحلة الدمج. وبينما توجد طرق دمج سابقة تعتمد على Mamba (مثل CrossMamba)، فإن هذا العمل يستهدف تحديداً الاقتران على مستوى انتقال الحالة داخل مرحلة الترميز.
2. تصميم فعال في استخدام المعلمات: من خلال مشاركة معلمات SSM عبر الأنماط، يحقق النموذج انخفاضاً بنسبة 13% في المعلمات (8.4 مليون مقابل 9.6 مليون) مقارنة بنموذج Mamba غير المقترن، مع تقليل مخاطر الإفراط في التخصيص (overfitting).
3. تغيير النموذج (Paradigm Shift): يقترح العمل تحولاً من الترميز المستقل إلى الترميز المقترن، موضحاً أن انتقالات الحالة يمكن استخدامها لنمذجة التبعيات بين الحرارة والنسيج بشكل مباشر.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات MSRS (1,083 زوج تدريب، 361 زوج اختبار).

• الأداء الكمي:

  • $Q_{abf}$ (جودة الدمج): حقق CMS2-Fusion قيمة 0.7704، متفوقاً على طريقة CNN الكلاسيكية DenseFuse (0．4525) بنسبة 70.3% وعلى نموذج Mamba غير المقترن (0.7589) بنسبة 1.51%.
  • مقاييس المعلومات: زادت المعلومات المتبادلة (MI) بنسبة 9.2% (3.0548) والاعتلاج (EN) بنسبة 11.2% (6.6281) مقارنة بـ DenseFuse.
  • الحفاظ على التفاصيل: تحسن التردد المكاني (SF) بنسبة 87.7% ومتوسط التدرج (AG) بنسبة 85.2% عن DenseFuse، مما يشير إلى تفوق في الحفاظ على الحواف والنسيج.
  • SSIM: أظهر المقياس انخفاضاً طفيفاً من 0.6693 (DenseFuse) إلى 0.6562. ويعزو المؤلفون ذلك إلى المقايضة المتأصلة بين الحفاظ على البروز الحراري والدقة الهيكلية للمرئي، مشيرين إلى أن القيمة تظل ضمن نطاق عالٍ. مقارنة بالنموذج المرجعي غير المقترن، تحسن SSIM بنسبة 0.94% (من 0.6501 إلى 0.6562).

• الدراسات الاستئصالية (Ablation Studies):

  • مشاركة المعلمات: بالانتقال من النموذج المرجعي غير المقترن إلى نموذج مقترن بدون تفاعل، تحسنت $Q_{abf}$ بمقدار 0.0085 وانخفضت المعلمات بنسبة 13%.
  • التفاعل: وفر تمكين معامل الاقتران القابل للتعلم ($\lambda$) زيادة إضافية في $Q_{abf}$ قدرها 0.0030.
  • تقارب المعامل: استقر $\lambda$ القابل للتعلم عند حوالي 0.3646، مما يشير إلى توازن أمثل بين الاحتفاظ بخصوصية كل نمط والتفاعل المتبادل بين الأنماط.

• الكفاءة:

  • زمن الاستدلال: 41.3 مللي ثانية لكل صورة على NVIDIA RTX 4090 (مماثل لـ 42.7 مللي ثانية للنموذج المرجعي).
  • العمليات الحسابية (FLOPs): 46.1G، وهي أقل من النموذج المرجعي (48.3G).

5. الأهمية والادعاءات

يزعم البحث أن CMS2-Fusion يمثل تحولاً في النموذج في مجال الدمج متعدد الأنماط. فمن خلال تقديم الاقتران المتبادل للأنماط على مستوى انتقال الحالة، يتجاوز هذا النهج قيود بنيات "الترميز ثم الدمج". ويؤكد المؤلفون أن هذا النهج يسمح للشبكة بتعلم تمثيلات مقترنة دلالياً بشكل أكثر دقة في وقت مبكر من خط المعالجة، مما ينتج صوراً مدمجة تحافظ بشكل أفضل على كل من البروز الحراري ودقة النسيج.

يتميز هذا العمل عن طرق الدمج الأخرى المعتمدة على Mamba (مثل CrossMamba و FusionMamba وغيرها) بكونه الأول الذي يطبق التفاعل المتبادل لفضاء الحالة خصيصاً أثناء مرحلة الترميز. وبينما تستخدم الأعمال السابقة Mamba لاستخراج السمات، فإنها تحافظ على مسارات مستقلة حتى مرحلة الدمج؛ أما CMS2-Fusion فيدمج الأنماط مباشرة ضمن انتقالات الحالة في المُرمِّز. ويوضح المؤلفون أن مشاركة معلمات SSM وتمكين التفاعل الديناميكي للحالة يؤدي إلى أداء متفوق بعدد أقل من المعلمات، مما يجعله مرشحاً قوياً للنشر على الأجهزة الطرفية (edge deployment).

وتشمل الأعمال المستقبلية التي اقترحها المؤلفون الاقتران المتكيف مع الطبقات والمكان، بالإضافة إلى توسيع إطار العمل ليشمل مهام أخرى متعددة الأنماط مثل دمج الصور الطبية.