LDMFNet: A Lightweight Dual-Modal Fusion Network for Accurate Multispectral Object Detection

تخيل أنك تحاول رصد صديق لك في حديقة مزدحمة وضبابية في الليل. إذا كنت تملك فقط مصباحاً يدوياً عادياً (مثل الكاميرا القياسية)، فقد ترى شكله، لكن الضباب سيجعل من الصعب معرفة ما إذا كان يرتدي سترة حمراء أم زرقاء. وإذا كنت تملك فقط نظارات رؤية ليلية تستشعر الحرارة (مثل كاميرا الأشعة تحت الحمراء)، فستتمكن من رؤية جسده الدافئ بوضوح مقابل الخلفية الباردة، لكنك لن تستطيع رؤية وجهه أو ما يحمله. هذه هي المشكلة الكلاسيكية لـ "الرؤية أحادية النمط": الاعتماد على نوع واحد فقط من الحواس غالباً ما يتركك في حيرة من أمرك في الظروف الصعبة.

لحل هذه المشكلة، بدأ العلماء في مجال الرؤية الحاسوبية ببناء "عيون ثنائية النمط" للروبوتات والسيارات ذاتية القيادة. تحاول هذه الأنظمة دمج الألوان والأنسجة الغنية للصور العادية مع قوة صور الأشعة تحت الحمراء التي تستشعر الحرارة. الأمر يشبه منح الآلة عيني محقق يمتلك صورة عالية الدقة ومسحاً حرارياً في آن واحد. الهدف هو جعل الآلات قادرة على الرؤية بوضوح سواء كان الوقت شديد الظلمة، أو مشمساً بشكل مبهر، أو مليئاً بالضباب الكثيف. ومع ذلك، هناك عقبة: دمج هذين التدفقين القويين من المعلومات يتطلب عادةً "دماغاً" حاسوبياً ضخماً وثقيلاً لمعالجة كل شيء، مما يبطئ العملية ويجعل من الصعب وضع هذه الأنظمة على الطائر بدون طيار (الدرونز) الصغيرة أو السيارات. السؤال الكبير هو: هل يمكننا الحصول على أفضل ما في العالمين — رؤية فائقة الدقة دون الحاجة إلى حاسوب ثقيل وبطيء؟

هذا هو بالضبط ما سعى الباحثون وراء نظام LDMFNet لاكتشافه. إنهم يقترحون طريقة "خفيفة الوزن" لدمج هذين النوعين من الرؤية. فبدلاً من بناء دماغ ضخم وخرقاء للتعامل مع البيانات، صمموا نظاماً أذكى وأكثر رشاقة يعمل كفريق عالي الكفاءة من المتخصصين.

المشكلة مع النهج "الثقيل"

في الماضي، كان محاولة دمج الضوء المرئي (RGB) وصور الأشعة تحت الحمراء (IR) يعني غالباً استخدام شبكتين عصبيتين منفصلتين وثقيلتين تعملان جنباً إلى جنب. كان الأمر يشبه توظيف خبيرين مختلفين للنظر في نفس المشهد ثم إجبارهما على الجدال حول كل تفصيل صغير قبل اتخاذ القرار. خلقت هذه العملية الكثير من "ارتباك الميزات" وتطلبت قدراً هائلاً من قدرة الحوسبة، مما جعلها بطيئة ومكلفة للتشغيل في الوقت الفعلي. ويرى المؤلفون أن مجرد إلقاء المزيد من قدرة الحوسبة على المشكلة ليس هو الحل الصحيح؛ بل نحتاج إلى طريقة أذكى للسماح لنوعي الصور بالتواصل مع بعضهما البعض دون التباطؤ.

الحل: فريق رشيق من المتخصصين

قدم المؤلفون LDMFNet (شبكة دمج ثنائية النمط خفيفة الوزن)، وهي مبنية على هيكل ذكي يسمونه Lightweight-Dual-CSPDarknet. فكر في هذا كخط إنتاج انسيابي. بدلاً من معالجة كل تفصيل باستخدام مطرقة ثقيلة، يقومون بـ "تقليم" القنوات (مثل قطع الأسلاك غير الضرورية في دائرة كهربائية) في البداية تماماً. هذا يقلل فوراً من عدد العمليات الحسابية المطلوبة، مما يجعل النظام أسرع بكثير دون فقدان قدرته على الرؤية.

بمجرد دخول الصور إلى النظام، لا يقومون بمزج الصورتين معاً فوراً. سيكون ذلك مثل محاولة خلط الزيت والماء على أمل أن يمتزجا بشكل مثالي. بدلاً من ذلك، يستخدم النظام وحدة خاصة تسمى DOIM (وحدة تجميع تفاعل ميزات التفاصيل والحدود). هذه الوحدة هي قلب الاختراع، وهي تعمل عبر خطوتين مميزتين وممتعتين:

1. "انتباه القناة المتصلة بالقفز" (SCCA): تخيل أن لديك صديقين، أحدهما بارع في رصد التفاصيل الصغيرة (مثل شامة على الوجه) والآخر بارع في رؤية الشكل العام (مثل شكل سيارة). تسمح وحدة SCCA لهما بالعمل بشكل مستقل أولاً، حتى لا يصابا بالارتباك. ثم، تستخدم "اتصالاً متصلاً بالقفز" (skip connection) — وهو نوع من المصعد السريع — لنقل أفضل رؤاهما لبعضهما البعض. هذا يسمح للنظام بوزن أهمية الميزات المختلفة دون القيام بالعمل الشاق لدمج كامل ومعقد في البداية. إنه يشبه وجود مدير ذكي يعرف تماماً متى يستمع لمسؤول التفاصيل ومتى يستمع لمسؤول الخطوط العريضة، مما يضمن عدم فقدان أي دليل مهم.

2. "الانتباه المكاني متعدد المقاييس" (MSSA): بعد أن يشارك التدفقان رؤاهما، تتدخل وحدة MSSA. هذا الجزء من النظام يشبه مجموعة من العدسات المكبرة ذات الأحجام المختلفة. فهو ينظر إلى الصورة المدمجة من خلال عدسات متنوعة (باستخدام أحجام نواة مختلفة مثل 1x7 و 1x11 و 1x21) لالتقاط الأجسام بجميع أحجامها، من طائر صغير إلى شاحنة ضخمة. ومن خلال استخدام "التلافيف المنفصلة بعمق"، يقوم النظام بهذا المسح بكفاءة عالية، مما يوفر الطاقة مع ضمان عدم تفويت أي شيء.

ماذا وجدوا؟

اختبر الباحثون نظامهم الجديد على ثلاثة مجموعات بيانات من العالم الحقيقي: LLVIP (للمشاة)، و DroneVehicle (للسيارات كما تُرى من الجو)، و FLIR (للصور الحرارية). وكانت النتائج واعدة للغاية.

في مجموعة بيانات DroneVehicle، والمتعلقة برصد المركبات من منظور جوي، حققت طريقتهم درجة mAP (وهي درجة تقيس مدى دقة الكشف) بلغت 81.1. كانت هذه قفزة هائلة مقارنة بالطرق الأخرى (التي تعتمد على كاميرا واحدة فقط - RGB)، حيث تفوقت على أفضل طرق الكاميرا الواحدة بنسبة 15.4 نقطة مئوية، بل وتفوقت أيضاً على أفضل الطرق الثنائية الكاميرا الموجودة حالياً بنسبة 9.7 نقطة مئوية.

وفي مجموعة بيانات LLVIP الخاصة برصد الأشخاص، وصل نموذجهم إلى mAP@50 قدره 95.8 و mAP@50:90 قدره 60.8. والمثير للإعجاب حقاً هو أنهم حققوا ذلك بحجم نموذج صغير جداً يبلغ 2.38 مليون معلمة فقط وتكلفة حوسبة تبلغ 6.2 GFLOPs. ولتضع ذلك في الاعتبار، فإن العديد من النماذج عالية الأداء تتطلب "قدرة دماغية" أكبر بكثير لتحقيق درجات مماثلة أو حتى أقل.

لماذا يهم هذا الأمر؟

تشير الورقة البحثية إلى أنه من خلال التصميم الدقيق لكيفية تفاعل نوعي الصور — من خلال إبقائهما منفصلين بما يكفي لتجنب الارتباك، ومتصلين بما يكفي لمشاركة نقاط القوة — يمكننا بناء أنظمة رؤية تكون دقيقة للغاية وسريعة بشكل مدهش. وجد المؤلفون أن وضع وحدة التفاعل الخاصة بهم في مراحل محددة (الطبقات P3 و P4 و P5) كان أمراً حاسماً؛ فوضعها في وقت مبكر جداً أو متأخر جداً لم يكن فعالاً بنفس القدر.

باختم القول، يظهر نظام LDMFNet أنك لست بحاجة إلى كمبيوتر ضخم وبطيء لترى بوضوح في الظلام أو الضباب. فمع القليل من الهندسة الذكية، يمكن لنظام خفيف الوزن أن يعمل كـ "محقق خارق"، يجمع بين أفضل ما في الرؤية والحرارة لرصد الأجسام بدقة عالية، مما يجعله مرشحاً قوياً للاستخدامات الواقعية مثل السيارات ذاتية القيادة وعمليات تفتيش الطائرات بدون طيار.