Enhancing Vehicle Detection under Adverse Weather Conditions with Contrastive Learning

ملخص تقني: تعزيز اكتشاف المركبات في الظروف الجوية القاسية باستخدام التعلم التبايني

1. بيان المشكلة

يواجه اكتشاف المركبات باستخدام الطائرات بدون طيار (UAVs) في مناطق نوردية عدة تحديات حرجة:

• العوائق البصرية: أهداف صغيرة ومتفرقة، زوايا رؤية علوية، ومعالم بصرية ضعيفة.
• الظروف الجوية القاسية: تغطية الثلوج وتغير الغطاء السحابي يخلقان "انزياحات نطاق" (domain shifts) كبيرة، حيث تندمج المركبات مع الخلفية، مما يقلل من الرؤية.
• ندرة البيانات: بينما يسهل جمع بيانات الفيديو غير المصنفة عبر رحلات الدرون، فإن التصنيف اليدوي (مربعات الإحاطة) مكلف للغاية ويستغرق وقتاً طويلاً.
• قصور النماذج: غالباً ما تعاني النماذج خفيفة الوزن الموجودة (مثل عائلة YOLO) من ضعف التعميم عند مواجهة هذه الفجوات البيئية المحددة.

2. المنهجية

يقترح المؤلفون إطار عمل التكيف بالتعلم التبايني الجانبي (SCLA). يعمل هذا الإطار في مرحلتين متميزتين للاستفادة من المعرفة العامة واسعة النطاق والبيانات غير المصنفة الخاصة بالنطاق.

المرحلة 1: التدريب المسبق باستخدام FM-PaCL
لاستغلال البيانات غير المصنفة، قدم المؤلفون التعلم التبايني لخرائط الميزات والقطع (FM-PaCL).

• الآلية: بدلاً من إجراء التعلم التبايني على الصورة بأكملها (وهو أمر غير دقيق للأجسام الصغيرة)، يقوم FM-PaCL باستخراج قطع متداخلة مباشرة من خرائط الميزات المتوسطة لمستخرج يعتمد على الشبكات العصبية التلافيفية (CNN).
• الهدف: يستخدم إعداداً توأمياً (Siamese setup) مع تعزيزات فوتومترية (تغيير السطوع، الضبابية، إل_خ) لضمان المحاذاة المكانية. يتعلم النموذج تعظيم التشابه بين القطع في نفس الموقع المكاني عبر وجهات نظر مختلفة مع تقليل التشابه مع جميع القطع الأخرى في الدفعة (فقدان InfoNCE)، مما يحافظ على المعلومات المحلية الدقيقة الضرية لاكتشاف الأجسام الصغيرة.

المرحلة 2: الضبط الدقيق باستخدام دمج الميزات التكيفي
يتم "تحميل" الشبكة التلافيفية الجانبية المدربة مسبقاً في بنية YOLO11n.

• نهج العمود الفقري المزدوج: يستخدم النموذج عمودين فقريين: العمود الفقري YOLO11n المجمد (الذي يحتفظ بالمعرفة العامة من تدريب COCO) والعمود الفقري الجانبي المجمد (الذي يحتفظ بالمعرفة الخاصة بالنطاق من بيانات NVD غير المصنفة).
• الدمج الديناميكي (بوابة SE): لدمج هاتين المجموعتين المختلفتين من الميزات، طبق المؤلفون بوابة التضييق والاستثارة (SE gating). تعمل آلية الانتباه الذاتي هذه على مستوى القنوات لوزن أهمية كل قناة من العمود الفقري الجاني بشكل تكيفي، مما يسمح للنموذج بالتركيز على ميزات النطاق المحدد فقط عندما تكون مفيدة للمهمة.
• دقة الدمج: وجد المؤلفون أن دمج الميزات فقط في نهاية العمود الفقري هو الأكثر فعالية، حيث إن الدمج عند كل كتلة (blockwise fusion) يؤدي إلى إدخال الضجيج ويعطل التعلم الهرمي للعمود الفقري الأساسي.

3. المساهمات الرئيسية

1. إطار عمل SCLA: إطار عمل مبتكر من مرحلتين يدمج بفعالية التعلم الخاضع للإشراف الذاتي من البيانات غير المصنفة مع الضبط الدقيق الخاضع للإشراف.
2. منهلة FM-PaCL: نهج تعلم تبايني على مستوى القطع يُطبق على خرائط الميزات بدلاً من البكسلات الخام، وهو مُحسّن خصيصاً لتمثيل الأجسام الصغيرة في صور الطائرات بدون طيار.
3. تكامل المعرفة المستقر: طريقة لحل مشكلة "النسيان الكارثي" عن طريق تجميد كل من العمود الفقري المدرب مسبقاً على COCO والعمود الفقري الجانبي المدرب مسبقاً على NVD، باستخدام البوابة الديناميكية لدمج معرفتهما.

** 4. النتائج**

• تحسن الأداء: في مجموعة بيانات المركبات النوردية (NVD)، حقق إطار SCLA تحسناً في mAP50 بنسبة 8.9% مقارنة بنموذج YOLO11n الأساسي.
• القوة والصلابة: في "تقسيم عملي" أكثر صرامة (حيث تكون فيديوهات التدريب والاختبار مختلفة تماماً)، حافظ النموذج على أداء عالٍ، مما أظهر قدرة فائقة على التعميم في بيئات جديدة مقارنة بالنموذج الأساسي الذي شهد انخفاضاً كبيراً.
• رؤى تحليل الاستئصال (Ablation Insights):
  • كل من التدريب المسبق على COCO والتدريب المسبق غير المصنف على NVD ضروريان؛ فاستخدام أحدهما فقط يؤدي إلى أداء أقل.
  • تفوقت بوابة SE على طرق الدمج الأخرى (الجمع، الأوزان القابلة للتعلم، Zero-Conv).

5. الأهمية

يوفر هذا البحث مساراً عالي الكفاءة لنشر الذكاء الاصطناعي القوي على الأجهزة الطرفية (مثل الطائرات بدون طيار). ومن خلال إثبات أن البيانات غير المصنفة يمكن أن تعزز بشكل كبير دقة الاكتشاف في البيئات القاسية، تقدم الورقة حلاً قابلاً للتوسع لصناعات مثل النقل الذاتي، ومراقبة البنية التحتية، والبحث والإنقاذ في المناخات القاسية، حيث يمثل تصنيف البيانات عائقاً كبيراً.