Automatic Labelling for Low-Light Pedestrian Detection

إليك ملخص تقني مفصل لورقة البحث بعنوان "التوسيم التلقائي للكشف عن المشاة في الإضاءة المنخفضة".

1. بيان المشكلة

يعد الكشف عن المشاة أمراً بالغ الأهمية لسلامة المركبات ذاتية القيادة (AVs) وأنظمة مساعدة السائق المتقدمة (ADAS). وبينما تعد كاميرات RGB هي المستشعر القياسي، إلا أن أداءها يتدهور بشكل كبير في ظروف الإضاءة المنخفضة أو الليلية بسبب انخفاض التباين، وعدم وضوح المعالم، والضجيج.

• العقبة: يتطلب تطوير نماذج كشف قوية للإضاءة المنخفضة كميات كبيرة من البيانات الموسومة. ويعد التوسيم اليدوي عملية مستهلكة للوقت ومكلفة، ويمثل عقبة رئيسية.
• الفجوة: مجموعات البيانات العامة المتاحة للكشف عن المشاة في الإضاءة المنخفضة محدودة، وهناك نقص في خطوط الإنتاج الفعالة والمؤتمتة لتوليد الملصقات (Labels) لصور RGB في هذه الظروف.
• الفرصة: تتميز كاميرات الأشعة تحت الحمراء (IR) بأنها غير متأثرة إلى حد كبير بظروف الضوء المرئي؛ حيث ينبعث من المشاة إشعاع الأشعة تحت الحمراء (الحرارة)، مما يجعل اكتشافهم أسهل في الليل مقارنة بصور RGB. ومع ذلك، تعتمد معظم المركبات ذاتية القيادة حالياً على كاميرات RGB.

2. المنهجية

يقترح المؤلفون خط إنتاج مؤتمت بالكامل لنقل التوسيم من الأشعة تحت الحمراء إلى RGB، مما يلغي الحاجة إلى التوسيم البشري اليدوي. تتكون العملية من ثلاث مراحل رئيسية:

أ. نظرة عامة على البنية

1. المدخلات: صور IR وRGB مقترنة وغير موسومة (متوافقة ومصححة هندسياً).
2. الكشف في الأشعة تحت الحمراء (IR Detection): يقوم نموذج كشف مشاة مدرب مسبقاً (تم ضبطه بدقة على بيانات IR النهارية) باكتشاف المشاة في إطار الأشعة تحت الحمراء. يستفيد هذا النموذج من حقيقة أن الكشف بالأشعة تحت الحمراء يعمم بشكل جيد في ظروف الإضاءة المنخفضة.
3. نقل الملصقات (Label Transfer): يتم نقل صناديق الإحاطة (Bounding Boxes) المكتشفة في إطار الأشعة تحت الحمراء مباشرة إلى إطار RGB المقابل. ويعتمد هذا على إعداد جهاز KAIST المحدد حيث يتم محاذاة كاميرات IR وRGB عبر مجزئ شعاع (Beam Splitter)، مما يضمن توافقاً على مستوى البكسل دون الحاجة إلى إسقاط ثلاثي الأبعاد معقد.
4. تدريب RGB: تُستخدم ملصقات الأشعة تحت الحمراء المنقولة كـ "ملصقات تلقائية" (Autolabels) لتدريب نماذج كشف الأجسام القياسية لصور RGB في سيناريوهات الإضاءة المنخفضة.

ب. الإعداد التجريبي

• مجموعة البيانات: KAIST Multi-spectral Pedestrian Detection Benchmark.
  • تم استخدام حوالي 91.8 ألف عينة (مع استبعاد راكبي الدراجات والمجموعات البشرية للتركيز على كشف المشاة الفردي).
  • التدريب: استُخدمت تسلسلات IR النهارية لتدريب كواشف IR؛ بينما استُخدمت تسلسلات الإضاءة المنخفضة لتدريب كواشف RGB النهائية.
  • الاختبار: تسلسلات إضاءة منخفضة غير مرئية للنماذج (Sequence 09 لـ RGB، وSequence 02 لـ IR).
• النماذج التي تم تقييمها:
  • كواشف IR (للتوسيم): YOLOv11l، وFaster RCNN، وRF-DETR.
  • كواثف RGB (المخرج النهائي): نفس البنيات الثلاث التي تم تدريبها باستخدام الملصقات التلقائية.
• المعلمات (Parameters): تم اختبار عتبتين للثقة (0.25 و0.5) لتحليل المقايضة بين كمية الملصقات وجودتها.

3. المساهمات الرئيسية

1. خط إنتاج مبتكر: أول تنفيذ لخط إنتاج مؤتمت بالكامل يستخدم اكتشافات الأشعة تحت الحمراء لتوليد ملصقات لكشف المشاة في RGB عند الإضاءة المنخفضة، مما يلغي الجهد البشري تماماً.
2. القابلية للتوسع: يثبت القدرة على توليد مجموعات بيانات ضخمة لتدريب الإضاءة المنخفضة دون توسيم يدوي، مما يعالج مشكلة ندرة البيانات.
3. التحقق من الأداء: يثبت أن النماذج المدربة على هذه "الملصقات المليئة بالضجيج" يمكن أن تتفوق على النماذج المدربة على الحقائق الأرضية (Ground Truth) عالية الجودة في مقايات محددة.
4. تحليل البنية: يقدم تحليلاً مقارناً بين البنيات القائمة على المحولات (Transformer-based مثل DETR) والبنيات القائمة على الشبكات العصبية الالتفافية (CNN-based مثل YOLO وRCNN) في سياق الكشف في الإضاءة المنخفضة والتوسيم التلقائي.

4. النتائج

تم تقييم الأداء باستخدام mAP@50، وmAP@50-95، والدقة/الاستدعاء (Precision/Recall)، ومعدل الخطأ المتوسط اللوغاريتمي (LAMR).

• جودة الملصقات التلقائية:
  • حقق IR-DETR أعلى جودة للملصقات (أعلى F1 score وmAP).
  • أدى خفض عتبة الثقة من 0.5 إلى 0.25 إلى زيادة عدد الملصقات المتولدة بشكل كبير (على سبيل المثال، أنتج IR-DETR حوالي 49 ألف ملصق عند 0.25 مقابل 29 ألف عند 0.5) وحسّن بشكل عام من "الاستدعاء" (Recall) لنماذج RGB النهائية.
• أداء كشف RGB:
  • تفوق الملصقات التلقائية: تفوقت النماذج المدربة على الملصقات التلقائية على تلك المدربة على الحقائق الأرضية (GT) في 5 من أصل 6 حالات لـ mAP@50 وLAMR، وفي جميع الحالات الست لـ mAP@50-95.
  • أفضل إعداد: حقق بنية DETR المدربة على ملصقات تلقائية ناتجة عن IR-DETR عند عتبة ثقة 0.25 أفضل أداء إجمالي.
• النتيجة الرئيسية: حققت النماذج الموسومة تلقائياً قيم mAP أعلى وLAMR أقل من النماذج المدربة على الحقائق الأرضية (GT).
  • التعليل: يفترض المؤلفون أن ملصقات الحقائق الأرضية البشرية تتضمن "حالات صعبة" (مشاة محجوبون بشدة أو بالكاد يمكن رؤيتهم) والتي تعمل كضجيج في الملصقات، مما يربك النموذج؛ حيث يقوم كاشف الأشعة تحت الحمراء بتصفيتها طبيعياً (لأنه لا يستطيع اكتشافها)، مما يخلق فعلياً مجموعة تدريب "أنظف" للمشاة المرئيين.

5. الأهمية والعمل المستقبلي

• الأثر العملي: تتيح هذه الطريقة إنشاء مجموعات بيانات ضخمة لكشف RGB في الإضاءة المنخفضة باستخدام نظام استشعار IR-RGB فقط لجمع البيانات، بينما يتطلب النظام النهائي المراد نشره كاميرا RGB قياسية فقط.
• القيود:
  • تعتمد هذه المنهجية حالياً على مجموعة بيانات KAIST؛ لذا يجب التحقق من صحتها على مجموعات بيانات أكبر وأكثر تنوعاً.
  • يتطلب الحصول على نظام استشعار IR-RGB معاير لجمع البيانات عملية مكلفة ومعقدة، رغم أنها مطلوبة فقط لمرحلة التدريب.
  • لا تزال النماذج الحالية تعاني في حالات الاستدعاء المنخفض للغاية (أفضل استدعاء ~0.37)، مما يشير إلى أن الكشف في RGB عند الإضاءة المنخفضة يظل تحدياً صعباً.
• الاتجاهات المستقبلية:
  • التوسع في مهام أخرى للإضاءة المنخفضة مثل تقدير الوضعية (Pose Estimation).
  • اختبار نماذج اكتشاف الأشعة تحت الحمراء الأكثر تطوراً لتحسين جودة الملصقات الأولية.
  • جمع مجموعات بيانات أكبر لتحسين متانة النماذج ضد الحجب والظلام الشديد.

الخلاصة: نجحت الورقة في إثبات أن الاستفادة من عدم تأثر مستشعرات الأشعة تحت الحمراء بالإضاءة لتوسيم بيانات RGB تلقائياً هي استراتيجية قابلة للتطبيق وفعالة للغاية. وهي لا تقلل الجهد البشري فحسب، بل تؤدي -على نحو غير متوقع- إلى إنتاج نماذج كشف تتفوق على تلك المدربة على الحقائق الأرضية من خلال تصفية الحالات الغامضة ومنخفضة الرؤية.