UAV-Based Drifting Victim Detection in Flash Floods Using Region-Based Convolutional Neural Networks

ملخص تقني: كشف الضحايا المنجرفين باستخدام الطائرات بدون طيار في حالات الفيضانات المفاجئة عبر الشبكات العصبية التلافيفية القائمة على المناطق

بيان المشكلة
تمثل الفيضانات المفاجئة تحديًا حرجًا لعمليات البحث والإنقاذ (SAR) نظرًا لسرعة حدوثها، وتدفقاتها عالية السرعة، والصعوبة التي تواجهها الفرق الأرضية في الوصول إلى المناطق المتضررة، لا سيما عند تضرر البنية التحتية. غالبًا ما تكون المسوحات الأرضية التقليدية بطيئة جدًا أو خطيرة، بينما تعاني صور الأقمار الصناعية من قيود تتعلق بالدقة، ووقت إعادة الزيارة، والغطاء السحابي. وعلى الرغم من أن الطائرات بدون طيار (UAVs) توفر مراقبة جوية عالية الدقة ومرنة، إلا أن الحجم الهائل للبيانات المرئية الناتجة يجعل الفحص اليدوي غير عملي للاستجابة السريعة للطوارئ. علاوة على ذلك، فإن اكتشاف الضحايا المنجرفين في بيئات الأنهار الديناميكية أمر معقد؛ حيث غالبًا ما تكون الأهداف صغيرة، أو محجوبة جزئيًا، أو متشابهة بصريًا مع الحطام العائم، مما يتطلب أكثر من مجرد صناديق إحاطة مستطيلة بسيطة لتحديد الحدود والمساحات بدقة.

المنهجية
تقترح الدراسة نظامًا يعتمد على التعلم العميق باستخدام بيانات الفيديو الملتقطة بواسطة الطائرات بدون طيار للكشف عن الأجسام المنجرفة (الضحايا المحتملين) وتقسيمها باستخدام خوارزمية Mask R-CNN. تتبع المنهجية مسارًا مكونًا من أربع مراحل:

1. جمع البيانات: تم إنشاء مجموعة بيانات مخصصة باستخدام مصدرين:

   • البيانات الأولية: 26 ملف فيديو تم التقاطها بواسطة طائرة بدون طيار من طراز DJI Mavic Air 2S في منطقة تيلوكور للسياحة البحرية (نهر بورونج، إندونيسيا) على ارتفاعات مختلفة. تم استخراج 589 إطار صورة منها.
   • البيانات الثانوية: 463 صورة تم الحصول عليها من وسائل التواصل الاجتماعي.
     تم تقسيم إجمالي مجموعة البيانات إلى مجموعات تدريب، وتحقق، واختبار. بالنسبة للبيانات الأولية (589 صورة)، تم استخدام 515 صورة للتدريب، و48 للتحقق، و25 للاختبار. وبالنسبة للبيانات الثانوية (463 صورة)، كان التقسيم 278 للتدريب، و93 للتحقق، و92 للاختبار. تم إجراء التوسيم (Annotations) باستخدام تسميات مثل "شديد"، "متوسط"، و"خفيف" للإشارة إلى حالة الفيضان.

2. معالجة البيانات: خضعت الصور الخام لمسار معالجة مسبقة صارم يشمل:

   • فحص الجودة: إزالة الصور التالفة، أو منخفضة الدقة، أو المكررة، أو غير ذات الصلة.
   • التوسيم: وضع علامات على الأجسام باستخدام صناديق الإحاطة.
   • تغيير الحجم: توحيد أبعاد المدخلات (مثل 224×224 أو 256×256 بكسل) للشبكة العصبية التلافيفية (CNN).
   • التطبيع (Normalization): تغيير نطاق قيم البكسل من 0–255 إلى 0–1 باستخدام تطبيع الحد الأدنى والأقصى (Min-Max Normalization).
   • التعزيز (Augmentation): زيادة حجم مجموعة البيانات من خلال القلب الأفقي، والتدوير، وتغيير الحجم، والقص، وتعديلات السطوع، والتباين، والتمويه، وضجيج غاوس (Gaussian noise).

3. تطوير النموذج: جوهر النظام هو نموذج Mask R-CNN مضبوط بدقة. تتضمن البنية:

   • العمود الفقري (Backbone): شبكة عصبية تلافيفية لاستخراج الميزات.
     * شبكة الهرم الميزاتي (FPN): لتوليد خرائط ميزات متعددة المقاييس ($P1$–$P6$) قادرة على اكتشاف الأجسام بمقايسات مختلفة.
   • شبكة اقتراح المنطقة (RPN): لتحديد مناطق الاهتمام المرشحة (RoI).
   • محاذاة منطقة الاهتمام (RoIAlign): لاستخراج تمثيلات ميزات ثابتة الأبعاد من المناطق المقترحة.
   • رأس التنبؤ (Prediction Head): للقيام بالتصنيف، وانحدار صندوق الإحاطة، وتقسيم النسخ على مستوى البكسل.
     تقارن الدراسة بين نموذج Mask R-CNN القياسي (المدرب على مجموعة البيانات الأصلية) مقابل نسخة مضبوطة بدقة تم تدريبها على مجموعة البيانات المخصصة والمعززة.

4. التقييم: تم تقييم الأداء باستخدام الدقة المتوسطة (AP)، والاستدعاء المتوسط (AR)، وثقة الكشف، ووقت الاستدلال. تم تقييم المقاييس لكل من اكتشاف صندوق الإحاطة وتقسيم النسخ عبر عتبات مختلفة لتقاطع الاتحاد فوق الاتحاد (IoU).

المساهمات الرئيسية
تحدد الورقة ثلاث مساهمات رئيسية:

1. مجموعة بيانات مخصصة: تطوير مجموعة بيانات صور محلية تعتمد على الطائرات بدون طيار وتمثل ظروف الضحايا المنجرفين في بيئات الأنهار المتضررة من الفيضانات، مما يعالج نقص بيانات التدريب الخاصة بهذا المجال.
2. إطار كشف مضبوط بدقة: تكييف وضبط نموذج Mask R-CNN خصيصًا لصور الفيضانات الجوية. يستفيد هذا من تقسيم النسخ لتوفير تحديد على مستوى البكسل للأهداف، مما يوفر معلومات مكانية فائقة مقارنة بالأساليب التي تعتمد فقط على صناديق الإحاطة.
3. أداة تقييم بصري سريع: إثبات قدرة النظام على دعم عمليات البحث والإنقاذ من خلال توفير معلومات مكانية في الوقت المناسب حول مواقع الضحايا واتجاهات حركتهم في البيئات التي يصعب الوصول إليها أرضيًا.

النتائج
تشير النتائج التجريبية إلى أن ضبط نموذج Mask R-CNN بدقة على مجموعة البيانات المخصصة قد تفوق بشكل كبير على النموذج التقليدي:

• ثقة الكشف: حقق النموذج المضبوط بدقة متوسط ثقة كشف يتجاوز 90%، مقارنة باستقرار النموذج القياسي حول 85-89%.
• الدقة المتوسطة (AP):
  • صندوق الإحاطة: ارتفعت الدقة المتوسطة عند IoU 0.5 من 54.6% (النموذج القياسي) إلى 94.94% (النموذك المضبوط بدقة).
  • التقسيم: ارتفعت الدقة المتوسطة عند IoU 0.5 من 52.8% (النموذج القياسي) إلى 96.94% (النموذج المضبوط بدقة).
• الاستدعاء المتوسط (AR): لوحظت تحسينات كبيرة في الاستدعاء، خاصة في التقسيم عند IoU 0.5، حيث ارتفع من 52.8% إلى 92.9% مع النموذج المضبوط بدقة.
• الكفاءة: قلل النموذج المضبط بدقة متوسط وقت الاستدلال من 0.5 ثانية إلى 0.3 ثانية لكل صورة.
• المقاييس العامة: تسجل الدراسة زيادة في دقة الكشف من 87% إلى 92%، ودرجة F1 تبلغ 0.88، ومتوسط دقة (mAP) يبلغ 0.82.

الأهمية والادعاءات
يزعم المؤلفون أن النهج المقترح يوفر كشفًا موثوقًا للأجسام ومعلومات مكانية لتقدير مسارات الانجراف في بيئات الأنهار الديناميكية. ومن خلال استخدام تقسيم النسخ، يمكن للنظام التمييز بين الضحايا والحطام المتشابه بصريًا بشكل أكثر فعالية من الطرق التي تعتمد فقط على صناديء الإحاطة. تضع الدراسة هذه التكنولوجيا كأداة قابلة للتطبيق للاستطلاع الجوي السريع، قادرة على دعم اتخاذ القرار أثناء الاستجابات الطارئة في ظروف الفيضانات المفاجئة التي تتميز بسرعة المياه العالية والتضاريس المعقدة. يحافظ المؤلفون على نطاق متواضع، مشيرين إلى أنه بينما يعد النظام فعالاً، إلا أن بعض أخطاء الكشف لا تزال قائمة في المشاهد ذات الإضاءة المنخفضة وأثناء حركة الكاميرا السريعة، ويجب أن يركز العمل المستقبلي على التحقق من الأداء في سيناريوهات بحث وإنقاذ متنوعة في العالم الحقيقي.