How Reliable Are Object Detection Models Beyond Clear Weather? A Deployment-Oriented Robustness Study for Autonomous Driving
تقيم هذه الدراسة متانة النماذج عبر مختلف الظروف الجوية وموثوقية المعايرة لنماذج كشف الأشياء المتنوعة التي تم تدريبها حصرياً على بيانات نهارية صافية، مما يكشف عن تدهور ملحوظ في الأداء في الظروف القاسية — لا سيما بالنسبة للحافلات والبنى التحتية القائمة على المحولات مثل DETR — بينما تسلط الضوء على كواشف YOLO باعتبارها تقدم توافقاً فائقاً في مستويات الثقة.
المؤلف الأصلي:Munshaibur Rahman Mahin, Isha Das, Most. Sonia Islam, Mohammad Sakib Mahmood, M. F. Mridha, Md. Jakir Hossen
يعتمد حلم السيارات ذاتية القيادة على وعد واحد وهش: وهو أن عيون المركبة يمكنها رؤية العالم بوضوح كما يفعل السائق البشري، بغض النظر عن الوقت من اليوم أو حالة السماء. لسنوات، علم المهندسون الحواسيب التعرف على السيارات والحافلات والمشاة عبر عرض آلاف الصور الملتقطة في أيام مشمسة ومشرقة. لقد أصبحت هذه النماذج الرقمية بارعة للغاية في رصد الأجسام عندما يكون الضوء مثالياً والطريق جافاً. لكن العالم الحقيقي نادراً ما يكون مثالياً؛ فالمطر يهطل، والثلج يتساقط، والضباب يزحف، والليل يحل. وعندما تتبدل الأحوال الجوية، فإن الإشارات البصرية التي يعتمد عليها الكمبيوتر — مثل الحواف الحادة للمصد أو التباين بين الشخص والطريق — قد تتلاشى أو تتشوه. إن السؤال الجوهري المتعلق بالسلامة لا يقتصر فقط على مدى جودة عمل هذه الأنظمة في المختبر، بل في كيفية صمودها عندما تتغير الظروف بطرق لم تُدرَّب هي على توقعها.
لقد وضع فريق من الباحثين هدفاً للإجابة على هذا السؤال من خلال اختبار حدود نماذج اكتشاف الأجسام الحديثة دون إعطائها أي تدريب خاص على الطقس السيئ. أخذوا عدة أنواع مختلفة من أنظمة الاكتشاف، بما في ذلك تلك المصممة للسرعة وتلك المبنية للدقة العالية، ودربوها حصرياً على مشاهد قيادة نهارية صافية. وبمجرد أن أصبحت النماذج جاهزة، لم يعلمهم الباحثون أي شيء جديد، بل قاموا ببساطة بتوجيه الكاميرات نحو المجهول: صباحات ضبابية، شوارع ممطرة، طرقات ثلجية، وليالٍ مظلمة. كان الهدف هو معرفة مدى انخفاض قدرة النماذج على إيجاد الأجسام عندما تُجبر على العمل في بيئات لم ترها من قبل، مما يحاكي سيناريو واقعياً حيث قد يتم نشر سيارة دون تعرض مسبق لأنماط الطقس المحلية.
كشفت النتائج عن واقع صارخ. فبينما كان أداء النماذج جيداً في الظروف الصافية التي تعرفها، انهارت موثوقيتها مع ازدياد صعوبة البيئة. حدث الفشل الأكثر دراماتيكية في الليل، حيث انخفضت قدرة الأنظمة على تحديد مواقع الأجسام بنسبة تصل إلى 62.90 بالمائة. يشير هذا إلى أن فقدان الضوء هو العقبة الأكبر أمام هذه الكاميرات، وهو أمر يفوق بكثير تأثير المطر أو الثلج. ووجدت الدراسة أيضاً أن الأجسام ليست متساوية في درجة التأثر؛ فالمركبات الكبيرة مثل السيارات ظلت مستقرة نسبياً، محافظةً على مكانتها حتى في حالات الرؤية الضعيفة. ومع ذلك، أثبتت الحافلات والشاحنات أنها حساسة للغاية للتغيرات في الضوء والغلاف الجوي، حيث تراجعت معدلات اكتشافها بشكل حاد في الظلام. كما عانى المشاة، كونهم أصغر حجماً ويصعب تمييزهم، من خسائر كبيرة في الدقة، لا سيما عند غياب الشمس.
نظر الباحثون أيضاً في مدى إمكانية الوثوق بهذه النماذج في الاعتراف بعدم تأكدها. ففي المواقف الحرجة المتعلقة بالسلامة، من الضروري ألا يدعي النظام بثقة أنه يرى شخصاً بينما هو في الواقع يخمن فقط. وجدت الدراسة أن بعض النماذج الأسرع والأخف وزناً كانت صادقة بشكل مفاجئ؛ فحتى عندما كانت تكافح للرؤية بوضوة، ظلت درجات الثقة الداخلية لديها متماشية مع أدائها الفعلي. وفي المقابل، مالت النماذج الأكثر تعقيداً إلى أن تصبح مفرطة في الثقة بشكل خاطئ، حيث تتنبأ بيقينها بشأن عمليات الاكتشاف حتى عندما تكون مفتقدة للأجسام تماماً. وهذا التناقض بين الثقة والواقع يمثل خطراً خفياً، إذ يمكن أن يؤدي بالمركبة إلى اتخاذ قرار خطير بناءً على شعور زائف بالأمان.
في نهاية المطاف، يوضح هذا العمل أن تدريب نظام على الأيام المثالية فقط يتركه غير مستعد بشكل خطير لبقية العام. لم تقترح الدراسة طريقة جديدة لإصلاح هذه النماذج، بل قدمت بدلاً من ذلك قياساً واضحاً ومنضبطاً لمدى فشلها الحالي عندما يتغير الطقس. لقد أظهرت أنه بينما تعد بعض البنيات أكثر قوة من غيرها، إلا أنه لا يوجد نموذج محصن ضد فوضى ليلة ممطرة أو عاصفة ثلجية. ولكي تصبح هذه التكنولوجيا آمنة بما يكفي للطرق المفتوحة، يجب على الصناعة أن تتجاوز الاختبار في الظروف المثالية وتطور أنظمة يمكنها حقاً الرؤية من خلال الضباب والمطر والظلام.
ملخص تقني: دراسة متينة موجهة للنشر حول كشف الأشياء في القيادة الذاتية
بيان المشكلة تعتمد أنظمة الإدراك في القيادة الذاتية بشكل كبير على كشف الأشياء لتحديد المشاركين المهمين في الطريق (السيارات، الحافلات، الشاحنات، المشاة). وبينما حققت نماذج التعلم العميق دقة عالية في ظروف النهار الصافية، إلا أن متانتها في ظل الظروف الجوية القاسية وتحولات النطاق البيئي لا تزال غير مشخصة بشكل كافٍ. تهيمن المشاهد الصافية على مجموعات البيانات الضخمة الحالية، مما يؤدي إلى تدهور النماذج بشكل كبير عند نشرها في ظروف غير مرئية مثل الضباب، المطر، الثلج، والليل. علاوة على ذلك، ركزت الأبحاث السابقة إلى حد كبير على تحسين الأداء من خلال التكيف مع النطاق (domain adaptation) أو التعزيز الاصطناعي (synthetic augmentation)، مما يحجب قدرات التعميم الجوهرية للنماذج المدربة فقط على البيانات المصدرية. هناك نقص في بروتوكولات التقييم التي تعتمد فقط على المصدر (source-only) والمتحكم بها، والتي تعزل تأثيرات تحول النطاق البيئي لتقييم المتانة المتأصلة لبنيات الكشف من أجل النشر في الحالات الحرجة للسلامة.
المنهجية تستخدم هذه الدراسة بروتوكول تقييم مصدر-فقط (source-only evaluation protocol) محكوم لتقييم المتانة عبر مختلف حالات الطقس دون استخدام التكيف مع النطاق المستهدف أو التعزيز الاصطناعي.
مجموعات البيانات: تم تدريب النماذج حصرياً على مشاهد القيادة النهارية الصافية من مجموعة بيانات BDD100K (النطاق المصدري)، وتم تقييمها على مجموعات فرعية من ظروف الطقس القاسية من مجموعة بيانات ACDC (النطاق المستهدف)، والتي تغطي حالات الضباب، المطر، الثلج، والليل.
البنيات (Architectures): تم تقييم خمس بنيات كشف تمثيلية:
بنية أحادية المرحلة خفيفة الوزن: YOLOv8n
بنية أحادية المرحلة متوسطة الحجم: YOLOv8m، YOLO11m
بنية ثنائية المراحل: Faster R-CNN
بنية قائمة على المحولات (Transformer-based): DETR
الإعداد التجريبي: تم تدريب جميع النماذج لمدة 100 حقبة (epoch) مع دقة إدخال ثابتة (768 بكسل) ومحسن AdamW. لم يتم إجراء أي عملية تكيف على النطاق المستهدف.
مقاييس التقييم:
انخفاض الأداء (%): يقيس الانخفاض النسبي في mAP50 بين الظروف الصافية والظروف القاسية.
مؤشر متانة الطقس (WRI): مقياس معياري يمثل نسبة الأداء المحتفظ به عبر الظروف القاسية مقارنة بالخط المرجعي للطقس الصافي.
خطأ المعايرة المتوقع (ECE): يقيس مدى توافق درجات الثقة المتوقعة مع الصحة التجريبية للكشف لتقييم الموثوقية تحت تحول النطاق.
التحليل على مستوى الفئة: تحليل حساسية محدد لفئات السيارات، الحافلات، الشاحنات، والأشخاص.
المساهمات الرئيسية
بروتوكول المصدر-فقط المحكوم: وضع معياراً لقياس المتانة الجوهرية عبر الطقس من خلال التدريب على مشاهد BDD100K الصافية والاختبار على ظروف الططق القاسية غير المرئية في ACDC، مما يلغي العوامل المربكة للتكيف مع النطاق.
مقاييس موجهة للنشر: تقديم مؤشر متانة الطقس (WRI) وانخفاض الأداء (%) لقياس استقرار التحديد وحجم التدهور عبر الظروف الجوية المتنوعة بشكل منهجي.
تحليل معايرة الثقة: تقييم موثوقية التنبؤ باستخدام ECE، مما يكشف عن مدى جودة تقدير النماذج لليقين الخاص بها عند تغير الرؤية.
التحليل الشامل للحساسية: يوفر مقارنة دقيقة للمتانة عبر نماذج الكشف المختلفة (أحادية المرحلة، ثنائية المرحلة، والمحولات) وفئات الأشياء، مما يسلط الضوء على نقاط الضعف المحددة تجاه التحولات البيئية.
النتائج
تدهور الأداء: أظهرت جميع النماذج تدهوراً مستمراً في الأداء عبر البيئات القاسية. حدث أشد تدهور في ظروف الليل، حيث وصلت انخفاضات الأداء إلى 62.90% (لوحظ في DETR). تسبب المطر والثلج في تدهور متوسط، بينما كان للضباب التأثير الأقل.
حساسية فئة الأشياء:
السيارات: ظلت الفئة الأكثر استقراراً عبر جميع الظروف الجوية، حيث احتفظت بإشارات تحديد مكان قوية. خلال الظروف القاسية، أظهرت أعلى حساسية، حيث انخفض الأداء بشكل حاد (على سبيل المثال، إلى 0.0652 mAP50 في ظروف الليل لنموذج YOLOv8n)، مما يشير إلى اعتماد قوي على الإضاءة والتباين.
الشاحنات: أظهرت متانة متوسطة ولكنها عانت من تدهور كبير في ظروف الإضاءة المنخفضة.
المشاة: مستقرون نسبياً في الضباب والثلج، لكنهم أصبحوا أكثر عرضة للخطر في المطر والليل.
مقارنة البنيات:
أظهرت Faster R-CNN أعلى احتفاظ بالمتانة مع WRI بلغ 0.8041 ("متينة متوسطاً")، متفوقة على البنيات الأخرى في الحفاظ على قدرة التحديد.
أظهرت الكواشف القائمة على YOLO (v8n, v8m, v11m) متانة "ضعيفة متوسطاً" (WRI ~0.73–0.75) ولكنها حافظت على معايرة ثقة فائقة (ECE منخفض < 0.03)، مما يشير إلى أن ثقتها المتوقعة تظل موثوقة حتى عندما تنخفض الدقة.
أظهر DETR أدنى مستوى من المتانة (WRI 0.6859) وأعلى خطأ معايرة (ECE > 0.53 في الظروف القاسية)، مما يشير إلى ضعف كبير تجاه تحولات النطاق وتقدير غير موثوق للثقة.
المعايرة: حافظت نماذج YOLO على توافق قوي بين الثقة والصحة عبر جميع الظروف. في المقابل، أظهرت Faster R-CNN وDETR عدم تطابق كبير في المعايرة، خاصة في المطر والليل، حيث أصبحتا مفرطتي الثقة رغم انخفاض الدقة.
الأهمية تجادل الورقة بأن دقة الكشف المقاسة فقط في الظروف المواتية هي مؤشر غير كافٍ لموثوقية النشر في العالم الحقيقي. ومن خلال عزل تحولات النطاق البيئي، تقدم هذه الدراسة رؤى موجهة للنشر حول كيفية سلوك البنيات المختلفة وفئات الأشياء عند تعرضها لطقس غير مرئي. تشير النتائج إلى أن اختيار أنظمة الإدراك للقيادة الذاتية يتطلب موازنة كفاءة الاستنتاج مع استقرار المتانة، حيث يمكن للنماذج المحسنة للطقس الصافي أن تفشل بشكل كارثي في سيناريوهات الإضاءة المنخفضة أو الرؤية السيئة. يوفر إطار التقييم المقترح نهجاً مهيكلاً لتقييم المتانة الجوهرية، وهو أمر ضروري لتطوير أنظمة إدراك المركبات الذكية ذات الأهمية القصوى للسلامة.