Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention
تقترح هذه الورقة البحثية DRGF-YOLOv10n، وهي طريقة خفيفة الوزن وآنية للكشف عن المشاة باستخدام الأشعة تحت الحمراء والضوء المرئي (RGB-IR)، تدمج بين جذع ثنائي الفرع (DualBranchStem) مع تعزيز التفاصيل بطريقة فرق غاوس (DoG) وانتباه مكاني موجه إقليمياً لتحسين الدقة والمتانة في البيئات المعقدة مع الحفاظ على سرعة استدلال عالية.
في عالم الرؤية الحاسوبية، تتعلم الآلات باستمرار كيف ترى، لكنها غالبًا ما تعاني من نفس القيود التي تؤرق العيون البشرية في الظروف الصعبة. فالكاميرا التي تعتمد فقط على الضوء المرئي، وهي النوع الذي نستخدمه كل يوم، يمكن أن ترتبك بسهولة بسبب الظلام، أو الأمطار الغزيرة، أو الوهج الساطع، مما يتسبب في تفويتها لأشخاص يقفون في الظلال. وعلى العكس من ذلك، فإن الكاميرات التي ترصد الحرارة، والمعروفة باسم المستشعرات تحت الحمراء، يمكنها رصد جسد دافئ في الظلام الدامس، لكنها غالبًا ما تفشل في إظهار ملامح ذلك الجسد، مما يجعله يبدو ككتلة ضبابية تفتقر إلى التفاصيل والنسيج. ولحل هذه المشكلة، حاول الباحثون منذ فترة طويلة دمج هذين النوعين من الرؤية، آملين في دمج التفاصيل الدقيقة لصورة قياسية مع قدرة الكاميرا الحرارية على استشعار الحرارة. ويكمست التحدي في تعليم الكمبيوتر كيفية دمج هذين التدفقين المختلفين تمامًا من المعلومات دون فقدان المزايا الخاصة بكل منهما، مع الحفاظ على سرعة النظام ليعمل في الوقت الفعلي على جهاز كمبيوتر محمول أو كاميرا مراقبة.
لقد طور فريق من الباحثين في جامعة تشونغتشينغ للتكنولوجيا نهجًا جديدًا لهذه المشكلة، حيث ابتكروا نظامًا مصممًا لرصد المشاة بموثوقية عالية حتى في البيئات الفوضوية والمعقدة. يعتمد أسلوبهم، المبني على إطار عمل خفيف الوزن للكشف، على معاملة صورة الضوء المرئي وصورة الحرارة كمسارين منفصلين من المعلومات منذ البداية، بدلاً من دمجهما معًا فورًا. وقد وجدوا أنه من خلال إبقاء هاتين الرؤيتين متمايزتين في المعالجة الأولية، يمكن للكمبيوتر فهم النسيج والحواف لشخص ما من الضوء المرئي بينما يتتبع في الوقت نفسه بصمته الحرارية. وتمنع استراتيجية المسار المزدوج هذه النظام من الارتباك بسبب الاختلافات بين نوعي الصور، مما يسمح له ببناء صورة أوضح بكثير لمن هو موجود في المشهد.
ولجعل صورة الضوء المرئي أكثر فائدة، أضاف الباحثون خطوة محددة قبل أن يبدأ الكمبيوتر تحليله الرئيسي. فقد طبقوا تقنية تعمل مثل مرشح التحديد (sharpening filter)، مصممة خصيًا لإبراز الخطوط الخارجية وحواف الأجسام. هذه العملية تجعل التفاصيل الدقيقة لملابس الشخص أو انحناء الكتف تبرز بوضوح أكبر مقابل خلفية مزدحمة، مما يعوض حقيقة أن الكاميرا الحرارية تفتقر غالبًا إلى هذه التفاصيل الدقيقة. ومن خلال تغذية هذا النظام بالصورة المحسنة والأكثر حدة جنبًا إلى جنب مع البيانات الحرارية الخام، يكتسب الكمبيوتر مجموعة أغنى من الأدلة للعمل بها، مما يجعل من السهل التمييز بين شخص حقيقي وبين بقعة مشوشة من ضجيج الخلفية.
يتضمن النظام أيضًا آلية تركيز ذكية تعمل بعد أن يعالج الكمبيوتر الصور إلى عمق معين. فبدلاً من محاولة الانتباه إلى كل جزء من الصورة بالتساوي، وهو ما قد يهدر قدرة المعالجة، تتعلم هذه الآلية تجاهل تفاصيل الخلفية غير ذات الصلة مثل الأشجار أو السياجات أو الظلال. إنها تركز طاقتها تحديدًا على المناطق التي يُحتمل وجود شخص فيها، مما يؤدي فعليًا إلى رفع مستوى صوت المشاة وخفض مستوى صوت بقية العالم. يساعد هذا الانتباه الانتقائي النظام على تجنب الإنذارات الكاذبة، مما يضمن أنه عندما يشير إلى اكتشاف ما، فإنه يكون واثقًا للغاية من وجود شخص بالفعل.
وعند اختبار النظام على مجموعة بيانات قياسية تحتوي على صور مزدوجة (مرئية وتحت حمراء) للمشاة، أظهر النظام الجديد تحسنًا ملحوظًا في الدقة مقارنة بالطرق السابقة. فقد حقق درجة دقة بلغت 0.9204، مما يعني أنه عندما يقول النظام إنه رأى شخصًا، فإنه يكون محقًا أكثر من 92 في المئة من الوقت. وبينما فاته بعض الأهداف البعيدة أو الصغيرة جدًا، مما أدى إلى انخفاض معدل الإمساك بكل شخص، كانت قدرته على تجنب الإنذارات الكاذبة هي نقطة قوته الأبرز. وأشار الباحثون إلى أن النظام يعمل بسرعة تقارب 31 إطارًا في الثانية على بطاقة رسوميات لجهاز كمبيوتر محمول قياسي، وهو أمر سريع بما يكفي للمراقبة في الوقت الفعلي.
ويرى المؤلفون أن هذه الأداة ليست بالضرورة مقصودة لتكون خط الدفاع الأول في نظام أمني، بل هي بالأحرى "رأي ثانٍ" عالي الموثوقية. ففي نظام مراقبة نموذجي، قد يقوم كاشف أول بمسح بث الفيديو وتحديد العديد من الأهداف المحتملة لضمان عدم تفويت أي شيء، حتى لو حدد بعض الأجسام غير الضارة عن طريق الخطأ. ثم سيعمل هذا النظام الجديد كخطوة تحقق، حيث يعيد فحص تلك المناطق المحددة باستخدام تعزيز الحواف والتركيز المركز لتأكيد أي منها هو بشر حقًا. يسمح هذا النهج ثنائي المراحل لأنظمة الأمن بالحفاظ على معايير سلامة عالية دون أن تغمرها التنبيهات الخاطئة المستمرة، مما يجعله قيمًا بشكل خاص للمراقبة الليلية أو المناطق التي تكون فيها الإنذارات الكاذبة مكلفة ومزعجة.
ملخص تقني: كشف المشاة في الوقت الفعلي باستخدام RGB-IR خفيف الوزن بناءً على تعزيز تفاصيل DoG والانتباه الموجه بالمنطقة
بيان المشكلة يعد كشف المشاة أمراً بالغ الأهمية للمراقبة الذكية والقيادة الذاتية، ولكنه يواجه تحديات كبيرة في البيئات المعقدة. يعاني الكشف أحادي النمط (RGB) من ضعف الإضاءة، والإضاءة الخلفية، والخلفيات المزدحمة، بينما يفتقر الكشف أحادي النمط بالأشعة تحت الحمراء (IR) إلى التفاصيل النسيجية والحدود الدلالية رغم مزايا التباين الحراري. تعتمد نهج الدمج متعدد الأنماط الحالية غالباً على بنيات ثقيلة أو دمج قنوات بسيط، مما قد يؤدي إلى الفشل في الحفاظ على الميزات الخاصة بكل نمط أو تلبية متطلبات الاستدلال في الوقت الفعلي. علاوة على ذلك، يمكن لآليات الانتباه القياسية أن تكون مكلفة حاسوبياً أو قد تقمع تفاصيل محلية مفيدة عن غير قصد عند تطبيقها في مرحلة مبكرة جداً من الشبكة.
المنهجية تقترح الورقة البحثية DRGF-YOLOv10n، وهو إطار عمل خفيف الوزن وكبير السرعة لكشف المشاة مبني على بنية YOLOv10n. تدمج الطريقة ثلاثة مكونات أساسية لمعالجة قيود الكشف أحادي النمط واستراتيجيات الدمج المعقدة:
بنية المدخلات DualBranchStem: بدلاً من دمج قنوات RGB وIR في مدخل واحد مكون من ست قنوات للالتفاف القياسي، قدم المؤلفون وحدة DualBranchStem. تعالج هذه الوحدة صور RGB وIR عبر مسارات متوازية منفصلة في المرحلة الأولية؛ حيث يستخرج مسار RGB ميزات النسيج والحواف والخطوط العريضة، بينما يستخرج مسار IR معلومات التباين الحراري. يتم دمج هذه الميزات فقط بعد الاستخراج الأولي، مما يحافظ على الخصائص المميزة لكل نمط قبل دمجها للشبكة الأساسية (Backbone).
تعزيز تفاصيل DoG (المعالجة المسبقة): لتعويض نقص التفاصيل النسيجية والحدود في صور IR وتعزيز إدراك مسار RGB للأهداف الضعيفة، تم تطبيق عملية الفرق بين غاوسيين (DoG) خلال مرحلة المعالجة المسبقة لبيانات RGB.
تُصاغ العملية كتعزيز متبقي: Irgb_dog=Irgb+α⋅(Gσ1(Irgb)−Gσ2(Irgb))، حيث α=0.025.
تعمل هذه الخطوة على إبراز الحواف عالية التردد والتباينات الهيكلية المحلية دون تغيير خصائص التباين الحراري لمدخلات IR. وهي تُطبق كخطوة معالجة مسبقة ثابتة، وليست طبقة قابلة للتعلم داخل الشبكة.
الانتباه المكاني الموجه بالمنطقة (RG-SA): تم دمج وحدة الانتباه المكاني الموجه بالمنطقة (RG-SA) خفيفة الوزن في الطبقة الثامنة من بنية YOLOv10n (مرحلة دلالية عميقة).
الآلية: تستخدم الوحدة وحدة توجيه المنطقة (RGM) لضغط ميزات المدخلات إلى ميزات مناطقية منخفضة الدقة (Xr). ثم تقوم بتوليد الاستعلام (Q) من الميزات عالية الدقة الأصلية، والمفتاح/القيمة (K,V) من الميزات المناطقية.
الأساس المنطقي: من خلال استخدام الميزات المناطقية منخفضة الدقة لـ K و V، تقلل الوحدة من التعقيد الحسابي مقارنة بالانتباه الذاتي العالمي. ويضمن وضعها في الطبقة العميقة عمل آلية الانتباه على معلومات دلالية غنية بدلاً من ضوضاء النسيج الضحلة، مما يعزز استجابات مناطق المشاة بفعالية مع كبح تداخل الخلفية.
المساهمات الرئيسية يلخص المؤلفون مساهماتهم كما يلي:
DualBranchStem: بنية مدخلات ثنائية المسار تستخرج بشكل منفصل ميزات النسيج والحواف لـ RGB والتباين الحراري لـ IR، مما يخفف من قيود الكشف أحادي النمط ويتجنب عيوب الخلط السطحي المبكر.
تكامل RG-SA: دمج آلية انتباه موجهة بالمنطقة خفيفة الوزن في مسار RGB العميق لتعزيز استجابات مناطق المشاة وكبح تداخل الخلفية.
تعزيز تفاصيل DoG: تقديم استراتيجية معالجة مسبقة قائمة على DoG لمسار RGB لتعزيز الحواف المحلية وتفاصيل الخطوط العريضة، مما يعالج تدهور التفاصيل الناتج عن الخلفيات المعقدة.
النتائج التجريبية أُجريت التجارب على مجموعة بيانات CVC-14 لـ RGB-IR الخاصة بالمشاة باستخدام وحدة معالجة رسومات NVIDIA RTX 5060 Laptop GPU.
الأداء: حقق نموذج DRGF-YOLOv10n المقترح دقة (Precision) بلغت 0.9204، واستدعاء (Recall) بلغ 0.1912، وmAP50 بلغ 0.5231، وmAP50-95 بلغ 0.2361.
المقارنات: تفوق النموذج على النماذج الأساسية أحادية النمط (RGB فقط و IR فقط) وعلى نموذج الدمج البسيط المكون من ست قنوات. كما أظهر دقة و mAP متفوقين مقارنة باستراتيجيات الدمج الأخرى مثل CBAM-6ch و SE-6ch Fusion، رغم صغر حجم النموذج (32.01 ميجابايت).
الكفاءة: يحافظ النموذج على أداء الوقت الفعلي مع 2.894 مليون معلمة (Parameters)، و1.908 جيجا فلوب (GFLOPs)، وزمن استجلال (Inference Latency) قدره 31.47 مللي ثانية (حوالي 31.78 إطار في الثانية)، مما يلبي متطلبات 25-30 إطاراً في الثانية للمراقبة بالفيديو.
دراسة الاستئصال (Ablation): وُجد أن إزالة عمليات تعزيز البيانات القوية (مثل Mosaic و MixUp) أمر بالغ الأهمية، حيث يمكن أن تضخم هذه العمليات أنسجة الخلفية المحلية وتعارض فوائد تعزيز DoG.
الأهمية والتموضع تضع الورقة البحثية DRGF-YOLOv10n صراحةً ليس كمكتشف مستقل عالي الاستدعاء لكامل خط الإنتاج، بل كوحدة تحقق عالية الثقة لما بعد المرحلة لأنظمة المراقبة الحساسة للإنذارات الكاذبة.
دقة عالية، استدعاء أقل: يظهر النموذج دقة عالية ولكن استدعاء أقل، مما يشير إلى ميل لإخراج الأهداف عالية الثقة فقط. يتم استغلال هذه الخاصية لتصفية الإيجابيات الكاذبة الناتجة عن مكتشف المرحلة الأمامية (الذي يستخدم عتبة منخفضة لضمان استدعاء عالٍ).
سيناريو التطبيق: يقترح المؤلفون نشراً متتالياً حيث يحدد مكتشف المرحلة الأمامية المناطق المرشحة، بينما يقوم DRGF-YOLOv10n بالتحقق الثانوي لتصفية الإنذارات الكاذبة الناتجة عن الظلال، أو مصادر الحرارة، أو الأجسام غير البشرية. هذا النهج مناسب بشكل خاص للسيناريوهات التي تكون فيها التكالر الناتجة عن الإنذارات الكاذبة مرتفعة، مثل كشف التسلل في المجمعات الصناعية، ومراقبة المستودعات ليلاً، وأمن المحيط.
الآفاق المستقبلية: يقر المؤلفون بأن النموذج لا يزال يعاني مع الأهداف البعيدة، الصغيرة النطاق، أو المحجوبة بشدة. قد يركز العمل المستقبلي على تحسين الاستدعاء من خلال محاذاة أفضل بين الأنماط واستراتيجيات دمج ديناميكية، لكن المساهمة الحالية مؤطرة كحل قوي لتحسين موثوقية الكشف في البيئات المعقدة وفي الوقت الفعلي.