Robust RGB-IR Object Detection under Missing-Modality Conditions via Complementary Feature Restoration and Cross-Modal Fusion

في عالم الرؤية الآلية، يتم تعليم الحواسيب لترى العالم تماماً كما يفعل البشر، باستخدام كاميرات تلتقط الضوء المرئي. هذه الأنظمة هي العيون الكامنة وراء السيارات ذاتية القيادة، وكاميرات المراقبة، والمصانع المؤتمتة. ومع ذلك، تماماً كما تعاني العيون البشرية في الظلام الدامس لليلة بلا قمر أو وسط ضباب كثيف، فإن هذه العيون الرقمية غالباً ما تفشل عندما يخبو الضوء أو تسوء الأحوال الجوية. ولحل هذه المشكلة، دأب المهندسون منذ فترة طويلة على دمج كاميرات ملونة قياسية مع مستشعرات للأشعة تحت الحمراء. فبينما ترى الكاميرا القياسية الألوان والنسيج، ترى كاميرا الأشعة تحت الحمراء الحرارة، مما يسمح لها برصد شخص أو سيارة حتى في الظلام التام. ومن خلال الجمع بين هذين المنظورين، يمكن للنظام أن يرى بوضوح أكثر مما يمكن لأي منهما وحده. لكن هذا الحل يحمل نقطة ضعف خفية: فهو يفترض أن كلتا الكاميرتين ستعملان بشكل مثالي دائماً. وفي العالم الحقيقي، تتعطل المستشعرات، أو تتسخ العدسات، أو تضيع الإشارات. وإذا فشلت إحدى الكاميرات، فإن النظام بأكره غالباً ما ينهار، تاركاً الآلة عمياء.

لقد طور فريق من الباحثين من تايوان طريقة جديدة لبناء أنظمة الرؤية هذه بحيث يمكنها الاستمرار في العمل حتى عندما ينطفئ أحد عينيها. ويركز نهجهم، الذي فُصل في دراسة حديثة، على إنشاء نموذج حاسوبي لا ينتظر مجرد صورتين مثاليتين، بل يحاول بنشاط إصلاح الصورة عندما تكون إحدى الكاميرات مفقودة أو تالفة. وبدلاً من معاملة المستشعر المعطل كفشل كلي، يعمل النظام الجديد مثل مرمم ماهر، حيث يستخدم المعلومات من الكاميرا التي تعمل لملء الفجوات التي تركتها الكاميرا المعطلة. وهذا يسمح للآلة بالحفاظ على قدرتها على رصد الأجسام، سواء كان ذلك مشاة على شارع مظلم أو مركبة على طريق سريع ممطر، حتى عندما تمتلك نصف البيانات التي تعتمد عليها عادةً فقط.

اختبر الباحثون فكرتهم باستخدام مجموعتين كبيرتين من أزواج الصور: إحداهما تحتوي على آلاف المشاهد لسيارات وأشخاص ودراجات هوائية في ظروف إضاءة مختلفة، والأخرى تركز تحديداً على إيجاد الأشخاص في بيئات حضرية شديدة الظلمة. وقد دربوا نظامهم للتعامل مع ثلاثة سيناريوهات مختلفة: عندما تعمل كلتا الكاميرتين، وعندما تكون إحدى الكاميرات مفقودة تماماً، وعندما يتعين على النظام تخمين أي كاميرا هي التي تعمل لأجزاء مختلفة من الاختبار. في الحالة المثالية حيث توفر كلتا الكاميرتين صوراً واضحة، حدد النظام الجديد الأجسام بشكل صحيح في 80.2% من الحالات. وكان هذا الأداء منافساً لأفضل الطرق الموجودة، مما أثبت أن التصميم الجديد لم يضحِّ بالدقة من أجل أجل الصمود.

ومع ذلك، جاء الاختبار الحقيقي عندما قام الباحثون بمحاكاة حالات الفشل. فقد تعمدوا إزالة المدخلات من إحدى الكاميرات لمعرفة كيفية تعامل النظام مع الأمر. وعندما أُجبر النظام على الاعتماد فقط على كاميرا الأشعة تحت الحمراء، تمكن من إيجاد الأجسام بدقة عالية، محققاً نسبة نجاح بلغت 78.2%. وعندما تعين عليه الاعتماد فقط على الكاميرا الملونة القياسية، ظل أداؤه جيداً، حيث حدد الأجسام بشكل صحيح في 63.7% من الحالات. ولعل الأمر الأكثر إثارة للإعجاب هو أنه عندما خلط الباحثون الظروف بحيث افتقرت نصف صور الاختبار إلى كاميرا ملونة والنصف الآخر افتقر إلى كاميرا الأشعة تحت الحمراء، حافظ النظام على نسبة نجاح بلغت 73.5%. وقد وقف هذا الاستقرار في تباين صارخ مع الأنظمة القديمة، التي شهدت انخفاضاً حاداً في أدائها أو فشلت تماماً عند إزالة أحد مدخلاتها.

ولتحقيق ذلك، بنى الباحثون إطار عمل يتضمن ابتكارين رئيسيين. أولاً، أنشأوا وحدة مصممة لإصلاح الميزات (features) للصورة المفقودة أو المتدهورة. تخيل رساماً، عند ملاحظته لثقب في لوحة الرسم، يستخدم الألوان والأنماط من المنطقة المحيطة لإعادة بناء الجزء المفقود. وبالمثل، تقوم هذه الوحدة الحاسوبية بتحليل بيانات الكاميرا التي تعمل لاستنتاج ما كان ينبغي للكاميرا المفقودة أن تراه، مما يؤدي فعلياً إلى استعادة المعلومات المفقودة قبل دمج الصورتين. ثانياً، قاموا بتحسين الطريقة التي يدمج بها النظام هذين النوعين المختلفين من الرؤية. فبدلاً من مجرد تكديس الصور فوق بعضها البعض، يستخدم النظام آلية "انتباه" (attention mechanism) متطورة للتركيز فقط على الأجزاء الأكثر صلة من الصورة، متجاهلاً الضجيج والارتباك الذي ينشأ غالباً عند محاولة مزج البصمات الحرارية مع تفاصيل الألوان. وهذا يضمن أن القرار النهائي يستند إلى أوضح إشارة ممكنة.

تشير الدراسة إلى أن هذه الطريقة تقدم خطوة كبيرة للأمام للتطبيقات العملية حيث تكون الموثوقية أهم من الأداء الذروي في الظروف المثالية. ففي البيئات الواقعية، مثل كاميرا مراقبة في زاوية شارع أو مستشعر في طائرة بدون طيار للتوصيل، يعد تعطل المعدات مسألة وقت لا مسألة إمكانية. إن النظام الذي يمكنه التعامل بسلاسة مع مستشعر معطل هو أكثر قيمة بكثير من النظام الذي يقدم نتائج مثالية فقط عندما يكون كل شيء يعمل. ومن خلال إثبات أن نظام الرؤية الآلية يمكن أن يظل قوياً حتى عندما يختفي نصف مدخلاته الحسية، قدم الباحثون مخططاً لبناء تكنولوجيا أكثر أماناً واعتمادية للعالم غير المتوقع خارج المختبر.