Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

في ظل الهمهمة الهادئة لشبكة المراقبة في المدينة، تراقب الكاميرات باستمرار، وتلتقط تدفق الناس ليل نهار. لعقود من الزمن، اعتمدت الأنظمة الأمنية على كاميرات الضوء المرئي، وهي من النوع نفسه الذي يلتقط الصور الملونة، لتحديد هوية الأفراد من خلال ملابسهم وملامحهم. ولكن عندما تغرب الشمس ويخبو الضوء، تعاني هذه الكاميرات؛ حيث تبهت الألوان وتندمج الأنسجة في ظلال لا يمكن تمييزها. ولحل هذه المشكلة، تعمل الفرق الأمنية بشكل متزايد على دمج كاميرات الضوء المرئي مع مستشعرات الأشعة تحت الحمراء، التي ترى الحرارة المنبعثة من جسم الشخص بدلاً من الضوء المنعكس عن ملابسه. وهذا يخلق تحدياً جديداً: كيف يمكن للكمبيوتر أن يتعرف على أن الشخص الذي يظهر في فيديو بالأشعة تحت الحمراء مشوش وقائم على الحرارة هو نفس الشخص الذي ظهر في فيديو ملون وواضح من كاميرا مختلفة؟ هذه المهمة، المعروفة باسم إعادة تحديد هوية الأشخاص بين الضوء المرئي والأشعة تحت الحمراء (visible-infrared person re-identification)، تتطلب نظاماً قادراً على تجاهل الاختلافات الهائلة في كيفية رؤية هاتين الكاميرتين للعالم، والتركيز بدلاً من ذلك على الهوية الفريدة للشخص الذي يسير عبر الإطار.

تزداد الصعوبة عندما يكون الهدف في حالة حركة. فالإنسان نادراً ما يكون صورة ثابتة؛ بل هو تسلسل من الحركات، مشية تتغير مع كل خطوة. تحاول الأنظمة الحاسوبية الحالية حل هذه المشكلة من خلال النظر إلى الشخص بأكمله دفعة واحدة أو عن طريق تقسيم الصورة إلى شرائح ثابتة وصلبة، مثل تقطيع رغيف خبز. ومع ذلك، فإن البشر لا يسيرون في خطوط مستقيمة؛ فهم يلتوون، وينعطفون، ويميلون. وقد تلتقط الشريحة الصلبة رأس الشخص في إطار ما وكتفه في الإطار التالي، مما يكسر استمرارية الهوية. علاوة على ذلك، فإن الطريقة التي يبدو بها الشخص في الظلام تختلف جوهرياً عن كيفية ظهوره في الضوء، مما يجعل من الصعب على الكمبيوتر مطابقة نفس جزء الجسم عبر هذين المنظورين المختلفين. وقد اقترح الباحثون في جامعة تشانغتشو نهجاً جديداً لهذه المشكلة، نهجاً يتخلى عن التقطيع الصلب لصالح طريقة أكثر مرونة وتكيفاً تتعلم تتبع أجزاء محددة من الجسم أثناء حركتها وتغيرها.

طوّر الباحثون نظاماً أطلقوا عليه اسم VM-SPMamba، والذي يعمل أولاً من خلال فهم المشهد بأكمله ثم التركيز على أجزاء محددة ومرنة من الشخص. وبدلاً من إجبار الكمبيوتر على النظر إلى شرائح أفقية ثابتة من الصورة، يتعلم النظام تحديد "أجزاء لينة". تخيل كمبيوتراً يمكنه أن يقرر من تلقاء نفسه مكان الرأس والجذع والساقين في كل إطار، حتى لو كان الشخص يميل أو إذا تغيرت زاوية الكاميرا. يستخدم النظام رؤية شاملة للشخص لتوجيه انتباهه، مما يسمح له بتجميع البكسلات في مناطق ذات معنى تتكيف مع وضعية جسم الشخص. وهذا يعني أنه إذا رفع شخص ما ذراعه، فإن النظام يعدل حدود منطقة "الذراع" لتتبع الحركة، بدلاً من الالتزام بصندوق محدد مسبقاً قد يقطع الذراع إلى نصفين.

بمجرد تحديد هذه المناطق المرنة، يعامل النظام كل منطقة منها كقصة مستقلة بذاتها. فهو يتتبع منطقة "الرأس" عبر جميع إطارات الفيديو، ثم يتتبع منطقة "الجذع" عبر نفس الإطارات، وهكذا. ومن خلال فصل الفيديو إلى هذه التدفقات المتميزة من الحركة، يمكن للنظام تعلم كيفية تطور كل جزء من أجزاء الجسم بمرور الوقت. وهذا أمر بالغ الأهمية لأن طريقة حركة الرأس تختلف عن طريقة حركة الساق، وهذه الاختلافات هي المفتاح لتحديد هوية الشخص. وجد الباحثون أنه من خلال نمذجة هذه الأجزة بشكل منفصل ثم دمج قصصها، يصبح النظام أفضل بكثير في تجاهل الاختلافات المربكة بين كاميرات الأشعة تحت الحمراء والضوء المرئي. فهو يتعلم أن نمطاً معيناً من الحركة في عرض الأشعة تحت الحمراء يتوافق مع نفس النمط في عرض الضوء المرئي، حتى لو كانت الألوان والأنسجة مختلفة تماماً.

لتعليم النظام هذه المهارة، استخدم الباحثون طريقة تدريب قوية تتضمن مكوناً "لغوياً". لم يكتفوا بتغذية النظام بالصور فح die، بل قدموا له أيضاً أوصافاً نصية للهويات، مما سمح للكمبيوتر بربط الأنماط البصرية لحركة الشخص بمفهوم دلالي لمن هو ذلك الشخص. يعمل هذا بمثالب جسر، يساعد النظام على فهم أن البصمة الحرارية لشخص يمشي هي نفس الهوية لصورته الملونة، رغم أنهما لا يبدوان متشابهين على الإطلاق. تم اختبار النظام على مجموعتي بيانات كبيرتين تحتويان على مئات الآلاف من الصور من سيناريوهات المراقبة في العالم الحقيقي. وفي اختبار التحول من الأشعة تحت الحمراء إلى الضوء المرئي، حيث يحاول النظام العث find شخص في فيديو ملون بعد رؤيته في فيديو حراري، حقق النهج الجديد معدل نجاح قدره 72.3 بالمائة. وفي الاتجاه المعاكس، وصل إلى 72.4 بالمائة. وتمثل هذه الأرقام قفزة نوعية للأمام، حيث تجاوزت أفضل النتائج السابقة بأكثر من عشر نقاط مئوية في بعض المقاييس.

كما اختبر الباحثون نظامهم على مجموعة بيانات أكبر وأكثر تعقيداً تضم أكثر من ثلاثة آلاف شخص مختلف وتسلسلات فيديو أطول. وبينما لم يحقق النظام أعلى درجة مطلقة في كل مقياس في هذا الاختبار الأكثر صعوبة، إلا أنه ظل منافساً قوياً، حيث حدد الشخص الصحيح كأفضل تطابق في ما يقرب من 70 بالمائة من حالات الأشعة تحت الحمراء إلى الضوء المرئي و70 بالمائة من حالات الضوء المرئي إلى الأشعة تحت الحمراء. يشير هذا إلى أن الطريقة قوية بما يكفي للتعامل مع الطبيعة الفوضوية وغير المتوقعة للمراقبة في العالم الحقيقي، حيث يسير الناس في حشود، ويغيرون اتجاههم، ويظهرون في ظروف إضاءة متغيرة. وقد أظهرت الدراسة صراحة أن الطرق القديمة، التي تعتمد على شرائح ثابتة وغير متغيرة من الصورة، تؤدي بشكل أسوأ عندما يتحرك الأشخاص أو عندما تتغير زوايا الكاميرا. ومن خلال إثبات أن الأجزاء المرنة والمتكيفة تتفوق على الأجزاء الصلبة، يوفر هذا البحث مساراً أوضح لبناء أنظمة مراقبة تعمل بموثوقية ليل نهار.

يكمن نجاح هذا النهج في قدرته على محاكاة الطريقة التي يتتبع بها البشر الأشخاص بشكل حدسي: من خلال التركيز على تدفق أجزاء أجسامهم بدلاً من لقطة ثابتة. لا يحتاج النظام إلى أن يُقال له أين الرأس أو الساقان؛ بل يتعلم العثور عليهما من خلال مراقبة كيفية تحرك البكسلات معاً. تسمح هذه القدرة على التكيف للنظام بالتعامل مع التشوهات الناتجة عن المشي، والدوران، والطرق المختلفة التي تلتقط بها الكاميرات العالم. وبينما لا يزال النظام الحالي يعتمد على البيانات المصنفة لتعلم هذه الأنماط ويستخدم عدداً ثابتاً من أجزاء الجسم، فإن النتائج تثبت أن الابتعاد عن الهياكل الصلبة نحو تمثيلات مرنة مدركة للمحتوى هو استراتيجية قوية. ومع استمرار توسع شبكات المراقبة واعتمادها بشكل متزايد على تقنية الأشعة تحت الحمراء للأمن الليلي، توفر طرق مثل هذه الأدوات اللازمة لضمان تحديد الشخص الصحيح، بغض النظر عن الوقت من اليوم أو الكاميرا التي تلتقط المشهد.