CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

تخيل أنك تحاول العثور على صديق معين في مدينة مزدحمة، ولكن لديك خريطتان مختلفتان تمامًا. الخريطة الأولى هي صورة ملونة نابضة بالحياة وعالية الدقة التُقطت في وضح النهار، تُظهر سترة صديقك الحمراء الزاهية وحذاءه الرياضي الأزرق. أما الخريطة الأخرى فهي صورة حرارية بالأبيض والأسود وبدقة منخفضة التُقطت في الليل، حيث يبدو صديقك ككتلة بيضاء متوهجة مقابل خلفية مظلمة. هذا هو التحدي اليومي لكاميرات الأمن وأنظمة الرؤية الحاسوبية: مطابقة شخص تم رؤيته في ضوء النهار (الضوء المرئي) مع نفس الشخص في الظلام (الأشعة تحت الحمراء). وبينما يمكن للبشر بسهولة ربط النقاط بين وجه ملون وبصمة حرارية، تعاني الحواسيب في ذلك؛ لأن "الفجوة" بين هذين النوعين من الصور هائلة. إنهما لا تبدوان متشابهتين على الإطلاق، مما يجعل من الصعب على الذكاء الاصطناعي القياسي أن يدرك أنه ينظر إلى الشخص نفسه. ولحل هذه المشكلة، غالبًا ما يستخدم الباحثون حيلة ذكية تتضمن "مترجمًا عالميًا" يسمى CLIP. فكر في CLIP كأمين مكتبة فائق الذكاء قرأ ملايين الكتب ورأى ملايين الصور؛ فهو يعرف أن كلمة "أحذية رياضية" ترتبط بصورة الأحذية، حتى لو كانت الصورة ضبابية أو ملتقطة في الظلام. ومن خلال استخدام الكلمات كجسر، يمكن للحاسوب محاولة مطابقة صورة النهار مع صورة الليل من خلال وصفهما المشترك.

ومع ذلك، هناك عقبة. فقد تم تدريب "أمين المكتبة" (CLIP) في الغالب على صور ملونة ومشمسة. فإذا طلبت منه وصف كتلة حرارية متوهجة من كاميرا ليلية، فغالبًا ما يصاب بالارتباك، وينتج أوصافًا غامضة أو مشوشة مثل "شخص غامض" بدلًا من "شخص يحمل حقيبة ظهر". هذا الارتباك يعيق عملية المطابقة. وفي هذه الورقة البحثية، يقترح المؤلفون طريقة جديدة تسمى CLIP4VI-ReID لإصلاح هذه المشكلة. فبدلاً من طلب وصف الصورة الليلية مباشرة من أمين المكتبة المرتبك، يطلبون منه أولاً وصف الصورة النهارية الواضحة. ثم يستخدمون ذلك الوصف الدقيق كدليل لـ "تعليم" الحاسوب كيفية رؤية الصورة الليلية بشكل صحيح. يقومون بذلك عبر ثلاث خطوات: أولاً، توليد أوصاف نصية مثالية من صور النهار؛ ثانيًا، استخدام تلك الكلمات لتصحيح فهم الحاسوب للصور الليلية؛ وأخيرًا، ضبط النظام بأكمله بدقة لضمان أن صور النهار وصور الليل والأوصاف النصية تتماشى مع بعضها البعض تمامًا. وتظهر النتائج أن هذا النهج المتدرج أفضل بكثير في العثور على الشخص الصحيح من الطرق السابقة، مما يثبت أن استخدام "الكلمات" المناسبة كجسر يمكن أن يساعد الحواسيب على الرؤية بوضوح، حتى في الظلام.

المشكلة: فجوة النمط الكبرى

تخيل أنك تحاول مطابقة بطاقة هوية لمشتبه به (صورة ملونة واضحة) مع لقطة من كاميرا أمنية في زقاق مظلم (صورة حرارية بالأبيض والأسود). في عالم الرؤية الحاسوبية، يسمى هذا إعادة التعرف على الأشخاص عبر الضوء المرئي والأشعة تحت الحمراء (VI-ReID). الهدف بسيط: العث تجد نفس الشخص عبر هذين النوعين المختلفين جدًا من الصور. لكن الأمر صعب للغاية لأن الصورتين لا تشبهان بعضهما البعض. فالصورة الملونة مليئة بالتفاصيل مثل القمصان الحمراء والجينز الأزرق، بينما الصورة الحرارية ليست سوى شكل متوهج يعتمد على حرارة الجسم.

لفترة طويلة، حاولت الحواسيب حل هذه المشكلة إما عن طريق محاولة تحويل الصورة الحرارية إلى صورة ملونة (والتي غالبًا ما تبدو مزيفة ومشوشة) أو عن طريق محاولة إيجاد سمات مشتركة مباشرة بين الاثنين. لكن مؤلفي هذه الورقة لاحظوا خللاً في كيفية تعامل النماذج الأحدث والأكثر ذكاءً (المعتمدة على ما يسمى CLIP) مع هذه المهمة. حاولت هذه النماذج توليد وصف نصي لكل من الصورة الملونة والصورة الحرارية. والمشكلة؟ أن الذكاء الاصطناعي تم تدريبه على ملايين الصور الملونة والمشمسة. فعندما ينظر إلى صورة حرارية، فإنه لا يعرف ماذا يقول. كان يولد أوصافًا ضعيفة وغير دقيقة مثل "شخص يصعب رؤيته" بدلاً من تفاصيل مفيدة مثل "يرتدي قبعة". هذا الوصف السيئ جعل من الصعب على الحاسوب مطابقة الشخص، بدلاً من تسهيل الأمر.

الحل: جسر ثلاث المراحل

لإصلاح ذلك، بنى المؤلفون نظامًا جديدًا يسمى CLIP4VI-ReID. فبدلاً من إجبار الذكاء الاصطناائي على تخمين كيف تبدو الصورة الحرارية بالكلمات، صمموا عملية ذكية مكونة من ثلاث مراحل تعمل مثل طاقم بناء يبني جسرًا بين العالمين.

المرحلة 1: توليد الدلالات النصية (TSG)
أولاً، قرر الفريق التوقف عن طلب وصف الصورة الحرارية من الذكاء الاصطناعي. بدلاً من ذلك، طلبوا منه فقط وصف الصور الملونة الواضحة. استخدموا تقنية "تعلم المحفزات" (Prompt Learning)، وهي تشبه إعطاء الذكاء الاصطناعي جملة بها فراغات: "صورة لشخص [_____]". يتعلم الذكاء الاصطناعي ملء الفراغات بتفاصيل محددة (مثل "يرتدي أحذية رياضية" أو "يحمل حقيبة ظهر") بناءً فقط على الصور الملونة. ولأن الصور الملونة واضحة، فإن الذكاء الاصطناعي يولد أوصافًا نصية دقيقة ومفصلة. تصبح هذه الأوصاف هي "المعيار الذهبي" أو الجسر.

المرحلة 2: تضمين السمات تحت الحمراء (IFE)
الآن بعد أن حصلوا على الأوصاف النصية المثالية من الصور الملونة، يستخدمونها لتعليم الذكاء الاصطناعي كيفية النظر إلى الصور الحرارية. هم لا يطلبون من الذكاء الاصطناعي توليد كلمات جديدة للصورة الحرارية، بل يقولون له: "انظر إلى هذه الصورة الحرارية، وحاول جعل سماتها تطابق النص الذي كتبناه بالفعل للصورة الملونة". هذا يشبه إظهار خريطة واضحة لطالب ثم مطالبته بالتنقل في مسار ضبابي باستخدام نفس تلك الخريطة كدليل. يتعلم الذكاء الاصطناعي تعديل فهمه للصورة الحرارية بحيث يتوافق مع الوصف النصي الدقيق. هذه الخطوة "تصحح" أو تعالج سمات الصورة الحرارية، وتضخ معلومات الهوية الصحيحة فيها.

المرحلة 3: المحاذاة الدلالية عالية المستوى (HSA)
أخيرًا، قام الفريق بضبط النظام بأكمله بدقة. إنهم يتأكدون من أن الأوصاف النصية لا تتضمن بالخطأ تفاصيل موجودة فقط في الصورة الملونة (مثل ألوان محددة) ولا تشاركها الصورة الحرارية. يريدون أن يصف النص فقط الأشياء التي تنطبق على كلتا الصورتين (مثل "شخص يحمل حقيبة ظهر"). كما قاموا بتعديل أجزاء الذكاء الاصطناعي التي تنظر إلى الصور الملونة والحرارية بشكل منفصل للتأكد من أنها تلتقط أفضل التفاصيل. تضمن هذه المرحلة النهائية أن الصورة الملونة، والصورة الحرية، والوصف النصي جميعها تشير إلى نفس الشخص بدقة عالية.

ما وجدوه

اختبر المؤلفون نظامهم الجديد على مجموعتين شهيرتين من بيانات الأشخاص في الصور الملونة والحرارية: SYSU-MM01 و RegDB. وقارنوا طريقتهم مع أفضل التقنيات الموجودة.

• في مجموعة بيانات SYSU-MM01: حققت طريقتهم، CLIP4VI-ReID، دقة Rank-1 بلغت 75.54% في إعداد "البحث الشامل" (حيث يتعين على النظام العثور على الشخص من بين احتمالات عديدة). وكان هذا أفضل من أفضل طريقة سابقة، والتي حققت 75.2%. وفي إعداد "البحث الداخلي"، حققوا دقة Rank-1 بلغت 83.98%، متفوقين على الطريقة التالية بفارق كبير.
• في مجموعة بيانات RegDB: كانت النتائج أكثر إبهارًا. في اختبار "من الأشعة تحت الحمراء إلى المرئي" (البحث عن صورة ملونة من استعلام حراري)، وصلوا إلى دقة Rank-1 بلغت 92.28%، وهي الأعلى بين جميع الطرق المختبرة. وفي اختبار "من المرئي إلى الأشعة تحت الحمراء"، حققوا دقة Rank-1 بلغت 94.51%.

تضمنت الورقة أيضًا دليلًا مرئيًا. فقد أظهروا أنه قبل طريقتهم، كانت "الخريطة الذهنية" للحاسوب للصور الملونة والحرارية في أماكن مختلفة تمامًا. ولكن بعد عملية المراحل الثلاث، تجمعت صور نفس الشخص (سواء كانت ملونة أو حرارية) معًا بإحكام، بينما ظلت صور الأشخاص المختلفين متباعدة.

لماذا هذا مهم

الدرس المستفاد الرئيسي هو أن محاولة إجبار الحاسوب على وصف صورة حرارية مباشرة غالبًا ما تؤدي إلى الارتباك والأخطاء. ومن خلال استخدام الصورة الملونة الواضحة لتوليد الوصف أولاً، ثم استخدام ذلك الوصف لتوجيه الصورة الحرارية، يتجنب النظام "الضجيج" ويحقق نتائج أفضل بكثير. يشير المؤلفون إلى أن نهج "من العام إلى الخاص" (coarse-to-fine) — أي البدء بمحاذاة تقريبية ثم صقلها — هو وسيلة قوية لمساعدة الحواسيب على الرؤية عبر أنواع مختلفة من الضوء. وبينما تتطلب الطريقة وقت تدريب أطول قليلاً من النماذج الأبسط، فإن التحسن في الدقة يشير إلى أنها مقايضة تستحق العناء لأنظمة الأمن التي تحتاج للعمل على مدار الساعة، ليلًا ونهارًا.