What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation

تخيل أنك تقف على زاوية شارع في مدينة مترامية الأطراف، تنظر إلى صف مألوف من المنازل، ونوع معين من الأشجار، والطريقة التي يسقط بها الضوء على الرصيف. بالنسبة للإنسان، قد تبدو هذه التفاصيل عادية، لكنها تحمل السر الذي يحدد مكانك بدقة. أما بالنسبة للحواسيب، فإن التمييز بين حيين يبدوان متطابقين تقريبًا يمثل تحديًا عميقًا. هذا هو جوهر التحديد الجغرافي البصري، وهو مجال في الذك الذكاء الاصطناعي يحاول معرفة أين التُقطت الصورة بمجرد النظر إلى بكسلاتها. وبينما أصبحت الأنظمة الحديثة جيدة جدًا في تحديد المواقع العامة، مثل التمييز بين جزيرة استوائية وجبل مغطى بالثلوج، إلا أنها غالبًا ما تتعثر عندما يُطلب منها تحديد مناطق معينة داخل نفس المنطقة الحضرية. والسؤال الذي طالما طرحه الباحثون هو ما إذا كانت هذه الأنظمة الحاسوبية قادرة على تعلم رؤية الاختلافات الدقيقة بين الأماكن المتقاربة، وإذا كان الأمر كذلك، فما الذي تتعلمه رؤيته بالضبط؟

شرع فريق من الباحثين في جامعة جنوب كاليفورنيا في الإجابة على هذا السؤال من خلال دراسة شوارع لوس أنجلوس. لقد جمعوا ما يقرب من تسعة آلاف صورة من صور الشوارع من ثماني مناطق متميزة، تتراوح من القلب الحضري الكثيف في وسط المدينة (داون تاون) إلى الأجواء الساحلية في سانتا مونيكا والضواحي الخضراء في باسادينا. تشترك هذه المناطق في المناخ نفسه، والمعمار العام نفسه، وغالبًا في نفس أنواع السيارات والأشجار، مما يجعلها اختبارًا مثاليًا للتمييز دقيق التفاصيل. استخدم الباحثون نموذجًا حاسوبيًا قويًا مُدربًا مسبقًا يُعرف باسم CLIP، والذي تعلم بالفعل ربط الصور بالأوصاف النصية من كمية هائلة من بيانات الإنترنت. أرادوا معرفة ما إذا كان هذا النموذج، في حالته الأصلية، يمكنه بالفعل التمييز بين هذه الأحياء، أم أنه يحتاج إلى إعادة تدريب لرؤية التفاصيل الأكثر دقة. والأهم من ذلك، إذا تحسن أداء النموذج في هذه المهمة بعد التدريب، فقد أرادوا فهم ما هي القرائن البصرية الجديدة التي يعتمد عليها. هل كان ببساطة يحفظ أشكال المباني، أم أنه يتعلم شيئًا أكثر تعقيدًا حول كيفية ترتيب المشهد؟

اختبر الباحثون النموذج بعدة طرق، بدءًا من نهج "التعلم الصفري" (zero-shot) حيث طلبوا من الحاسوب تخمين الموقع دون أي تدريب محدد على بيانات لوس أنجلوس. في هذه الحالة غير المدربة، لم تكن دقة النموذج سوى حوالي 39 بالمائة، وهو ما يكاد لا يتجاوز التخمين العشوائي بين الخيارات الثمانية. وعندما حاولوا تحسين النموذج عن طريق تعليمه ببساطة قراءة مخرجات نظامه البصري الحالي — دون تغيير كيفية رؤيته للعالم — لم يتحرك الأداء إلا قليلاً. ومع ذلك، عندما سمحوا للنموذج بتعديل معالجته البصرية الداخلية فعليًا، تغيرت النتائج بشكل كبير. فمن خلال السماح للنموذج بالتعلم من صور لوس أنجلوس، قفزت دقته إلى أكثر من 82 بالمائة. وقد أشار هذا التحسن الهائل إلى أن سر التمييز بين هذه الأحياء لم يكن يكمن فقط في البيانات الخام التي يمتلكها النموذج بالفعل، بل في كيفية تعلمه إعادة ترتيب وتحديد أولويات تلك البيانات من خلال التكيف.

ولفهم ما كان يفعله النموذج حقًا عندما أصبح أفضل بكثير، أجرى الباحثون سلسلة من الخدع البصرية على الصور. لقد أزالوا عناصر محددة مثل النصوص الموجودة على اللافتات، والمركبات، والأشجار، والسماء لمعرفة ما إذا كان النموذج سيظل يعرف موقعه. كما قاموا بتغبيش الصور لإخفاء التفاصيل الدقيقة مع الحفاظ على الأشكال العامة، وخلطوا الصور عن طريق قطعها إلى مربعات صغيرة وتحريكها عشوائيًا، مما دمر التخطيط مع الحفاظ على المحتوى المحلي سليمًا. كشفت النتائج عن فارق دقيق ومثير للاهتمام؛ فقد أصبحت النماذج المحسنة والمكيفة أكثر حساسية للتنظيم العام للمشهد. فعندما قام الباحثون بخلط التخطيط، غيرت النماذج المكيفة رأيها بشأن الموقع بنسبة 43 بالمائة تقريبًا، بينما غيرت النماذج غير المدربة رأيها بنسبة 11 بالمائة فقط. وأشار هذا إلى أن النماذج المدربة تعلمت الاعتماد بشكل كبير على البنية المتماسكة لمشهد الشارع — الطريقة التي يتلاقى بها الطريق والمباني والسماء — بدلًا من مجرد رصد جسم مميز واحد.

ومع ذلك، أظهرت الدراسة أيضًا أن هذه الحساسية للهيكل لم تعنِ أن النماذج يمكنها تجاهل التفاصيل البصرية تمامًا. فعندما قام الباحثون بتغبيش الصور لإزالة الأنسجة والألوان الدقيقة، لم تحتفظ النماذج المكيفة بنسبة أعلى من دقتها الأصلية مقارنة بالنماذج غير المدربة. بعبارة أخرى، بينما أصبحت النماذج أفضل في استخدام تخطيط المشهد، إلا أنها لم تصبح قادرة على تخمين الموقع بناءً على التخطيط وحده؛ إذ كانت لا تزال بحاجة إلى المظهر البصري للبيئة. كما أن إزالة القرائن البيئية مثل النباتات والسماء استمرت في إرباك النماذج، مما يشير إلى أن هذه الميزات الجوية الواسعة ظلت حاسمة. واختبر الباحثون أيضًا تأثير الخلط على مجموعة مختلفة تمامًا من الصور، والتي تضم أشياء شائعة مثل القطط والكراسي، ووجدوا أن خلط تلك الصور أربك النماذج أيضًا. أثبت هذا أن الحساسية للتخطيط كانت سمة عامة لكيفية معالجة النموذج للصور، وليست قدرة خارقة خاصة طُورت فقط للعثور على المواقع.

تخلص الدراسة إلى أنه لكي يتمكن الحاسوب من التمييز بين أحياء متشابهة بصريًا، يجب السماح له بتكييف معالجته البصرية لتناسب البيئة المحددة. يؤدي هذا التكيف بالنموذج إلى زيادة الاهتمام بالتكوين العام للمشهد، أي كيفية ترتيب العناصر المختلفة بالنسبة لبعضها البعض. ومع ذلك، فإن هذا لا يحل محل الحاجة إلى التفاصيل البصرية؛ فالنظام لا يتعلم رؤية العالم من خلال الأشكال المجردة فحسب، بل يتعلم مزيجًا من بنية المشهد ومظهره المحدد. إن النتائج محددة بهذا الإطار المنضبط من المواقع المتقاربة ذات المشاهد المتداخلة، مما يعني أن النموذج يتعلم التعامل مع زوايا مختلفة لنفس الأماكن بدلاً من التعرف على مدن جديدة وبعيدة تمامًا. في نهاية المطاف، يظهر البحث أنه بينما يمكن للذكاء الاصطناعي تعلم التنقل عبر الفروق الدقيقة للمدينة، فإنه يفعل ذلك من خلال نسج ترتيب الشارع مع نسيج العالم، وليس من خلال العثور على دليل سحري واحد.