Cluster Contrast for Unsupervised Visual Representation Learning

تخيل أنك تحاول تعليم روبوت التعرف على الحيوانات، ولكن أمامك جبل من الصور وصفر من التسميات (Labels). لا يمكنك إخبار الروبوت "هذه قطة" أو "هذا كلب". هذا هو عالم التعلم غير الخاضع للإشراف (Unsupervised Learning)، وهو فرع من فروع الذكاء الاصطناعي حيث تحاول الحواسيب تعلم أنماط العالم من تلقاء نفسها، دون معلم يشير إلى الأشياء. وللقيام بذلك، يستخدم الباحثون حيلتين رئيسيتين. الحيلة الأولى هي التعلم التبايني (Contrastive Learning)، وهي تشبه تعليم طفل كيفية رصد الاختلافات: "هذه الصورة ليست تلك الصورة". إنها تجبر الكمبيوتر على دفع الأشياء المختلفة بعيدًا عن بعضها في عقله حتى لا تختلط ببعضها البعض. أما الحيلة الثانية فهي التجميع (Clustering)، وهي تشبه فرز كومة فوضوية من الغسيل؛ حيث ينظر الكمبيوتر إلى جميع الجوارب والقمصان ويحاول تجميع الأشياء المتشابهة معًا، حتى لو لم يكن يعرف أسماءها بعد. ولفترة طويلة، عملت هاتان الحيلتان في غرفتين منفصلتين، لكن العلماء تساءلوا: ماذا لو استطعنا جعلهما تعملان معًا في نفس الغرفة لإنشاء فهم فائق الذكاء للصور؟

إليك CueCo (Cluster Contrast)، وهي طريقة جديدة اقترحها الباحثان نيكولاس جياكوموغلو وتانيا ستاثاكي من إمبريال كوليدج لندن. فكر في CueCo كأنها مصممة رقصات بارعة لساحة رقص مزدحمة. في الماضي، كان مدربو الرقص (الخوارزميات) إما يطلبون من الجميع التباعد قدر الإمكان (التعلم التبايني) أو يطلبون منهم التجمع في مجموعات ضيقة (التجميع). يقوم CueCo بكليهما في وقت واحد. إنه يستخدم ديناميكية "الدفع والسحب"، تمامًا مثل المغناطيس؛ فهو يدفع الراقصين من الأنواع المختلفة (مثل القطط والكلاب) بعيدًا عن بعضهم البعض حتى لا يتصادموا، بينما يسحب في الوقت نفسه الراقصين من النوع نفسه (جميع القطط) إلى دائرة ضيقة ومريحة.

بنى الباحثون نظامًا يتكون من شبكتين عصبيتين: شبكة "الاستعلام" (Query) التي تتعلم، وشبكة "المفتاح" (Key) التي تتحرك ببطء، مثل ظل يتبع المتعلم. واختبروا ذلك على ثلاث مجموعات بيانات شهيرة للصور: CIFAR-10، وCIFAR-100، وImageNet-100. وكانت النتائج مبهرة؛ فعندما قاموا بتجميد عملية التعلم وسألوا ببساطة مصنفًا بسيطًا لفرز الصور، حقق CueCo دقة بلغت 91.40% في CIFAR-10، و68.56% في CIFAR-100، و78.65% في ImageNet-100. وضعت هذه الأرقام الطريقة في مصاف أفضل الأساليب المتاحة حاليًا، مما يثبت أن دمج "دفع" التباين مع "سحب" التجميع يخلق خريطة أكثر تنظيمًا وفائدة للعالم المرئي.

سحر الدفع والسحب

لفهم كيفية عمل CueCo، تخيل أنك تنظم مكتبة ضخمة حيث اختلطت جميع الكتب ببعضها البعض، وأنت لا تعرف عناوينها. لديك هدفان: التأكد من أن كتابين مختلفين لا يبدوان متشابهين، والتأكد من أن جميع النسخ من الكتاب نفسه مكدسة بدقة معًا.

الدفع (التعلم التبايني)
أولاً، يأخذ CueCo صورة وينشئ نسختين مختلفتين قليلاً منها، مثل التقاط صورة لقطة، ثم قصها وتدويرها قليلاً. يخبر الكمبيوتر: "هذان المنظران هما لنفس القطة". لكنه ينظر أيضًا إلى صور الكلاب ويقول: "هذه مختلفة تمامًا". باستخدام قاعدة رياضية تسمى فقدان InfoNCE (InfoNCE loss)، يعمل النظام كقوة طاردة. فهو يدفع سمات "القطة" بعيدًا عن سمات "الكلب" في مساحة ذاكرة الكمبيوتر. هذا يضمن أنه إذا رأى الكمبيوتر قطة مرة أخرى، فلن يعتقد بالخطأ أنها كلب. إنه ينشر الفئات المختلفة، مما يجعلها متميزة.

السحب (التجميع)
لكن التباعد ليس كافيًا؛ فأنت بحاجة أيضًا إلى تجميع الأشياء المتشابهة. هنا يأتي دور "السحب". بما أن الكمبيوتر لا يملك تسميات حقيقية، فإنه يخمن أي الصور تنتمي إلى بعضها البعض من خلال البحث عن الأنماط. يقوم بإنشاء "تجمعات" أو مجموعات. يعمل CueCo بعد ذلك كقوة جاذبة، حيث يسحب جميع الصور من النوع نفسه لتصبح أقرب إلى بعضها البعض في كرة ضيقة. يستخدم أداتين محددتين لهذا الغرض:

1. فقدان تباين المركز (Centroid Contrastive Loss): وهذا يضمن أن كل صورة تتماشى مع "مركز الجاذبية" لمجموعتها. الأمر يشبه التأكد من أن كل صورة قطة تقف بجانب "مركز القطة" الخيالي مباشرة.
2. فقدان التباين (Variance Loss): وهذا يضمن ألا تكون المجموعة مجرد سحابة فضفاضة، بل كرة ضيقة ومتماسكة. فهو يقلل المسافة بين الصور ومركز مجموعتها، مما يضمن أن "القطط" جميعها متجمعة بالقرب من بعضها البعض، وليست مشتتة.

ديناميكيات ساحة الرقص
تُصور الورقة البحثية هذا كقوى في الفيزياء. الجزء التبايني هو قوة طاردة (مثل قطبين شماليين لمغناطيس يدفعان بعضهما بعيدًا)، مما يضمن عدم اندماج الفئات المختلفة. أما جزء التجميع فهو قوة جاذبة (مثل الأقطاب المتضادة التي تجذب بعضها)، مما يضمن بقاء الفئة نفسها متماسكة. الهدف هو الوصول إلى توازن مثالي حيث تكون مجموعة "القطط" بعيدة عن مجموعة "الكلاب"، ولكن كل قطة واحدة تمسك بيد القطة الأخرى.

كيف فعلوا ذلك؟

لم يكتفِ الباحثون بالتخمين؛ بل بنوا إطار عمل محددًا. استخدموا هيكل ResNet-18 كقاعدة أساسية، وهو هيكل قياسي وموثوق للتعرف على الصور. وقاموا بتدريبه على ثلاث مجموعات بيانات:

• CIFAR-10: 10 أنواع من الصور الصغيرة.
• CIFAR-100: 100 نوع من الصور الصغيرة.
• ImageNet-100: مجموعة فرعية مكونة من 100 نوع من مجموعة بيانات أكبر وأكثر تعقيدًا.

استخدموا حيلة ذكية تسمى مشفر الزخم (momentum encoder). تخيل أن شبكة "الاستعلام" هي طالب يتعلم بسرعة، وشبكة "المفتاح" هي معلم يتحدث ببطء. المعلم هو مجرد متوسط سلس وبطيء الحركة للطالب. هذا يمنع النظام من الارتباك بسبب التغييرات المفاجئة ويساعد في الحفاظ على استقرار "المجموعات" (clusters) بمرور الوقت.

وللتأكد من أن المجموعات لا تقع في نمط سيئ (مثل وضع جميع الصور في كومة واحدة ضخمة)، استخدموا "طابورًا" (queue) من الصور لحساب مراكز المجموعات. كما قاموا بإعادة ضبط هذه المجموعات كل 1,000 خطوة للحفاظ على حداثتها وتوازنها.

النتائج: هل نجح الأمر؟

اختبر الفريق طريقتهم لمعرفة مدى قدرة الكمبيوتر على فرز الصور دون أي مساعدة. وقارنوا CueCo بطرق رائدة أخرى مثل MoCo-v2 وSimCLR وBYOL.

• في CIFAR-10، وصل CueCo إلى دقة 91.40%. وهذا قريب جدًا من أفضل الأداءات، مما يظهر قدرته على التعامل مع المهام البسيطة بشكل جيد.
• في CIFAR-100، حقق 68.56%.
• في ImageNet-100، حقق 78.65%.

لكن السحر الحقيقي حدث في تصنيف الصور غير الخاضع للإشراف. عادةً، عندما تقوم الحواسيب بتجميع الأشياء دون تسميات، فإنها تؤدي عملًا متوسطًا. ومع ذلك، أظهر CueCo أنه يمكنه تجميع الصور بشكل أفضل بكثير من غيره. في CIFAR-10، حقق دقة تجميع بلغت 75.06%، متفوقًا على النسخ المعاد تنفيذها من MoCo-v2 (63.51%) وSimCLR (74.50%). وفي CIFAR-100، سجل 33.82%، متفوقًا مرة أخرى على المنافسين.

كما أجرى الباحثون "دراسة استئصال" (ablation study)، وهي تشبه تفكيك آلة لمعرفة وظيفة كل جزء. ووجدوا أن:

• استخدام "الدفع" فقط (فقدان التباين) أعطى خط أساس جيد.
• إضافة "السحب" (فقدان المركز) حسن عملية التجميع.
• إضافة "التماسك" (فقدان التباين) جعل النتائج أفضل.

أثبت هذا أن الأجزاء الثلاثة لنظام "الدفع والسحب" ضرورية للحصول على أفضل النتائج.

لماذا يهم هذا؟

تشير الورقة البحثية إلى أنه من خلال الجمع بين هاتين القوتين، يمكننا إنشاء تمثيلات مرئية تكون متميزة (سهلة التمييز) ومنظمة (سهلة التجميع) في آن واحد. وهذا أمر بالغ الأهمية لأنه يعني أننا قد لا نحتاج إلى الكثير من الأمثلة المسمّاة بشريًا لتعليم الحواسيب كيفية الرؤية. لا تدعي الطريقة أنها حلت مشكلة الذكاء الاصطناعي تمامًا، لكنها تقدم اتجاهًا جديدًا واعدًا. إنها تظهر أن القليل من "الدفع" والقليل من "السحب" يمكن أن يساعد الكمبيوتر على فهم العالم بطريقة تتسم بالشمولية والتفصيل، وكل ذلك دون معلم بشري واحد يقول: "هذه قطة".