Self-Supervised Learning with a Multi-Task Latent Space Objective

ملخص تقني: التعلم الخاضع للإشراف الذاتي باستخدام هدف فضاء كامن متعدد المهام

بيان المشكلة
يعمل التعلم الخاضع للإشراف الذاتي (SSL) القائم على الشبكات التوأمية (Siamese networks)، مثل BYOL وSimSiam وMoCo v3، على تعلم التمثيلات المرئية من خلال محاذاة الرؤى المعززة المختلفة لنفس الصورة. ويعد استراتيجية تعدد القص (multi-crop strategy) مكونًا حاسمًا في أساليب SSL الحديثة، حيث تدمج قصات محلية صغيرة إلى جانب الرؤى العالمية لفرض الاتساق المكاني. وبينما تعزز هذه الاستراتيجية الأداء بشكل كبير في الطرق القائمة على التباين (contrastive) والتجميع (clustering) (مثل SimCLR وSwAv وDINO)، إلا أنها تسبب عدم استقرار شديد في بنى السيامي (Siamese architectures) القائمة على المتنبئ (predictor-based).

يحدد المؤلفون أن عدم الاستقرار هذا ينبع من استخدام متنبئ مشترك واحد لجميع أنواع الرؤى (العالمية والمحلية). نظرًا لأن القصات العالمية والمحلية تختلف جذريًا في المقياس والمحتوى، فإن المتنبئ الموحد يكافح لمحاذاة هذه التمثيلات غير المتجانسة، مما يؤدي إلى فشل التحسين (optimization failure)، أو وصول الأداء إلى هضبة مبكرة، أو تدهور الدقة مقارًا بنماذج الخط الأساسي (baselines) ذات الرؤيتين القياسيتين.

المنهجية
يتضمن الحل المقترح تحولين معماريين ومنهجيين رئيسيين:

1. المتنبئات الخاصة بالرؤية (تعدد القص بتعدد المتنبئات):
   بدلاً من مشاركة رأس متنبئ واحد عبر جميع الرؤى، يخصص المؤلفون متنبئًا مخصصًا لكل نوع من أنواع الرؤى (عالمية، محلية، ولاحقًا "القص المقطوع" - cutout)، مع الإبقاء على المشفر (العمود الفقري ورأس الإسقاط) مشتركًا.

   • الآلية: يتخصص كل متنبئ في محاذاة التمثيلات لنوع الرؤية الخاص به. هذا الفصل يقلل من التداخل بين أهداف المحاذاة للقصات العالمية والمحلية.
   • الفائدة: يعمل هذا التعديل على استقرار التدريب دون تغيير دالة الخسارة (loss function)، ودون الحاجة إلى معاملات فائقة (hyperparameters) جديدة، ومع زيادة طفيفة فقط في عدد المعلمات القابلة للتعلم.

2. صياغة متعددة المهام مع رؤى القص المقطوع (Cutout Views):
   بناءً على إعداد تعدد القص المستقر، يوسع المؤلفون الإطار من خلال إدخال رؤى القص المقطوع (cutout views).

   • القص المقطوع غير المتماثل (Asymmetric Cutout): يتم حجب منطقة مستطيلة عشوائية من الصورة (إخفاء) في الرؤية "الآنية" (online view)، بينما تظل الرؤية "المستهدفة" (target view) كاملة. هذا يخلق إعدادًا غير متماثل حيث يجب على النموذج الآني التنبؤ بتمثيل الصورة الكامل من مدخلات محجوبة جزئيًا، مما يعمل فعليًا كمهمة ترميم (inpainting) خفيفة الوزن في الفضاء الكامن.
   • الإشارة المكملة: على عكس القصات المحلية التي تزيل السياق الخارجي، يقوم "القص المقطوع" بإزالة المحتوى الداخلي. هذا يشجع النموذج على استنتاج المعلومات المفقودة من المناطق المحيطة، مما يكمل ثبات المقياس (scale invariance) الذي يتم تعلمه عبر القص.
   • إطار موحد: تعامل الصياغة النهائية كل رؤية (عالمية، محلية، ومقطوعة) كمهام مستقلة في الفضاء الكامن. وتكون إجمالي خسارة المحاذاة عبارة عن مجموع مرجح لأخطاء التنبؤ لكل نوع من أنواع الرؤية مقابل التمثيل العالمي المستهدف.

المساهمات الرئيسية

1. تشخيص عدم الاستقرار: حدد البحث المتنبئ المشترك كسبب رئيسي لفشل تعدد القص في نماذج السيامي غير المتماثلة، وأثبت أن تخصيص متنبئات خاصة بكل رؤية يحل هذه المشكلة.
2. تدريب مستقر لتعدد القص: يتيح نهج تعدد المتنبئات المقترح لأساليب BYOL وSimSiam وMoCo v3 الاستفادة الكاملة من تعزيزات تعدد القص، مما يحقق مكاسب أداء ثابتة.
3. توسيع التعزيز المكاني: يوفر إدخال رؤى القص المقطوع غير المتماثل إشارة إشراف مكانية مكملة. ويشير تحليل المؤلفين إلى أن التعزيزات المكانية (القص والقص المقطوع) هي المصدر الأكثر فعالية للإشراف في SSL، متفوقة على التعزيزات غير المكانية.
4. إطار عمل موحد متعدد المهام: يقدم العمل صياغة بسيطة متعددة المهام وغير مرتبطة بالعمود الفقري (backbone-agnostic)، تدمج الرؤى العالمية والمحلية والمحجوبة في وصفة تدريب واحدة متوافقة مع كل من بنيات CNN وTransformer.

النتائج التجريبية
تم التحقق من صحة النهج على مجموعة بيانات ImageNet-1k باستخدام عمود فقري من نوع ResNet-50 وVision Transformer (ViT) عبر BYOL وSimSiam وMoCo v3.

• أداء ResNet-50:

  • BYOL: تحسنت دقة التقييم الخطي من 70.7% (تعدد القص القياسي مع المتنبئ المشترك) إلى 74.7% مع إعداد تعدد المتنبئات. ووصلت صياغة المهام المتعددة النهائية (بما في ذلك القص المقطوع) إلى 75.6%.
  • SimSiam وMoCo v3: شهد كلا الإطارين مكاسب مماثلة بلغت حوالي +4% في التقييم الخطي عند الانتقال من تعدد القص القياسي إلى إعداد تعدد المتنبئات.
  • الكفاءة: حقق متغير SimSiam متعدد المهام دقة 74.7% في 200 حقبة (epoch) فقط، متفوقًا على خط أساس SimSim الأصلي (71.3%) الذي تطلب 800 حقبة.

• أداء ViT:

  • ViT-S: تحسنت الدقة الخطية من 71.4% إلى 74.0%.
  • ViT-B: وصلت الدقة الخطية إلى 77.7%، متفوقة على خط أساس BYOL القياسي بمقدار +3.7%.

• المهام اللاحقة (Downstream Tasks):

  • كشف/تجزئة الأجسام في COCO: تفوق نموذج BYOL متعدد المهام على كل من التدريب المسبق الخاضع للإشراف وطرق SSL الأخرى، محققًا أعلى AP (41.8 للكشف، 38.0 للتجزئة) باستخدام عمود فقري ResNet-50.
  • المقارنة: تفوق النهج باستمرار أو كافأ أساليب التباين، والتجميع، والأساليب غير التباينية، كما تفوق على مناهج نمذجة الصور المقنعة (MIM) في إعدادات التقييم الخطي.

الأهمية والادعاءات
يزعم البحث أن فصل المتنبئات عبر أنواع الرؤية هو مطلب أساسي لجعل استراتيجيات تعدد القص فعالة في نماذج السيامي القائمة على المتنبئ. ومن خلال معاملة كل تحويل مكاني كمهمة محاذاة متميزة، يوفر المؤلفون إطارًا مستقرًا وقابلًا للتعميم يحسن جودة التمثيل عبر مختلف البنيات.

يسلط العمل الضوء على أن التعزيزات المكانية هي المصدر المهيمن لإشارات التعلم في SSL. ويظهر دمج رؤى القص المقطوع أنه يمكن دمج الإشراف القائم على الحجب بفعالية في أطر السيامي دون تغييرات معمارية معقدة أو أهداف إعادة بناء. ويشير المؤلفون إلى أن هذه المبادئ — وتحديدًا فصل المتنبئات واستخدام رؤى مكانية متنوعة — يمكن أن تمتد إلى الوسائط المهيكلة الأخرى مثل الفيديو أو السحب النقطية (point clouds). كما أشاروا إلى أن ربط المتنبئات بمعلومات خاصة بالرؤية (مثل إحداثيات القص المقطوع) يمثل اتجاهًا مستقبليًا محتملاً نحو بنى التنبؤ بالتمثيل المشترك (Joint-Embedding Predictive Architectures).