Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء المشفر: التدريب المسبق التبايني المشترك للمشفر وفك التشفير يحسن التنبؤ الكثيف" (DeCon).

1. بيان المشكلة

تركز أطر التعلم ذاتي الإشراف (SSL) الحالية للرؤية الحاسوبية بشكل أساسات على التدريب المسبق للمشفرات باستخدام التعلم التبايني (مثل SimCLR وMoCo وSlotCon). في المسارات القياسية لمهام التنبؤ الكثيف (كشف الأشياء، التجزئة الدلالية، تجزئة المثيلات)، يتم نقل المشفر المدرب مسبقاً، ويتم تهيئة فك التشفير (decoder) عشوائياً وتدريبه من الصفر خلال مرحلة الضبط الدقيق للمهام اللاحقة.

حدد المؤلفون قصوراً حرجاً في هذا النهج التقليدي:

• التمثيل غير الأمثل: تجاهل التدريب المسبق للمشفر فقط فوائد تعلم فك التشفير بشكل مشترك. قد يتعلم المشفر تمثيلات ليست متوافقة بشكل أمثل مع متطلبات فك التشفير للتنبؤ على مستوى البكسل الكثيف.
• الفرص الضائعة: غالباً ما تقوم طرق التعلم ذاتي الإشراف الكثيفة الموجودة (مثل DenseCL وPixCon) بتكييف خسائر التوجيه نحو التصنيف مع البكسلات المحلية، لكنها لا تزال تعامل فك التشفير كإضافة لاحقة بدلاً من مكون يجب تدريبه مسبقاً بشكل مشترك.
• عدم الكفاءة: تتطلب التهيئة العشوائية لفك التشفير للمهام اللاحقة بيانات مصنفة وموارد حوسبية كبيرة للوصول إلى التقارب، مما يحد من الأداء في سيناريوهات البيانات المنخفضة أو خارج النطاق.

2. المنهجية: إطار عمل DeCon

يقترح المؤلفون DeCon (التعلم التبايني المدرك لفك التشفير)، وهو إطار عمل موحد للتعلم ذاتي الإشراف يقوم بـ تدريب مسبق تبايني مشترك لكل من المشفر وفك التشفير. تم تصميم الإطار ليكون قابلاً للتكيف مع بنيات SSL الحالية (تحديداً SlotCon وDenseCL وPixPro).

تتضمن المنهجية الأساسية تعديلين معماريين رئيسيين:

أ. DeCon-SL (المستوى الواحد)

• البنية: توسع إطار عمل (معلم-طالب) قياسي للتعلم ذاتي الإشراف عبر إضافة فك تشفير ($g_\theta, g_\phi$) وطبقات مساعدة مقابلة (أجهزة إسقاط، متنبئات) لكل من شبكتي الطالب والمعلم.
• دالة الخسارة: الخسارة الإجمالية هي مجموع موزون لخسارة المشفر ($L_{enc}$) وخسارة فك التشفير ($L_{dec}$):
  $$Loss = \alpha \times L_{enc} + (1 - \alpha) \times L_{dec}$$
  حيث يتحكم $\alpha$ في مساهمة خسارة المشفر.
• الآلية: يتم تحديث كل من المشفر وفك التشففير عبر الانتشار العكسي (الطالب) والمتوسط المتحرك الأسي (EMA) (المعلم)، مما يضمن أن يتعلم المشفر ميزات مفيدة فوراً لفك التشفير.

ب. DeCon-ML (المستويات المتعددة)

لتعزيز استخدام الميزات بشكل أكبر، يقدم DeCode-ML ابتكارين رئيسيين:

1. الإشراف العميق لفك التشفير: بدلاً من حساب خسارة التباين فقط عند مخرج فك التشفير النهائي، يتم حساب الخسائر عند مستويات متعددة من فك التشفير (على سبيل المثال، 4 مستويات في FPN). هذا يشجع المشفر على إنتاج ميزات غنية ومتعددة المقاييس.
   $$L_{dds} = \frac{1}{j} \sum_{i=1}^{j} L_{dec_i}$$
2. إسقاط القنوات (Channel Dropout): تقنية تنظيم مبتكرة تُطبق على وصلات التخطي (skip connections) بين المشفر وفك التشفير. أثناء التدريب المسبق، يتم تصفير قنوات كاملة من خرائط الميزات المنقولة من المشفر إلى فك التشفير باحتمالية معينة (مثلاً 0.5).
   • الغرض: منع النموذج من الاعتماد المفرط على ميزات محددة تمر عبر وصلات التخطي، مما يجبر المشفر على تعلم تمثيلات أكثر شمولاً وقوة يمكن لفك التشفير استخدامها بفعالية.

3. المساهمات الرئيسية

1. نموذج التدريب المسبق المشترك: تثبت الورقة أن التدريب المسبق المشترك للمشفر وفك التشفير في سياق تبايني يتفوق بشكل كبير على نهج "التدريب المسبق للمشفر فقط + ضبط دقيق لفك التشفير" القياسي.
2. متغيرات DeCon: تقديم DeCon-SL (مستوى واحد) و DeCon-ML (مستويات متعددة مع إشراف عميق وإسقاط القنوات).
3. الأداء الرائد (SOTA): يحقق DeCon نتائج رائدة جديدة عبر مجموعة واسعة من مهام التنبؤ الكثيف، بما في ذلك:
   • كشف الأشياء وتجزئة المثيلات (COCO).
   • التجزئة الدلالية (Pascal VOC, Cityscapes, ADE20K).
   • تقدير الوضع الكثيف (Dense Pose)، وكشف نقاط العلام (Keypoint Detection)، والتجزئة البانورامية (Panoptic Segmentation).
4. التعميم: تظهر الطريقة تحسينات قوية عبر مختلف البنى (ResNet-50, ConvNeXt-S)، وأطر SSL المختلفة (SlotCon, DenseCL, PixPro)، ومجموعات بيانات متنوعة.
5. الكفاءة: يحسن النهج الأداء دون زيادة كبيرة في عدد المعلمات (في متغير DeCon-ML-S) ويحافظ على تكاليف تدريب GPU مماثلة لأطر العمل الأساسية.

4. النتائج التجريبية

قيم المؤلفون DeCon على مجموعات بيانات ومهام متعددة. تشمل النتائج الرئيسية ما يلي:

• كشف الأشياء وتجزئة المثيلات في COCO:
  • التدريب المسبق على COCO باستخدام بنية ResNet-50: حسن DeCon من قيمة AP بمقدار +0.37 ومن تجزئة المثيلات AP بمقدار +0.32 مقارنة بأساس SlotCon.
  • التدريب المسبق على ImageNet-1K: حقق DeCon-ML-L نتائج رائدة جديدة لمعظم المهام.
• التجزئة الدلالية:
  • Pascal VOC: تحسن بمقدار +1.42 mIoU عن الأساس.
  • Cityscapes: تحسن بمقدار +0.50 mIoU.
  • ADE20K: تفوق DeCon-SL مع ConvNeXt-S (المدرب مسبقاً لمدة 250 حقبة) على طرق ViT الأكبر التي تم تدريبها لفترات أطول (مثل 300-1600 حقبة).
• سيناريوهات خارج النطاق والبيانات المنخفضة:
  • التصوير الطبي (REFUGE, ISIC): تفوق DeCon باستمرار على النماذج الأساسية، مع مكاسب أكبر حتى في حالات البيانات المحدودة (5% و 25% من البيانات المصنفة).
  • الزراعة (PlantDoc, PlantSeg): تحسينات كبيرة في كشف الأشياء والتجزئة في مجموعات البيانات الزراعية، مما يدل على قدرة قوية على الانتقال.
• دراسات الاستئصال (Ablation Studies):
  • إسقاط القنوات (Channel Dropout): ثبت أنه المكون الأكثر أهمية لمكاسب الأداء في الإعدادات متعددة المستويات.
  • وزن الخسارة ($\alpha$): في DeCon-ML، أدى ضبط $\alpha=0$ (الاعتماد حصرياً على خسارة فك التشفير) إلى أفضل النتائج، مما يشير إلى أن خسارة فك التشفير توجه المشفر بفعالية. في DeCon-SL (بدون وصلات التخطي)، كان وزن خسارة المشفر الصغير ($\alpha=0.25$) مفيداً.

5. الأهمية والخاتمة

تغير هذه الورقة بشكل جذري نموذج التعلم ذاتي الإشراف (SSL) للتنبؤ الكثيف. فهي تجادل بأن أجهزة فك التشفير لا ينبغي أن تكون مجرد فكرة لاحقة؛ بل هي جزء لا يتجزأ من عملية تعلم التمثيل.

• الرؤية النظرية: يخلق التدريب المسبق المشترك هدفاً "غير متنافس" حيث تعزز خسائر المشفر وفك التشفير بعضها البعض، مما يؤدي إلى تمثيلات ميزات أكثر ثراءً ودقة مكانية.
• الأثر العملي: يوفر DeCon حلاً قابلاً للتوسع للمجالات ذات التعليقات التوضيحية المحدودة (الطب، الزراعة)، حيث يكون التدريب المسبق على مجموعات بيانات ضخمة غير مصنفة أمراً بالغ الأهمية. فهو يسمح للنماذج بتحقيق أداء عالٍ بعدد أقل من الأمثلة المصنفة وتكاليف حوسبية أقل أثناء الضبط الدقيق.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع استراتيجية التدريب المسبق المشترك هذه لتشمل بنيات Vision Transformer (ViT) واستكشاف التدريب المسبق المستمر متعدد المراحل.

باختصار، يثبت DeCon أنه من خلال معاملة المشفر وفك التشفير كنظام موحد أثناء التدريب المسبق ذاتي الإشراف، يمكن للنماذج تعلم تمثيلات متفوقة تتعمم بشكل أفضل على المهام اللاحقة المعقدة على مستوى البكسل.