MM-TS: Multi-Modal Temperature and Margin Schedules for Contrastive Learning with Long-Tail Data

إليك ملخص تقني مفصل لورقة البحث بعنوان "MM-TS: جداول درجات الحرارة والهوامش متعددة الوسائط للتعلم التبايني مع البيانات ذات الذيل الطويل (Long-Tail Data)."

1. بيان المشكلة

يُعد التعلم التبايني (Contrastive Learning - CL) حجر الزاوية في التعلم الخاضع للإشراف الذاتي، حيث يُستخدم لمواءمة التمثيلات عبر الوسائط المختلفة (مثل أزواج الصور والنصوص) عن طريق تقريب الأزواج الإيجابية من بعضها ودفع الأزواج السلبية بعيداً. ومع ذلك، تواجه طرق التعلم التبايني القياسية تحديين كبيرين عند تطبيقها على توزيعات البيانات ذات الذيل الطويل (حيث توجد فئات قليلة متكررة وكثيرة غير نادرة):

1. المعلمات الفائقة الثابتة (Static Hyperparameters): تستخدم معظم الطرق معلمة درجة حرارة ($\tau$) ثابتة أو هامشاً ثابتاً طوال عملية التدريب. وهذا يفشل في التكيف مع الاحتياجات الدلالية المتغيرة لمختلف نقاط البيانات.
2. التوزيعات غير المتوازنة: في مجموعات البيانات ذات الذيل الطويل، تستفيد فئات "الرأس" (Frequent/Head classes) من التمييز القائم على المجموعات (تعلم العناقيد الدلالية)، بينما تتطلب فئات "الذيل" (Rare/Tail classes) التمييز القائم على الأمثلة/الحالات (تعلم ميزات دقيقة وفريدة لتمييزها عن الفئات الشائعة المشابهة لها). لا يمكن لمعلمة واحدة ثابتة تحسين كليهما في آن واحد.
3. فجوة الوسائط في تقدير التوزيع: في الإعدادات أحادية الوسائط، يكون تقدير توزيع البيانات من أجل ضبط الذيل الطويل صعباً دون وجود تسميات (Labels). أما في الإعدادات متعددة الوسائط، وبينما يتم مواءمة النصوص والرؤية، فإن استغلال وسيط واحد لتقدير توزيع الوسيط الآخر من أجل الجدولة الديناميكية لم يتم استكشافه بشكل كامل.

2. المنهجية: إطار عمل MM-TS

يقترح المؤلفون جداول درجات الحرارة والهوامش متعددة الوسائط (MM-TS)، وهو إطار عمل يضبط قوى التعلم التبايني ديناميكياً بناءً على التوزيع المحلي للبيانات. يتكون الأسلوب من ثلاثة مكونات أساسية:

أ. جدولة درجة الحرارة الديناميكية (الجدول الجيبي - Cosine Schedule)

مستلهماً من العمل أحادي الوسائط، يستخدم MM-TS جدول درجة حرارة جيبي (Cosine Schedule) لدرجة الحرارة الأساسية ($\tau_{base}$).

• الآلية: تتذبذب درجة الحرارة عبر تكرارات التدريب ($t$) وفقاً لدالة جيب التمام (Cosine function).
• الأثر:
  • درجة حرارة منخفضة ($\tau$): تضخم العقوبة المفروضة على "السلبيات الصعبة" (العينات المتشابهة ولكن المتميزة)، مما يفرض التمييز القائم على الأمثلة/الحالات (Instance Discrimination). هذا يساعد فئات الذيل على الانفصال عن الفئات الأكثر شيوعاً.
  • درجة حرارة مرتفعة ($\tau$): تقلل من التفاوت في العقوبة بين السلبيات الصعبة والسهلة، مما يشجع على التمييز القائم على المجموعات (Group-wise Discrimination) وتكوين عناقيد دلالية. وهذا يفيد فئات الرأس.

ب. انزياحات العناقيد الفردية (التعديل المدرك للتوزيع)

لمعالجة طبيعة الذيل الطويل للبيانات، يقدم MM-TS انزياحاً خاصاً بكل عينة ($sh(c_i)$) لدرجة الحرارة الأساسية.

• تقدير التوزيع: بدلاً من الاعتماد على الميزات البصرية (التي قد تكون مشوشة)، يستغل الأسلوب الوسيط النصي (الشروح/التعليقات) لتقدير توزيع البيانات البصرية.
  • يتم توليد تمثيلات النصوص باستخدام نماذج مدربة مسبقاً (مثل BERT أو SentenceBERT).
  • يتم تجميع هذه التمثيلات (مثلاً عبر K-Means) لتحديد المجموعات الدلالية.
• حساب الانزياح:
  • العناقيد الكبيرة (الرأس): تُخصص لها درجة حرارة منزاحة أعلى. هذا يعزز عملية التجميع، مما يسمح للنموذج بتعلم تمثيلات دلالية قوية للمفاهيم الشائعة.
  • العناقيد الصغيرة (الذيل): تُخصص لها درجة حرارة منزاحة أقل. هذا يجبر النموذج على التركيز على التفاصيل على مستوى المثال/الحالة، مما يدفع العينات النادرة بعيداً عن الفئات الشائعة المشيشة.
• درجة الحرارة النهائية: تُحسب درجة الحرارة للعينة $i$ كالتالي:
  $$\tau_i = \tau_{base}(t) + sh(c_i)$$

ج. التوسع إلى فقدان الهامش الأقصى (Max-Margin Loss)

بينما يستخدم معظم التعلم التبايني متعدد الوسائط فقدان InfoNCE، تعتمد العديد من نماذج الفيديو-اللغة (خاصة في الرؤية من منظور الشخص الأول/Egocentric Vision) على فقدان الهامش الأقصى (Max-Margin Loss).

• أظهر المؤلفون أن مفهوم جدولة درجة الحرارة يمكن ترجمته إلى إطار عمل الهامش الأقصى.
• بدلاً من تعديل $\tau$ في دالة الـ softmax، يقومون بتعديل الهامش ($m$) في دالة الفقد:
  $$\mathcal{L}_{max-margin} = \max(0, s_{ij} - s_{ii} + m_i)$$
  حيث يتم تعديل $m_i$ ديناميكياً بناءً على توزيع العنقود الخاص بالعينة، محاكياً منطق جدولة درجة الحرارة.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقترح MM-TS، وهو أول إطار عمل يجمع بين جدولة درجة الحرارة الديناميكية والانزياحات الفردية المدركة للتوزيع خصيصاً للبيانات متعددة الوسائط ذات الذيل الطويل.
2. تقدير التوزيع عبر الوسائط: يقدم تقنية لاستخدام تمثيلات النصوص لتقريب توزيع البيانات البصرية، مما يحل صعوبة تقدير توزيعات الذيل الطويل في الإعدادات البصرية أحادية الوسائط.
3. توحيد دالات الفقد: نجح في توسيع جدولة درجة الحرارة من فقدان InfoNCE إلى فقدان الهامش الأقصى (Max-Margin)، مما يجعل النهج قابلاً للتطبيق على مجموعة أوسع من البنيات (خاصة تلك التي تعمل في تحليل الفيديو من منظور الشخص الأول).
4. أداء رائد (SOTA): أثبت أن الموازنة الديناميكية بين التمييز القائم على الأمثلة والتمييز القائم على المجموعات تؤدي إلى مواءمة فائقة في سيناريوهات الذيل الطويل.

4. النتائج التجريبية

قام المؤلفون بتقييم MM-TS على أربع مجموعات بيانات متنوعة: Flickr30K، وMSCOCO، وEPIC-KITCHENS-100، وYouCook2.

• استرجاع الصور والنصوص (Flickr30K، MSCOCO):
  • تم التدريب المسبق على CC3M والتقييم بنمط Zero-shot.
  • النتيجة: تحسن استرجاع (النص إلى الصورة) بمعدل Recall@1 بنسبة 3.4% على Flickr30K و1.5% على MSCOCO مقارنة بنموذج CLIP القياسي.
• استرجاع الفيديو والنصوص (EPIC-KITCHENS-100):
  • تم الضبط الدقيق باستخدام فقدان الهامش الأقصى (إطار عمل AVION).
  • النتيجة: حقق مستوى جديداً (SOTA) بتحسن بنسبة +3% في متوسط الدقة (mAP) لاسترجاع (الفيديو إلى النص).
• استرجاع الفيديو والنصوص (YouCook2):
  • تم الضبط الدقيق باستخدام إطار عمل VAST.
  • النتيجة: تفوق على نتائج VAST الأصلية بنسبة تتراوح بين 2.2% إلى 4% عبر مقاييس Recall@1، 5، و10.
• دراسات الاستئصال (Ablation Studies):
  • أكدت أن كلاً من الجدول الجيبي (TS) وانزياحات العناقيد الفردية (ICS) ضروريان. يساعد TS وحده في تحسين InfoNCE بشكل كبير، بينما يساعد ICS في تحسين Max-Margin؛ ودمجهما يعطي أفضل النتائج عبر جميع المقاييس.
  • أثبتت أن استخدام تمثيلات النصوص لتقدير التوزيع أكثر فعالية من استخدام التمثيلات البصرية.

5. الأهمية والأثر

• حل مشكلة الذيل الطويل في الذكاء الاصطناł متعدد الوسائط: يعالج هذا العمل عقبة حرجة في نشر نماذج التعلم التبايني على بيانات العالم الحقيقي، وهي بطبيعتها غير متوازنة. من خلال التعديل الديناميكي لهدف التعلم، فإنه يمنع الفئات النادرة من أن تطغى عليها الفئات الشائعة.
• تعدد الاستخدامات: القدرة على تطبيق هذه الجداول على كل من فقدان InfoNCE وفقدان الهامش الأقصى تجعل الطريقة قابلة للتكيف بشكل كبير مع مجتمعات بحثية مختلفة، لا سيما أولئك الذين يعملون في مجال فهم الفيديو من منظور الشخص الأول حيث يسود استخدام الهامش الأقصى.
• الكفاءة: لا يتطلب الأسلوب أي تغييرات في البنية المعمارية أو معلمات إضافية قابلة للتعلم (مثل شبكة التنبؤ بدرجة الحرارة). فهو يعتمد على خطوة تجميع لمرة واحدة وتعديلات رياضية بسيطة أثناء التدريب، مما يجعله فعالاً حاسوبياً وسهل الدمج في خطوط الإنتاج الحالية.

باخت ملخص، يوفر MM-TS طريقة قوية، ذات أساس نظري مثبت، ومثبتة تجريبياً لتعزيز التعلم التبايني على بيانات متعددة الوسائط ذات ذيل طويل، وذلك من خلال التحكم الذكي في قوى "الجذب" و"الدفع" لدالة الفقد بناءً على الكثافة الدلالية للبيانات.