Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم التمثيل متعدد الوسائط عبر تقليل المعدل شبه الموجه لتقصي الفئات المعممة" (Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery).

1. تعريف المشكلة: تقصي الفئات المعممة (GCD)

تقصي الفئات المعممة (GCD) هو مهمة تعرّف مفتوحة المصدر تهدف إلى تحديد كل من الفئات المعروفة (الموسومة جزئياً) والمجهولة (غير الموسومة) ضمن مجموعة بيانات.

• التحدي: تعتمد الأساليب الحالية ذات الأداء العالي (SOTA) غالباً على تعلم التمثيل متعدد الوسائط (الجمع بين الرؤية والنص)، لكنها تركز بشدة على المحاذاة بين الوسائط (ربط تمثيلات الصور والنصوص) مع إهمال المحاذاة داخل الوسيط الواحد (ضمان الاتساق داخل وسيط الصور أو داخل وسيط النصوص).
• الفجوة: تعاني النهج الحالية غالباً من الضغط غير المتوازن. فعند استخدام خسائر التباين (contrastive losses)، يتم ضغط تمثيلات الفئات المعروفة بشكل مفرط نحو نماذج أولية محددة، بينما تظل الفئات المجهولة ضعيفة الهيكلية. هذا الاختلال يؤدي إلى تدهور أداء التجميع (clustering)، خاصة للفئات المتشابهة بصرياً أو دقيقة التفاصيل.

2. المنهجية: SSR2-GCD

يقترح المؤلفون إطار عمل SSR2-GCD (تقليل المعدل شبه الموجه لـ GCD)، وهو إطار مصمم لتعلم تمثيلات متوازنة وهيكلية متعددة الوسائط. يتكون الإطار من ثلاث وحدات أساسية:

أ. تجميع النصوص القائم على الاسترجاع (RTA)

لتعزيز نقل المعرفة، يقوم النموذج بتوليد مطالبات نصية (prompts) غنية للصور.

• الآلية: بدلاً من استخدام مطالبة واحدة، تقوم استراتيجية RTA باسترجاع أكثر العلامات (tags) والسمات (attributes) تشابهاً (بعدد $c$) لصورة استعلام.
• التجميع: يقوم بتجميع التمثيلات من هذه المرشحات المتعددة باستخدام مجموع مرجح. تحصل العلامة/السمة الأكثر تشابهاً على وزن أعلى ($1-\alpha$)، بينما تتقاسم المرشحات الـ $c-1$ المتبقية الوزن $\alpha$.
• الفائدة: يتغلب هذا على قصور مشفر النصوص في نموذج CLIP (الذي يعاني مع المطالبات الطويلة) من خلال إنشاء تمثيل نصي غني دلالياً يلتقط إشارات متنوعة للفئات المجهولة.

ب. وحدة تقليل المعدل شبه الموجه (SSR2)

هذا هو الابتكار الجوهري لتعلم التمثيل. حيث يستبدل خسائر التباين القياسية بهدف "الحد الأقصى لتقليل معدل الترميز" (Maximal Coding Rate Reduction).

• دالة الهدف ($\mathcal{L}_{SSR^2}$):
  $$\mathcal{L}_{SSR^2} = -R(\mathbf{Z}) + R_c^s(\mathbf{Z}, \mathbf{Y}^*) + R_c^u(\mathbf{Z}, \mathbf{Y})$$
  • $-R(\mathbf{Z})$: يعظم معدل الترميز لفضاء التمثيل بأكمله (لتوسيع التمثيل لتغطية مساحة البيانات).
  • $R_c^s$: يقلل معدل الترميز للبيانات الموسومة (الفئات المعروفة) لضغطها في فضاءات فرعية منخفضة الأبعاد.
  • $R_c^u$: يقلل معدل الترميز للبيانات غير الموسومة (الفئات المجهولة) بناءً على التسميات المستعارة (pseudo-labels).
• الميزة الرئيسية: على عكس التعلم التبايني، الذي يسحب الأزواج الإيجابية ويدفع الأزواج السلبية بشكل عشوائي، يشجع SSR2 على الضغط المتوازن. فهو يضمن ضغط كل من الفئات المعروفة والمجهولة في فضاءات فرعية منخفضة الأبعاد مع رتب مصفوفات متوازنة، مما يمنع "انهيار" الفئات المعروفة وتشتت الفئات المجهولة.
• التدريب ثنائي المسار: يستخدم الإطار مصنفات ثنائية المسار (مسار للصور ومسار للنصوص) يتم تدريبهما بالتزامن. تُطبق خسارة SSR2 بشكل منفصل على تمثيلات الصور والنصوص لفرض الاتساق داخل الوسيط الواحد.

ج. استراتيجية التدريب

يسير التدريب عبر مرحلتين:

1. مرحلة الإحماء (Warm-up Stage): يتم استبعاد المصطلح غير الموجه ($R_c^u$) لمنع التسميات المستعارة المشوشة من إفساد التعلم المبكر. تُستخدم فقط خسائر تقليل المعدل الخاضعة للإشراف وخسائر التصنيف.
2. مرحلة المحاذاة (Alignment Stage): يتم تفعيل خسارة SSR2 الكاملة. تُستخدم استراتيجية "التدريس المشترك" (Co-teaching) لمحاذاة تنبؤات المصنفات ثنائية المسار، مما يضمن اتفاق مساري الصورة والنص على هيكل التجميع.

3. المساهمات الرئيسية

1. إطار عمل SSR2: أول عمل يدمج مبدأ "الحد الأقصى لتقليل معدل الترميز" في مهام GCD متعددة الوسائط. فهو يعالج صراحةً مشكلة الضغط غير المتوازن الموجودة في الأساليب القائمة على التباين.
2. التركيز على المحاذاة داخل الوسيط: تثبت الورقة أن إعطاء الأولوية لـ المحاذاة داخل الوسيط الواحد (عبر SSR2) أكثر أهمية من مجرد المحاذاة بين الوسائط لمهام GCD. وتوضح أن فرض المحاذاة بين الوسائط دون قيود داخل الوسيط يؤدي إلى عدم اتساق داخل الوسائط نفسها.
3. استراتيجية RTA: طريقة مبتكرة لتجميع النصوص تستفيد من مرشحات المطالبات المتعددة لتوليد تمثيلات دلالية قوية للفئات المجهولة.
4. البنية ثنائية المسار: آلية تدريب متزامنة تستخدم الإشارات ذاتية الإشراف من كلا الوسيطين لتوجيه تعلم التمثيل.

4. النتائج التجريبية

قيم المؤلفون SSR2-GCD على 8 مجموعات بيانات مرجعية (4 عامة: CIFAR-10/100, ImageNet-100/1k؛ و4 دقيقة التفاصيل: CUB, Stanford Cars, Oxford Pets, Flowers102).

• الأداء: حقق SSR2-GCD أفضل أداء (SOTA) عبر جميع مجموعات البيانات.
  • في Flowers102، حقق دقة 93.5% في جميع الفئات، متفوقاً على أفضل النتائج السابقة (GET) بنسبة 6.3%.
  • في Stanford Cars، حقق دقة 89.2%، متفوقاً على النماذج المرجعية بنسبة 3.1%.
• دراسات الاستئصال (Ablation Studies):
  • داخل الوسيط مقابل بين الوسائط: أدى استخدام خسارة بين الوسائط فقط (بأسلوب CLIP) إلى مكاسب محدودة. كما أن دمج خسارة بين الوسائط مع خسارة التباين داخل الوسيط ($L_{con}$) أدى غالباً إلى تدهور الأداء. ومع ذلك، فإن SSR2 وحده (داخل الوسيط) تفوق باستمرار على جميع التوليفات، مما يثبت أن الاتساق داخل الوسيط هو العقبة الأساسية.
  • الضغط المتوازن: أظهر تحليل رتب القيم المفردة (singular value ranks) أن خسارة التباين القياسية ($L_{con}$) قللت بشكل حاد من رتب الفئات المعروفة (ضغط مفرط) بينما تركت الفئات المجهولة برتب عالية. حافظ SSR2 على رتب متوازنة لكل من الفئات المعروفة والمجهولة، مما منع الانهيار.
  • الاتساق: أظهرت مقاييس الاتساق داخل الوسيط ($\rho$) أن SSR2 حقق اتساقاً أعلى بكثير من خسائر CLIP، مما يؤكد صحة الفرضية بأن المحاذاة داخل الوسيط هي التي تقود نجاح التجميع.

5. الأهمية

تغير هذه الورقة بشكل جذري النموذج السائد في GCD متعدد الوسائط:

• الرؤية النظرية: تتحدى الافتراض السائد بأن المحاذاة بين الوسائط هي المحرك الرئيسي للأداء. وبدلاً من ذلك، تثبت أن المحاذاة داخل الوسيط هي المتطلب الأساسي للتجميع الفعال في السيناريوهات مفتوحة المصدر.
• الأثر العملي: من خلال حل مشكلة الضغط غير المتوازن، يتيح SSR2-GCD اكتشافاً أكثر قوة للفئات المجهولة، لا سيالما في المجالات دقيقة التفاصيل حيث تكون التشابهات البصرية عالية.
• القدرة على التعميم: يوفر استخدام "تقليل المعدل" نهجاً مؤسساً رياضياً لتعلم التمثيل، وهو أقل عرضة لمشكلات الانهيار الشائعة في التعلم التبايني، مما يفتح آيراً جديداً لمهام التعلم شبه الموجه والتعلم مفتوح المصدر.

باختالاف، يحقق SSR2-GCD اكتشافاً فائقاً للفئات عبر موازنة ضغط الفئات المعروفة والمجهولة من خلال خسارة تقليل المعدل المبتكرة، مع الاستفادة من الإشارات النصية الغنية عبر استراتيجية التجميع القائمة على الاسترجاع.