Semi-Supervised Few-Shot Adaptation of Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم شبه الموجه لعدد قليل من العينات للنماذج البصرية-اللغوية" (Semi-Supervised Few-Shot Adaptation of Vision-Language Models) للباحثين خوليو سيلفا-رودريغيز وإندر كونوكوغلو.

1. بيان المشكلة

أظهرت النماذج البصرية-اللغوية (VLMs) المدربة مسبقاً على مجموعات بيانات ضخمة وغير متجانسة، نتائج واعدة في التصوير الطبي، لا سيما في التصنيف ذي العينات القليلة (التكيف مع مهام جديدة باستخدام عدد قليل جداً من الأمثلة المصنفة). ومع ذلك، تواجه طرق التكيف الحالية ذات العينات القليلة تحديات كبيرة في أنظمة العينات المنخفضة للغاية (على سبيل المثال، عينة واحدة أو عينتان):

• عدم توازن الفئات: غالباً ما تكون مجموعات البيانات الطبية غير متوازنة للغاية في توزيع الفئات. في سيناريوهات العينات المنخفضة، يؤدي هذا إلى "مجموعات دعم" (support sets) تكون فيها فئات معينة ممثلة تمثيلاً ناقصاً أو غائبة تماماً.
• تكاليف التوسيم: الحصول على تصنيفات من خبراء للمجال الطبي أمر مكلف ويستغرق وقتاً طويلاً.
• البيانات غير المستغلة: بينما تتوفر البيانات غير المصنفة بكثرة في مسارات العمل الطبية، فإن طرق العينات القليلة القياسية تتجاهلها عادةً، معتمدة فقط على المجموعة الصغيرة من الأمثلة المصنفة.
• قصور الحلول الحالية: تعاني المسابر الخطية (linear probes) المعتمدة على النصوص حالياً من صعوبة عندما تكون مجموعة الدعم المصنفة صغيرة جداً بحيث لا تكفي لتعلم نماذج أولية (prototypes) قوية للفئات، وقد تعاني أيضاً من حدود الدوال المتباينة (contrastive terms) في دوال الخسارة القياسية التي تضعف القدرة على التعميم في السيناريوهات غير المتوازنة.

2. المنهجية: SS-Text-U

يقترح المؤلفون SS-Text-U، وهو حل شبه موجه يستفيد من البيانات غير المصنفة لتحسين التكيف ذي العينات القليلة. تقدم هذه الطة مسبراً خطياً مستنداً إلى النص يتعلم في آن واحد النماذج الأولية للفئات والملصقات الوهمية (pseudo-labels) للبيانات غير المصنفة.

المكونات الأساسية:

1. دالة الهدف:
   تقلل الطريقة من دالة خسارة مشتركة تتكون من:

   • حد العينات القليلة ($L_{FEW-SHOT}$): حد إحكام (tightness term) -وهو عبارة عن تقاطع عرضي بدون مكون التباين- يعمل على جذب النماذج الأولية للفئات نحو التضمينات (embeddings) المصنفة، مع تنظيم عبر عقوبة لإبقائها قريبة من النماذج الأولية النصية المدربة مسبقاً.
   • الحد غير المصنف ($L_U$): حد إحكام بين التنبؤات والملصقات الوهمية ($z$) للمجموعة غير المصنفة ($U$). ومن الأهمية بمكان أن هذا الحد يفرض قيد توزيع الملصقات، مما يضمن مطابقة الملصقات الوهمية لتوزيع الملصقات الحقيقي المقدر ($m$) المستمد من مجموعة الدعم.

   $$\min_{W, z} L_{SEMI}(W, z) = L_{FEW-SHOT}(W) + \lambda_U L_U(W, z)$$

2. التقليل بالكتل الإحداثية (BCM):
   بما أن الهدف يعتمد على متغيرين (النماذج الأولية $W$ والملصقات الوهمية $z$)، يستخدم المؤلفون نهج تقليل الكتل الإحداثية غير الدقيق، والذي يتناوب بين خطوتين:

   • تحديث كتلة Z (التوسيم الوهمي): بالنسبة للنماذج الأولية الثابتة، تقوم الخوارزمية بتحسين تعيين الملصقات الوهمية ($z$) للبيانات غير المصنفة. يتم صياغة ذلك كمسألة تعظيم التشابه المقيد، والتي تُحل بكفاءة باستخدام النقل الأمثل (Optimal Transport - OT) عبر خوارزمية Sinkhorn-Knopp. يضمن هذا أن الملصقات الوهمية تحترم قيود توزيع الفئات العالمي.
   • تحديث كتلة W (تعلم النموذج الأولي): بالنسبة للملصقات الوهمية الثابتة، يتم تحديث النماذج الأولية للفئات ($W$). ونظراً للصياغة المحددة، فإن هذه الخطوة تقبل حلاً مغلقاً (closed-form solution)، مما يتجنب الحاجة إلى التدرج التكراري.

3. التعامل مع عدم التوازن:
   في أنظمة العينات المنخفضة للغاية (عينة واحدة أو اثنتان)، قد يكون لبعض الفئات عدد عينات يساوي صفراً في مجموعة الدعم ($m_c = 0$). يقدم المؤلفون خطوة معالجة لاحقة حيث يتم إضافة قيمة أساسية صغيرة ($b$) إلى جميع أعداد الفئات في تقدير التوزيع لمنع خوارزمية (OT) من تخصيص احتمالية صفر للفئات النادرة.

4. التنظيم التكيفي:
   تستخدم الطريقة أوزانًا مدفوعة بالبيانات ($\lambda_T$ و $\lambda_U$) تتناسب عكسياً مع عدد العينات لكل فئة ($K_c$). يضمن هذا أنه في أنظمة العينات العالية، تهيمن البيانات المصنفة، بينما في أنظمة العينات المنخفضة، تلعب البيانات غير المصنفة والسابقة النصية دوراً أكثر أهمية.

3. المساهمات الرئيسية

1. إطار عمل جديد: تقديم التعلم شبه الموجه للعينات القليلة للنماذج البصرية-اللغوية، وهو سيناريو يستفيد من البيانات الوفيرة غير المصنفة لتقليل تكاليف التوسيم.
2. حل SS-Text-U: حل فعال ومبدئي يدمج السوابق النصية، والبيانات المصنفة، والبيانات غير المصنفة عبر النقل الأمثل والتحديثات ذات الحل المغلق.
3. الكفاءة: تتميز الطريقة بكفاءة حسابية (أسرع بعدة مراتب من الطرق القائمة على التدرج) ولا تتطلب مجموعة تحقق (validation set) لضبط المعلمات الفائقة.
4. تقييم شامل: تجارب واسعة النطاق عبر 12 مجموعة بيانات طبية و 3 نماذج بصرية-لغوية طبية متخصصة (علم الأنسجة، طب العيون، والأشعة).

4. النتائج التجريبية

قيم المؤلفون SS-Text-U مقابل أفضل النماذج المرجعية (SoTA)، بما في ذلك المسابر الخطية القائمة على التدرج (CLAP, LP++) والطرق الخالية من التدريب (Simple-Shot, SS-Text+).

• مكاسب الأداء: تفوق SS-Text-U باستمرار على جميع النماذج المرجعية. مقارنة بأفضل حل خالٍ من التدريب (SS-Text+)، حقق متوسط مكاسب في الدقة قدرها:
  • 10.9% عند عينة واحدة (1-shot).
  • 7.1% عند عينتين (2-shot).
  • 2.7% عند 4 عينات (4-shot).
  • 1.3% عند 8 عينات (8-shot).
• كفاءة التوسيم: تسمح الطريقة بـ تقليل جهد التوسيم بنسبة 50% إلى 75%. على سبيل المثال، أداء SS-Text-U مع بيانات عينة واحدة يضاهي أداء SS-Text+ مع 4 عينات.
• كفاءة البيانات: لوحظت تحسينات كبيرة حتى مع وجود مجموعة صغيرة من البيانات غير المصنفة (على سبيل المثال، $M = C \times 8$ عينة).
• التقارب والاستقرار: يتقارب حل الكتلة الإحداثية بسرعة (عادةً خلال 3 تكرارات لـ $W$ و10 تكرارات لـ Sinkhorn).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة قيد توزيع الملصقات (ضبط تكرارات Sinkhorn إلى 0) إلى تدهور الأداء بشكل كبير، مما يثبت أهمية القيود الهيكلية على الملصقات الوهمية.
  • أظهرت الأوزان التكيفية لمعاملات التنظيم ($\lambda$) تفوقاً على القيم الثابتة.

5. الأهمية والأثر

• الفائدة العملية: تعالج الطريقة مباشرة مشكلة التوسيم من قبل الخبراء في التصوير الطبي. من خلال الاستفادة الفعالة من البيانات غير المصنفة، تجعل نشر النماذج البصرية-اللغوية في البيئات السريرية ذات الموارد المحدودة أمراً أكثر جدوى.
• المتانة تجاه عدم التوازن: تستهدف الطة تحديداً نقاط الفشل في طرق العينات القليلة الحالية في مجموعات البيانات الطبية غير المتوازنة، مما يوفر حلاً أكثر متانة للكشف عن الأمراض النادرة.
• الكفاءة الحسابية: على عكس العديد من النهج شبه الموجهة التي تتطلب تدريباً كثيفاً أو بنيات معقدة، فإن SS-Text-U خفيف الوزن، سريع، ومناسب للنشر على الأجهزة القياسية.
• الاتجاهات المستقبلية: تشير الورقة إلى أنه بينما تعتمد الطريقة الحالية على تضمينات الميزات (feature embeddings)، يمكن للعمل المستقبلي دمج تعزيزات متعددة الرؤى (multi-view augmentations) أو تصفية الثقة لتعزيز الأداء بشكل أكبر في المهام الصعبة حيث تتداخل عناقيد التضمينات بشكل كبير.

باختصار، يمثل SS-Text-U خطوة مهمة للأمام في جعل النماذج البصرية-اللغية أكثر قدرة على التكيف وأكثر فعالية من حيث التكلفة في التصوير الطبي، وذلك من خلال سد الفجوة بين التعلم ذي العينات القليلة والتعلم شبه الموجه عبر تحسين مستند إلى النصوص وفعال.