Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection

إليك ملخص تقني مفصل للورقة البحثية بعنوان "إطلاق قدرات التعلم من أمثلة قليلة في نماذج الرؤية واللغة الكبيرة عبر التكييف بالموجه واختيار الرؤوس" (Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection).

1. بيان المشكلة

على الرغم من النجاح الملحوظ لنماذج الرؤية واللغة الكبيرة (LVLMs) في مهام الصفر-مرحلة (zero-shot) مثل وصف الصور والإجابة على الأسئلة البصرية (VQA)، إلا أنها تظهر أداءً أقل بكثير مقارً بأساليب CLIP القائمة على CLIP في مهام تصنيف الصور، لا سيما في إعدادات الأمثلة القليلة (few-shot) والصفر-مرحلة (zero-shot).

• المفارقة: تستخدم العديد من نماذج LVLM مشفرات رؤية مدربة مسبقاً بواسطة CLIP. ومع ذلك، بينما يتفوق CLIP في التصنيف من خلال مطابقة الصور مع أسماء الفئات، غالباً ما تفشل نماذج LVLM في الاستفيد من هذه التمثيلات الداخلية بفعالية لأغراض التصنيف.
• القصور: في نموذج CLIP، يكون مشفر الرؤية ومشفر النص مستقلين، مما يؤدي إلى انحياز نحو المطابقة البسيطة لأسماء الفئات. أما في نماذج LVLM، فيقوم فك تشفير (decoder) مشترك من نوع LLM بمعالجة رموز الرؤية والنص معاً. ويفترض المؤلفون أنه بينما يكون المخرج النهائي (رمز الملخص - summary token) لنموذج LVLM ضعيفاً في التصنيف، فإن تمثيلاته الداخلية (تحديداً رؤوس الانتباه - attention heads) تحتوي على ميزات غنية وتمييزية يتم تجاهلها أو عدم استغلالها حالياً.
• الهدف: سد الفجوة في الأداء بين الأساليب القائمة على CLIP (بدون تدريب) وأساليب LVLM دون الحاجة إلى ضبط دقيق (fine-tuning) مكثف.

2. المنهجية: مصنفات تجميع الرؤوس (HEC)

يقترح المؤلفون إطار عمل HEC، وهو إطار عمل لا يتطلب تدريباً يقوم بتكييف نماذج LVLM عبر الموجهات (prompts) واستخراج الميزات التمييزية من رؤوس انتباه محددة. يتكون الأسلوب من ثلاثة مكونات رئيسية:

أ. التكييف بالموجه (Prompt Conditioning)

بدلاً من استخدام موجه عام، قدم المؤلفون استراتيجية تكييف هرمية لتوجيه توزيع الميزات الداخلية لنموذج LVLM:

1. تكييف المهمة (Task Conditioning): موجه عام (مثل "ماذا يوجد في هذه الصورة؟") لتوجيه النموذج نحو تمثيلات تمييزية.
2. تكييف المجال (Domain Conditioning): موجه خاص بالمجال (مثل "ما هي سلالة هذا الكلب؟") لاستخراج الميزات ذات الصلة بالمجال البصري المحدد.
3. تكييف الفئة (Class Conditioning): إلحاق قائمة من الفئات المرشحة بالموجه (مثل "بين: بوكسر، يوركشاير...") لزيادة تحسين قابلية الفصل بين الفئات.

• الأثر: تظهر التجارب أن إضافة تكييف المجال والفئة يحسن بشكل كبير من قابلية الفصل بين الفئات في التوزيعات الداخلية، وهي قدرة يفتقر إليها CLIP بسبب مشفراته المستقلة.

ب. اختيار الرؤوس عبر تحليل التمييز الغاوسي (GDA)

الابتكار الجوهري هو اختيار مجموعة متفرقة من "أفضل" رؤوس الانتباه بدلاً من الاعتماد على رمز الملخص النهائي.

• الآلية: يعامل المؤلفون ناقلات الانتباه (attention vectors) للرؤوس الفردية كميزات. ويفترضون أن هذه الميزات تتبع توزيعاً غاوسياً مشروطاً بالفئة.
• التصنيف (Ranking):
  • رؤوس الرؤية (لأمثلة قليلة - Few-Shot): باستخدام مجموعة دعم مصنفة، يقومون بتطبيق GDA لتصنيف الرؤوس بناءً على قدرتها على فصل الفئات. ويتم اشتقاق الدرجة من لوغاريتم احتمالية الميزات تحت النموذج الغاوسي.
  • رؤوس النص (لصفر-مرحلة - Zero-Shot): يتم تصنيف الرؤوس بناءً على دقة "النعومة" (soft accuracy) في حالة الصفر-مرحلة (حاصل الضرب النقطي بين تمثيلات الصورة والنص) على مجموعة الدعم.
• الرؤية: توضح الورقة أن مجموعة صغيرة من الرؤوس (على سبيل المثال، أفضل 20 رأساً) غالباً ما تتفوق على رمز الملخص للنموذج الكامل بفارق كبير (يصل إلى 10%).

ج. المصنفات التجميعية (Ensemble Classifiers)

يتم دمج الرؤوس المختارة لتشكيل ثلاثة مصنفات متميزة:

1. HEC-V (الرؤية-الأمثلة القليلة): يقوم بمتوسط احتمالات الفئات لأفضل رؤوس الرؤية المصنفة. يُستخدم عندما تكون أسماء الفئات غير معروفة.
2. HEC-T (النص-الصفر-مرحلة): يقوم بمتوسط احتمالات الفئات لأفضل رؤوس النص. يُستخدم للتصنيف في حالة الصفر-مرحلة.
3. HEC-VT (الرؤية-النص-الأمثلة القليلة): مزيج مرجح من احتمالات HEC-V و HEC-T، لسد الفجوة في السيناريوهات التي تتوفر فيها كل من مجموعات الدعم وأسماء الفئات.

3. المساهمات الرئيسية

1. التكييف بالموجه لتحسين الميزات: إثبات أن التكييف بالموجه (المهمة، المجال، الفئة) يحسن بشكل كبير من قابلية الفصل بين الفئات في التمثيلات الداخلية لـ LVLM، مما يسمح بالتكيف مع المجال دون تدريب.
2. اختيار الرؤوس المتفرقة: تقديم طريقة لتحديد واختيار مجموعة متفرقة من رؤوس الانتباه عالية التمييز (رؤوس الرؤية ورؤوس النص) باستخدام GDA، مما يثبت أن هذه الرؤوس تتفوق على المخرج النهائي للنموذج.
3. أداء SOTA بدون تدريب: اقتراح HEC، وهو مصنف لا يتطلب تدريباً يحقق نتائج هي الأفضل (SOTA) في التصنيف بالأمثلة القليلة والصفر-مرحلة عبر 12 مجموعة بيانات متنوعة، مما يسد الفجوة بفعالية بين نماذج LVLM ونماذج CLIP.
4. التكامل: إظهار أن HEC مكمل لأساليب الضبط الدقيق (fine-tuning) ويمكن تطبيقه على أي بنية معمارية لـ LVLM.

4. النتائج التجريبية

تم تقييم الطريقة على 12 مجموعة بيانات (بما في ذلك EuroSAT، وUCF101، وOxfordPets، وStanfordCars، وFlowers102، وFood101، إلخ) باستخدام نماذج Qwen2-VL و LLaVA-OV.

• الرؤية-الأمثلة القليلة (HEC-V):

  • حقق متوسط دقة قدره 82.4% عبر 12 مجموعة بيانات (في إعداد 4-أمثلة).
  • تفوق على جميع أساليب LVLM الأخرى (بما في ذلك SAVs) وتجاوز الأساليب القوية غير القائمة على LVLM (مثل DINOv3 و DFN) في 9 من أصل 12 مجموعة بيانات.
  • بشكل ملحوظ، حسن من أداء الاختبار الخطي (linear probing) الأساسي لـ LVLM بنسبة ~4% باستخدام تكييف المجال.

• النص-الصفر-مرحلة (HEC-T):

  • حسن دقة الصفر-مرحلة لـ Qwen2-VL بنسبة +10.1% في المتوسط، متفوقاً على عموده الفقري CLIP (DFN) بنسبة 1.5%.
  • تفوق باستمرار على رمز الملخص القياسي (ST) وأساليب التصنيف الصفر-مرحلة القائمة على CLIP في معظم مجموعات البيانات.

• الرؤية-النص-الأمثلة القليلة (HEC-VT):

  • حقق متوسط دقة قدره 83.0%، متفوقاً على جميع نماذج LVLM بأكثر من 3% وهزم أفضل الأساليب القائمة على CLIP في المتوسط.
  • أظهر قوة خاصة في مجموعات البيانات غير المتمحورة حول الأشياء (الأنسجة، المشاهد، الأفعال) حيث يواجه CLIP صعوبة غالباً.

• دراسات الاستئصال (Ablation Studies):

  • أكدت أن تكييف المجال يحقق أعلى مكاسب في الأداء.
  • أثبتت أن تجميع الرؤوس (متوسط الاحتمالات) هو عملية قوية ومتفوقة على التصويت أو متوسط اللوغاريتمات (logit averaging).
  • أظهرت أن الرؤوس العليا قابلة للنقل عبر المهام والمجالات، رغم أن اختيارها آنياً من مجموعة الدعم يكاد يكون بفعالية الاختيار المثالي (oracle selection).

5. الأهمية والعمل المستقبلي

• تحول في النموذج الفكري: تتحدى هذه الورقة الفكرة القائلة بأن نماذج LVLM ضعيفة بطبيعتها في التصنيف. فهي تقترح أن "الضعف" يكمن في طبقة فك التشفير النهائية، بينما تحتوي طبقات الانتباه المتوسطة على قدرة تمييزية فائقة.
• الكفاءة: منهجية HEC لا تتطلب تدريباً، ولا تتطلب تحديثات للقيم المتدرجة (gradients) أو ضبط المعلمات، مما يجعلها عالية الكفاءة للانتشار.
• القدرة على التعميم: النهج مستقل عن النموذج (model-agnostic) ويمكن تطبيقه على أي LVLM يحتوي على فك تشفير Transformer.
• القيود: تتطلب الطريقة الوصول إلى ناقلات الانتباه المتوسطة (والتي قد تكون مقيدة في النماذج التي تعمل عبر واجهات برمجة التطبيقات API)، كما أن التكييف بالفئة محدود بعدد الفئات التي تتسع لها نافذة السياق (context window).

في الختام، يقوم HEC بإطلاق قدرات التعلم من الأمثلة القليلة الكامنة في نماذج LVLM من خلال استغلال التكييف بالموجه لتحسين الميزات واختيار رؤوس انتباه محددة لتعظيم أداء التصنيف، مما يوفر بديلاً قوياً لا يتطلب تدريباً للأساليب الحالية القائمة على CLIP أو الضبط الدقيق.