Understanding the Fine-Grained Knowledge Capabilities of Vision-Language Models

إليك ملخص تقني مفصل للورقة البحثية المسبقة بعنوان "فهم قدرات المعرفة دقيقة التفاصيل في نماذج الرؤية واللغة".

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً ملحوظاً في الاستدلال البصري العام، وفهم المستندات، والإجابة المفتوحة على الأسئلة البصرية (VQA). ومع ذلك، هناك فجوة حرجة في قدرتها على أداء التعرف البصري دقيق التفاصيل — أي القدرة على التمييز بين الفئات الفرعية المتشابهة بصرياً (مثل أنواع معينة من الفطر، أو سلالات الطيور، أو أنواع الزهور).

• الانفصال: بينما تتفوق مشفرات الرؤية التقليدية (مثل CLIP أو DINO) في التصنيف دقيق التفاصيل، غالباً ما تتخلف نماذج الرؤية واللغة الحديثة بشكل كبير عن هذه المشفرات في المهام نفسها.
• المخاطر: يشكل هذا القصور مخاطر تتعية تتعلق بالسلامة والموثوقية في التطبيقات الواقعية (مثل الخطأ في تحديد نوع فطر سام على أنه صالح للأكل، أو الخلط بين حالات طبية).
• الفجوة في التقييم: تركز معايير تقييم نماذج الرؤية واللغة الحالية (مثل MMMU وMathVista) بشكل كبير على الاستدلال ومعالجة اللغة، وتفشل في رصد أو قياس هذا البعد المحدد للذكاء البصري.

2. المنهجية

أجرى المؤلفون تقييماً شاملاً ودراسة استئصال منهجية لعزل العوامل التي تدفع الأداء دقيق التفاصيل.

أ. إعداد التقييم

• النماذج: تم تقييم 15 نموذجاً من نماذج الرؤية واللغة المتطورة (بمعلمات تتراوح بين 7 إلى 13 مليار)، بما في ذلك LLaVA وPhi وQwen2-VL وMolmo وCogVLM.
• معايير الاختبار: تم الاختبار على أربعة مجموعات بيانات قياسية للتصنيف دقيق التفاصيل، تم تحويلها إلى تنسيق خيارات متعددة من 5 خيارات لتتناسب مع أنماط استنتاج نماذج الرؤية واللغة:
  • ImageNet-1K (1,000 فئة)
  • Oxford Flowers-102
  • Oxford-IIIT Pets-37
  • Food-101
• الخط المرجعي: تمت مقارنة أداء نماذج الرؤية واللغة مقابل مشفرات الرؤية الأساسية الخاصة بها (مثل CLIP ViT-L/14 وDFN-CLIP) ومعايير VQA العامة (MMMU وMMStar وMMBench).

ب. تجارب الاستئصال (Ablation Experiments)

بنى المؤلفون دراستهم على إطار عمل LLaVA-1.5 لإجراء 22 تجربة استئصال منهجية، مع تغيير أربعة مكونات رئيسية:

1. النموذج اللغوي الأساسي (LLM): استبدال Vicuna-7B بنماذج Llama2-7B وQwen2-7B وQwen2-7B-Instruct.
2. مشفر الرؤية: استبدال CLIP ViT-L/14 بمشفر أقوى وهو DFN-CLIP ViT-H/14.
3. استراتيجية ما قبل التدريب:
   • جودة البيانات: مقارنة التعليقات التوضيحية المجمعة من الويب (LLaVA/CC-3M) مقابل التعليقات البشرية عالية الجودة (Molmo/PixMo).
   • نطاق التدريب: مقارنة "التدريب على الموصل فقط" (Connector-only) مقابل "إلغاء تجميد النموذج اللغوي" (Unfreezing the LLM) (تدريب كل من الموصل وأوزان النموذج اللغوي).
4. ضبط التعليمات (Finetuning): مقارنة ضبط التعليمات باستخدام بيانات LLaVA القياسية مقابل بيانات خاصة عالية الجودة.

3. النتائج الرئيسية

الملاحظة 1: دقيق التفاصيل هي قدرة متميزة

هناك ارتباط ضعيف بين أداء VQA العام والتصنيف دقيق التفاصيل. أظهرت النماذح ذات درجات VQA العامة المتشابهة تبايناً هائلاً في دقة التصنيف دقيق التفاصيل (على سبيل المثال، فرق 19 نقطة مئوية بين CogVLM وLLaVA-NeXT). وهذا يؤكد أن التعرف دقيق التفاصيل هو محور متميز للذكاء البصري لا تلتقطه المعايير الحالية.

الملاحظة 2: الفجوة بين نموذج الرؤية واللغة والمشفر

تؤدي نماذج الرؤية واللغة أداءً أقل باستمرار من مشفرات الرؤية الأساسية الخاصة بها. على سبيل المثال، بينما حقق مشفر DFN-CLIP دقة تقارب 92.5% في مهام دقيقة التفاصيل، حقق نموذج Qwen2-VL الذي يستخدم هذا المشفر حوالي 87.9% فقط. وانخفض أداء معظم نماذج الرؤية واللغة الأخرى أكثر من ذلك خلف مشفراتها.

نتائج الاستئصال (الدروس المستفادة)

1. اختيار النموذج اللغوي: إن ترقية النموذج اللغوي الأساسي (مثلاً من Vicuna إلى Qwen2) يحسن الأداء بشكل موحد عبر كل من التصنيف دقيق التفاصيل ومعايير VQA العامة.
2. اختيار مشفر الرؤية: إن ترقية مشفر الرؤية (مثلاً من CLIP L/14 إلى DFN H/14) تحسن التصنيف دقيق التفاصيل بشكل غير متناسب، ولكن لها تأثير محدود على معايير VQA العامة. ولا يتحقق هذا التحسن إلا إذا تم دمج المشفر بشكل صحيح عبر مرحلة ما قبل التدريب.
3. استراتيجية ما قبل التدريب (حاسمة):
   • إلغاء تجميد النموذج اللغوي: يؤدي ما قبل التدريب حيث يتم تحديث كل من الموصل وأوزان النموذج اللغي إلى دفعة كبيرة (+5.5 نقطة مئوية) في أداء دقيق التفاصيل مقارنة بتدريب الموصل فقط.
   • جودة البيانات: من المثير للدهشة أن جودة التعليقات التوضيحية في مرحلة ما قبل التدريب (التعليقات منخفضة الجودة من الويب مقابل التعليقات البشرية عالية الجودة) كان لها تأثير ضئيل على الأداء دقيق التفاصيل، طالما ظل النموذج اللغوي مجمدًا أثناء ما قبل التدريب.
4. ضبط التعليمات: يساهم ضبط التعليمات بأقل قدر في مكاسب دقيقة التفاصيل مقارنة باختيار النموذج الأساسي واستراتيجية ما قبل التدريب.

الفجوة المتبقية

حتى بعد تحسين كل العوامل المذكورة أعلاه (أفضل LLM، أفضل مشفر، إلغاء تجميد أوزان LLM في ما قبل التدريب)، ظلت هناك فجوة أداء بنسبة ~12% بين أفضل نموذج استئصال لدى المؤلفين ونموذج Qwen2-VL-Chat المتطور. ويعزو المؤلفون ذلك أساساً إلى حجم بيانات ما قبل التدريب (يستخدم Qwen2-VL حوالي 1.4 تريليون توكن مقابل 200 مليون إلى 400 مليون توكن المستخدمة في دراسة الاستئصال).

4. المساهمات الرئيسية

• التقييم الشامل: تقديم أول تقييم واسع النطاق لـ 15 نموذجاً من نماذج الرؤية واللغة خصيصاً على التصنيف دقيق التفاصيل، مما كشف عن بُعد أداء متميز.
• التشريح المنهجي: تحديد أن قوة مشفر الرؤية وإلغاء تجميد النموذج اللغوي أثناء ما قبل التدريب هما المحركان الرئيسيان للمعرفة دقيقة التفاصيل، بينما تُقاد المعايير العامة بشكل أكبر بواسطة اختيار النموذج اللغوي.
• رؤى غير متوقعة: إثبات أن جودة التعليقات التوضيحية أقل أهمية من استراتيجية التدريب (إلغاء تجميد أوزان LLM) للمهام دقيقة التفاصيل.
• خارطة طريق للتحسين: اقترح المؤلفون أنه لبناء نماذج رؤية ولغة ذات فهم بصري فائق، يجب على المطورين إعطاء الأولوية لمشفرات رؤية قوية، وإلغاء تجميد أوزان LLM أثناء ما قبل التدريب، وزيادة حجم بيانات ما قبل التدريب.

5. الأهمية

تتحدى هذه الدراسة الافتراض السائد بأن معايير VQA العامة كافية كبدائل للقدرة البصرية. وهي تسلط الضوء على أن نماذج الرؤية واللغة الحالية "ثقيلة في الاستدلال" ولكنها "خفيفة في الإدراك" فيما يتعلق بالتفاصيل الدقيقة.

تقدم هذه النتائج مساراً واضحاً لتطوير نماذج رؤية ولغة تركز على الرؤية:

1. البنية: استخدام مشفرات رؤية أقوى (مثل DFN-CLIP).
2. التدريب: تجاوز مرحلة "الموصل فقط" في ما قبل التدريب؛ وإلغاء تجميد الـ LLM خلال مرحلة المحاذاة للسماح للنموذج اللغوي بتعلم الميزات البصرية.
3. النطاق: الإقرار بأن أحجام بيانات ما قبل التدريب الهائلة لا تزال هي العامل المهيمن لسد فجوات الأداء النهائية.

هذا البحث حيوي لنشر نماذج الرؤية واللغة في المجالات عالية المخاطر مثل التشخيص الطبي، ومراقبة التنوع البيولوجي، والأنظمة ذاتية القيادة الحساسة للسلامة حيث يكون التحديد البصري الدقيق أمراً لا يقبل التفاوض.