Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: A Comprehensive Evaluation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم نماذج الرؤية واللغة الكبيرة في مهام الصور دقيقة التفاصيل: تقييم شامل" (FG-BMK)، المنشورة في ICLR 2026.

1. بيان المشكلة

بينما أظهرت نماذج الرؤية واللغة الكبيرة (LVLMs) قدرات مذهلة في الإدراك والاستنتاج متعدد الوسائط العام (مثل GPT-4o وInternVL وQwen)، إلا أن أداءها في مهام الصور دقيقة التفاصيل (Fine-grained tasks) لا يزال غير مستكشف إلى حد كبير. تتطلب المهام دقيقة التفاصيل التمييز بين الفئات الفرعية (مثل أنواع معينة من الطيور، أو طرازات السيارات، أو أصناف النباتات) التي تختلف فقط بخصائص بصرية دقيقة.

• الفجوة: تركز المعايير الحالية (مثل MMBench أو LVLM-eHub) على المهام الشاملة أو المتخصصة (مثل التعرف الضوئي على النصوص OCR، أو المخططات البيانية) ولكنها تفتقر إلى التقييم المنهجي لنماذج LVLM في التمييز دقيق التفاصيل.
• التحدي: من غير الواضح ما إذا كانت نماذج LVLM قادرة بفعالية على الاستفادة من مشفراتها البصرية وقواعدها اللغوية للتعامل مع الأنماط التمييزية الدقيقة المطلوبة للتعرف دقيق التفاصيل، أم أنها تعاني من تحيزات معرفية، وضعف في محاذاة الميزات، وعرضة للاضطرابات في هذه المجالات المحددة.

2. المنهجية: معيار FG-BMK

لمعالجة هذه الفجوة، قدم المؤلفون FG-BMK، وهو معيار شامل يتكون من 1.01 مليون سؤال و 0.2 ألف صورة مستمدة من 12 مجموعة بيانات دقيقة التفاصيل راسخة (مثل CUB-200-2011، وStanford Dogs، وFood-101، وiNat2021).

يتم إجراء التقييم من خلال نموذجين متميزين:

أ. التقييم الموجه نحو الإنسان

يقيم هذا النموذج قدرة النموذج على المشاركة في الحوار والإجابة على الاستفسارات حول المحتوى البصري. ويتضمن:

• التعرف على السمات: أسئلة "صح/خطأ" واختيار من متعدد تتعلق بالسمات البصرية (اللون، النمط، الشكل، الطول، الحجم).
• تقدير تحيز المعرفة: أسئلة "صح/خطأ" مصممة للكشف عما إذا كانت النماذج تؤدي بشكل أفضل بكثير في فئات معينة بسبب عدم التوازن في بيانات التدريب.
• التعرف على التدرج الهرمي: أسئ تختلف في مستويات التصنيف (الفئة، الجنس، النوع) لاختبار قدرة النموذج على الاستنتاج بمستويات مختلفة من التفصيل.

ب. التقييم الموجه نحو الآلة

يقيس هذا النموذج مباشرة جودة تمثيلات الميزات البصرية المستخرجة بواسطة نماذج LVLM، بشكل مستقل عن مكون توليد اللغة.

• استرجاع الصور: قياس تشابه الميزات البصرية لاسترجاع صور من نفس الفئة الفرعية (المقياس: mAP).
• تصنيف الصور: التعرف على الصور ضمن فئات دقيقة التفاصيل، سواء داخل فئة رئيسية واحدة أو عبر فئات رئيسية متعددة (المقياس: دقة Top-1).
• اختبار المتانة: إدخال اضطرابات في الميزات باستخدام طريقة (Projected Gradient Descent - PGD) لاختبار الاستقرار.

3. المساهمات الرئيسية والإعداد التجريبي

• النطاق: يغطي المعيار 12 مجالاً متنوعاً (الطيور، السيارات، الكلاب، الطائرات، النباتات، المنتجات، إلخ) مع 12 نموذجاً تم تقييمها، بما في ذلك 9 نماذج LVLM مفتوحة المصدر (مثل InternVL3، وLLaVA-1.5، وQwen2.5-VL)، ونموذجان مغلقان المصدر (GPT-4o، وGemini-2.0-flash)، ونموذج رؤية خالص (DINOv2).
• المتغيرات الضابطة: تعزل الدراسة عوامل مثل نماذج التدريب (التباين مقابل التوليد مقابل إعادة البناء)، وأحجام مشفرات الرؤية، وتأثير دقة محاذاة الصورة والنص.

4. النتائج والمكتشفات الرئيسية

أ. أهمية نماذج التدريب

• التدريب التبايني هو الفائز: تفوق النماذج المدربة باستخدام نماذج التباين (مثل EVA-CLIP، وInternVL، وDINOv2) بشكل كبير على تلك التي تستخدم نماذج التوليد أو إعادة البناء (مثل Qwen، وBEiT3) في التمييز دقيق التفاصيل.
• القصور التوليدي: تميل خسائر التوليد وإعادة البناء إلى إعطاء قدرة تمييز أضعف للميزات دقيقة التفاصيل، حيث تعطي الأولوية للتماسك الدلالي على التمايزات البصرية الدقيقة.

ب. "عقوبة المحاذاة" (Alignment Penalty)

• عدم تطابق الدقة: غالباً ما تؤدي محاذاة الميزات البصرية مع الميزات النصية إلى إضعاف القدرة على التمييز دقيق التفاصيل. ويُعزى ذلك إلى عدم التطابق في الدقة بين أزواج الصور والنصوص في بيانات التدريب (على سبيل المثال، صورة لنوع معين من الطيور مقترنة بوصف عام مثل "طائر").
• الدليل: عندما تمت محاذاة الميزات البصرية مع نصوص دقيقة التفاصيل (إعادة التدريب)، تحسن الأداء، لكن الميزات البصرية الأصلية (غير المحاذية) ظلت غال في كثير من الأحيان متفوقة لمهام التصنيف.

ج. تحيز المعرفة وعدم توازن البيانات

• أداء غير متسق: تُظهر نماذج LVLM تبايناً عالياً في الدقة عبر مختلف الفئات دقيقة التفاصيل (مثلاً، دقة 90% في بعض الأنواع مقابل 30% في أخرى).
• السبب الجذري: ينتج هذا التحيز أساساً عن التمثيل غير المتساوي للفئات في بيانات التدريب بدلاً من الصعوبة المتأصلة في المهمة البصرية. ويقلل الضبط الدقيق باستخدام مجموعات بيانات متوازنة من هذا التباين بشكل كبير.

د. المتانة والاضطرابات

• الضعف: نماذج LVLM أكثر عرضة للاضطرابات في الميزات في المهام دقيقة التفاصيل مقارنة بالمهام العامة (على سبيل المثال، انخفضت الدقة في CUB-200-2011 من ~89% إلى ~25% تحت تأثير الاضطراب، بينما انخفضت CIFAR-100 بشكل أقل حدة).
• المقارنة: تُظهر نماذج الرؤية الخالصة المدربة باستخدام (cross-entropy) على بيانات عالية الجودة (مثل ImageNet) متانة فائقة مقارنة بنماذج LVLM الحالية.

هـ. الاستنتاج مقابل الإدراك

• الإدراك: نماذج LVLM قوية في التعرف على المظاهر البصرية (مثل "هل الطائر أحمر؟").
• الاستنتاج: تواجه صعوبة في الاستنتاج دقيق التفاصيل الذي يتطلب دمج السمات البصرية مع المعرفة بالمجال (مثل التمييز بين نوعين متشابهين جداً بناءً على تركيبات سمات دقيقة).
• الفجوة: رغم التقدم، لا تزال نماذج LVLM تتأخر عن النماذج المتخصصة في مهام التصنيف البحتة (مثل CAP وSR-GNN).

5. الأهمية والتوجهات المستقبلية

• أداة تشخيصية: يوفر FG-BMK إطاراً تشخيصياً حرجاً لتحديد نقاط الضعف المحددة في بنيات نماذج LVLM الحالية، خاصة فيما يتعلق بمحاذاة الميزات وجودة بيانات التدريب.
• توجيهات التصميم:
  • بناء البيانات: يجب أن تضمن بيانات التدريب المستقبلية محاذاة الدقة بين الصور والنصوص للحفاظ على القدرة التمييزية البصرية.
  • أهداف التدريب: يعد دمج أهداف التعلم التبايني أثناء مرحلة المحاذاة أمراً بالغ الأهمية للحفاظ على جودة الميزات دقيقة التفاصيل.
  • النهج الهجين: هناك حاجة لتطوير نماذج تحتفظ بقدرات الاستنتاج العامة لنماذج LVLM مع دمج وحدات متخصصة في التعرف دقيق التفاصيل.
• المصدر المفتوح: قام المؤلفون بجعل الكود، وتقسيمات البيانات، وسكريبتات التقييم مفتوحة المصدر لتسهيل المزيد من الأبحاث في هذا المجال.

في الختام، تجادل الورقة بأن نماذج LVLM، رغم كونها نماذج عامة قوية، إلا أنها ليست بعد "خبيرة دقيقة التفاصيل". إن أداءها حالياً مقيد بعدم تطابق دقة البيانات التدريبية ومحدودية نماذج التدريب التوليدية في الحفاظ على التمايزات البصرية الدقيقة.