Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "الحجم لا يمكنه التغلب على البراغماتية (التداولية): تأثير انحياز التقرير على الاستدلال في الرؤية واللغة."

1. بيان المشكلة

على الرغم من الأداء المثير للإعجاب في الاختبارات المعيارية، تفشل نماذج الرؤية واللغة (VLMs) باستمرار في مهام استدلال محددة، بما في ذلك العد، والاستدلال المكاني، والنفي، والاستدلال الزمني. الفرضية السائدة في هذا المجال هي أن هذه الإخفاقات تنبع من عدم كفاية حجم النموذج أو بنيته.

يفترض المؤلفون سبباً مختلفاً: انحياز التقرير (Reporting Bias). وهي ظاهرة متجذرة في اللسانيات والبراغماتية (التداولية)، حيث يحذف الملحوظون البشر المعلومات "الضمنية" بشكل منهجي عند وصف الصور. على سبيل المثال، يميل الناس طبيعياً لقول "قط وكلب" بدلاً من "قط على يسار كلب" لأن العلاقة المكانية غالباً ما تُعتبر بديهية أو غير ذات صلة بسياق المحادثة (مبادئ غرايس - Gricean Maxims). وبناءً على ذلك، حتى مجموعات البيانات الضخمة (مثل LAION و LLaVA-1.5) تفتقر إلى أمثلة كافية لهذه المهارات الاستدلالية، مما يؤدي إلى فشل النماذج فيها رغم أحجام البيانات الهائلة.

2. المنهجية

يتبع البحث منهجية مكونة من أربع خطوات للتحقق من الفرضية واقتراح حل:

أ. التحليل النظري وتدقيق البيانات

حلل المؤلفون ثلاثة من أكبر مجموعات بيانات الصور والنصوص مفتوحة المصدر (LAION-2B، و LLaVA-1.5، و Molmo) لقياس تكرار الكلمات المفتاحية المتعلقة بالاستدلال (مثل "يسار"، "قبل"، "لا"، "خمسة").

• المقياس: قاموا بحساب التكرار الخام للكلمات المفتاحية وتحققوا يدوياً من "التكرار الحقيقي" (الحالات التي تقوم فيها الكلمة المفتاحية فعلياً بتفعيل المنطق الاستدلالي في الصورة).
• النتيجة: المفاهيم الاستدلالية نادرة للغاية. على سبيل المثال، تشكل الكلمات المفتاحية للاستدلال المكاني حوالي 0.1% فقط من LAION-2B، وحالات النفي الحقيقية أقل من ذلك بكثير.

ب. إنشاء الاختبارات المعيارية

قام المؤلفون بتنسيق أربعة اختبارات معيارية محددة باستخدام صيغ الاختيار من متعدد أو الإجابة المباشرة لعزل مهارات الاستدلال هذه:

1. المكاني: تحديد العلاقات (على، تحت، يسار، يمين) بين جسمين.
2. العد: تحديد العدد الدقيق للأجسام (2-10).
3. النفي: تحديد ما ليس جزءاً من الجسم (مثلاً: "دب ليس طائراً").
4. الزمني: التمييز بين حالات "قبل" و "بعد" لحدث ما.

ج. تجارب قوانين القياس (Scaling Laws)

قيم المؤلفون مجموعة واسعة من النماذج (التباينية: متغيرات OpenCLIP؛ التوليدية: LLaVA-1.5، Molmo، Qwen، GPT-4o، إلخ) على هذه الاختبارات.

• تحليل الحجم: اختبروا نماذج OpenCLIP بأحجام بارامترات متفاوتة (من ViT-B إلى ViT-H) وأحجام بيانات تدريب متنوعة (من 80 مليون إلى 2 مليار صورة).
• التحليل متعدد اللغات: اختبروا ما إذا كان إضافة ترجمات لتعليقات غير إنجليزية (لزيادة التنوع) سيخفف من حدة الانحياز.

د. دراسة تعليمات الملحوظين (دراسة المستخدم)

لإثبات أن نقص بيانات الاستدلال يعود إلى الحذف وليس الاستحالة، أجرى المؤلفون دراسة مستخدم مضبوطة:

• الإعداد: قام 100 ملحظ بوصف نفس الـ 100 صورة من مجموعة COCO تحت أربع مجموعات مختلفة من التعليمات:
  1. تعليمات COCO القياسية (بدون مطالبات استدلال محددة).
  2. تعليمات LLaVA-1.5 (تطالب بالعد/المواقع).
  3. تعليمات PixMo (تطالب بالعد/المواقع).
  4. تعليمات مخصصة: تطلب صراحةً معلومات مكانية، زمنية، عدّ، ونفي.
• التحقق: قاموا بقياس "التكرار الحقيقي" للمفاهيم الاستدلالية في التعليقات الناتجة.

هـ. التحقق من الضبط الدقيق (Fine-tuning)

لاختبار ما إذا كان زيادة كثافة بيانات الاستدلال يحسن الأداء، قام المؤلفون بإجراء ضبط دقيق لنموذج LLaVA-1.5-13B على مجموعة بيانات زادوا فيها نسبة بيانات العد اصطناعياً (من ~7% إلى 39%) باستخدام تعليماتهم المخصصة.

3. النتائج الرئيسية

أ. انتشار انحياز التقرير

• الندرة: في LAION-2B، يحدث الاستدلال المكاني بنسبة ~0.1%، والعد بنسبة ~1.7%، والنفي بنسبة ~0.1%.
• البيانات الاصطناعية: حتى البيانات المولدة بواسطة النماذج اللغوية الكبيرة (LLM) مثل LLaVA-1.5 تعاني من هذا الانحياز، لأن النماذج اللغوية الأساسية مدربة على بيانات بشرية تعاني من نفس انحياز التقرير.

ب. فشل القياس (Scaling)

• فجوة الأداء: تؤدي نماذج الرؤية واللغة مفتوحة المصدر أداءً أسوأ بكثير من البشر (أقل بنحو 54 نقطة في المتوسط).
• عدم الظهور (No Emergence): زيادة حجم النموذج (البارامترات) أو حجم البيانات (قوانين القياس) لا يؤدي إلى ظهور هذه المهارات الاستدلالية.
  • المكاني/الزمني/النفي: يظل الأداء ثابتاً أو يتحسن بشكل ضئيل مع زيادة الحجم.
  • العد: يظهر تحسناً طفيفاً ولكنه يتطلب كمية "لا يمكن تصورها" من البيانات للوصول إلى الأداء البشري.
• فشل تعدد اللغات: إضافة التنوع متعدد اللغات (ترجمة التعليقات) لم يحسن الأداء، مما يثبت أن الانحياز عالمي عبر اللغات وليس مقتصرًا على الإنجليزية.

ج. فعالية التعليمات

• دراسة المستخدم: عندما طُلب من الملحوظين صراحةً تضمين مفاهيم الاستدلال، زاد "التكرار الحقيقي" لهذه المفاهوهات بشكل كبير.
  • النفي/الزمني: قفزا من ما يقرب من 0% (في COCO القياسية) إلى 52% و 44% على التوالي مع التعليمات المخصصة.
  • المكاني/العد: ارتفعا من ~8-23% إلى ~40-50%.
• الضبط الدقيق: أدى الضبط الدقيق لـ LLaVA-1.5 على بيانات بكثافة عد بنسبة 39% (مقابل 6.9% في البيانات القياسية) إلى تحسين أداء العد من 49.8% إلى 54.4%، مما يثبت أن البنية يمكنها تعلم هذه المهارات إذا كانت البيانات موجودة.

4. المساهمات الرئيسية

1. تحديد انحياز التقرير: تحدد الورقة رسمياً "انحياز التقرير" (المتجذر في مبادئ غرايس) كعائق رئيسي لاستدلال نماذج الرؤية واللغة، بدلاً من قدرة النموذج.
2. الدليل التجريبي على حدود القياس: تثبت أن توسيع نطاق البيانات والبارامترات وحده لا يمكنه التغلب على الحذوفات البراجماتية؛ إذ سيتطلب الأمر كمية هائلة من البيانات لتعلم هذه المهارات عن طريق الصدفة.
3. مجموعة اختبارات معيارية: قدمت مجموعة صارمة من الاختبارات تستهدف تحديداً الاستدلال المكاني، والزمني، والعد، والنفي لتقييم نماذج الرؤية واللغة بعيداً عن مهام الإدراك القياسية.
4. التخفيف عبر التعليمات: أثبتت أن تعليمات الملحوظين هي رافعة حاسمة. من خلال الطلب صراحةً عن المعلومات "الضمنية" (مثل "صف الموقع"، "عد الأجسام")، يمكن جعل عمليات جمع البيانات "واعية بالاستدلال"، مما يزيد بشكل كبير من كثافة هذه المفاهيم في مجموعات بيانات التدريب.

5. الأهمية والآثار المترتبة

• تحول في النموذج الفكري: تتحدى الورقة عقيدة "الأكبر هو الأفضل" في تطوير نماذج الرؤية واللغة. وتجادل بأن التنسيق المتعمد للبيانات أكثر فعالية من التوسع العشوائي.
• استراتيجية جمع البيانات: يجب أن تتجاوز مجموعات البيانات المستقبلية مجرد الكشط السلبي أو الوصف العام. يجب أن تتضمن خطوط أنابيب جمع البيانات مطالبات محددة مصمم لإثارة الاستدلال (مثل السؤال "ماذا يحدث قبل/بعد؟" أو "ما الذي ليس موجوداً؟").
• توليد البيانات بواسطة النماذج اللغوية الكبيرة (LLM): تحذر النتائج من أن توليد البيانات الاصطناعية ليس حلاً سحرياً؛ فالنماذج اللغوية الكبيرة ترث انحيازات التقرير البشرية. يجب أن تكون التعليمات المعطاة للنماذج اللغوية لتوليد البيانات بنفس دقة التعليمات المعطاة للملحوظين البشر.
• البراجماتية في الذكاء الاصطناعي: تربط الورقة بين البراجماتية اللسانية وتدريب الذكاء الاصطناعي، مشيرة إلى أنه لبناء نماذج "تفكر" مثل البشر، يجب تدريبها على بيانات تعكس نية الإنسان في التواصل بشأن العلاقات المعقدة، وليس فقط عادة الإنسان في حذفها.

في الختام، تؤكد الورقة أن الحجم لا يمكنه التغلب على البراجماتية. ولتحقيق استدلال بمستوى البشر في نماذج الرؤية واللغة، يجب على المجتمع الانتقال من الاعتماد على حجم البيانات إلى الاعتماد على جودة البيانات وتصميم التعليمات المتعمد.