VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) نجاحاً ملحوظاً في المهام البصرية الثابتة مثل وصف الصور والإجابة على الأسئلة البصرية (VQA). ومع ذلك، فإنها تواجه صعوبة في المهام المعرفية عالية المستوى، وتحديداً الاستدلال التناظري عبر صور متعددة.

• قصور المعايير الحالية: تعتمد المعايير المرجعية الحالية غالباً على تنسيقات الاختيار من متعدد (اختيار خيارات محددة مسبقاً)، مما يفشل في اختبار قدرة النموذج على توليد الحلول أو الانخراط في استدلال تجريدي مفتوح النهايات.
• الفجوة: هناك نقص في المعايير المرجعية واسعة النطاق والديناميكية التي تتطلب من النماذج استنتاج القواعد العلاقاتية من السياقات البصرية وتطبيقها لتوليد محتوى بصري جديد، وهي مهمة تتطلب "الابتكار" بدلاً من مجرد "التقييم" (وفقاً لتصنيف بلوم).

2. المنهجية: معيار VOILA

قدم المؤلفون VOILA (تقييم الاستدلال التناظري والتعلم البصري مفتوح النهايات)، وهو معيار مرجعي واسع النطاق، مفتوح النهايات، وديناميكي مصمم لتقييم الفهم الإدراكي والاستدلال العلاقاتي التجريدي للنماذج اللغبية الكبيرة متعددة الوسائط.

أ. تعريف المهمة

المهمة الجوهرية هي مسألة تناظر بصري مهيكلة على النحو التالي: $A : A' :: B : B'$.

• المدخلات: ثلاث صور ($I_1, I_2, I_3$).
  • تشكل $I_1$ و $I_2$ زوجاً مرجعياً يتشاركان معلومات سياقية بصرية وتجريدية.
  • $I_3$ هو بداية زوج التطبيق.
• الهدف: يجب على النموذج استنتاج قاعدة التحول بين $I_1$ و $I_2$ وتطبيقها على $I_3$ لتوليد محتوى الصورة الرابعة ($I_4$).
• المخرجات: يجب على النموذج توليد كل من الوصف النصي (العدد، الموضوع، الفعل) والصورة الفعلية لـ $I_4$.

ب. بناء مجموعة البيانات

• التوليد الديناميكي: ليس VOILA مجموعة بيانات ثابتة، بل هو خط إنتاج قادر على توليد أكثر من 6.4 مليون سيناريو تناظري فريد.
• الخصائص: يقوم النظام بالتلاعب بثلاث خصائص رئيسية:
  1. عدد المواضيع (1–4).
  2. نوع الموضوع (14 فئة، مثل الحيوانات، البشر).
  3. الفعل (13 فئة، مثل السباحة، القراءة).
• تكوينات القواعد: يتم تطبيق أربعة أنواع من القواعد على هذه الخصائص:
  1. ثابت (Stable): تظل الخاصية ثابتة ($P \to P$).
  2. تغيير (Change): تتغير الخاصية ($P_1 \to P_2$).
  3. حسابي (Arithmetic): تغيير عددي بناءً على الجمع أو الطرح ($N_1 \to N_2$).
  4. تشتيت (Distraction): تتغير خاصية ما بشكل عشوائي وتكون غير ذات صلة بالتناظر (أُدخلت لاختبار المتانة).
• المجموعات الفرعية:
  • VOILA-ND (بدون تشتيت): تحتوي فقط على القواعد الثابتة، والتغيير، والحسابية.
  • VOILA-WD (مع تشتيت): تتضمن قاعدة التشتيت، مما يجعل المهمة أصعب بكثير من خلال إدخال تغييرات بصرية غير ذات صلة.
• توليد الصور: يتم توليد الصور باستخدام SDXL بناءً على مطالبات نصية، يتبع ذلك تصفية يدوية لضمان التوافق بين النص والمحتوى البصري.

ج. بروتوكول التقييم

يتبع التقييم خط أنابيب استدلال متعدد الخطوات باستخدام استراتيجية التلقين من "الأقل إلى الأكثر" (L2M):

1. وصف الصور: يصف النموذج محتوى $I_1, I_2, I_3$.
2. تحديد العلاقات: يحدد النموذج الخصائص التي تغيرت أو ظلت ثابتة بين $I_1$ و $I_2$.
3. تطبيق العلاقات: يتنبأ النموذج بخصائص $I_4$ بناءً على القواعد المستمدة في الخطوة 2 ومحتوى $I_3$.
4. توليد الصورة: يولد النموذج المخرج البصري لـ $I_4$.

يتم تسجيل الأداء في كل خطوة باستخدام GPT-4o لمقارنة مخرجات النموذج مع الأوصاف النصية للحقيقة الأرضية (ground truth).

3. المساهمات الرئيسية

1. معيار VOILA: معيار مرجعي قابل للتوسع ومفتوح النهايات للاستدلال التناظري البصري، ينتقل بالنماذج من تنسيقات الاختيار من متعدد إلى متطلبات القدرات التوليدية.
2. خط إنتاج بيانات ديناميكي: طريقة لتوليد ملايين الأسئلة التناظرية البصرية المتميزة عن طريق تبديل الخصائص والقواعد، مما يضمن عدم تسرب البيانات وتنوعاً عالياً.
3. تحليل شامل: تحقيق مفصل في سبب فشل النماذج، مع تحليل الأداء عبر تنسيقات المدخلات (الكولاج مقابل التسلسل)، واستراتيجيات التلقين (L2M مقابل المباشر)، وتأثير التشتيت.
4. الخط المرجعي البشري: وضع خط مرجعي بشري قوي (عبر Amazon Mechanical Turk) لقياس الفجوة بين الذكاء البشري والآلي في هذا المجال.

4. النتائج التجريبية

قيمت الدراسة أحدث النماذج اللغبية الكبيرة متعددة الوسائط (بما في ذلك GPT-4o, LLaMa 3.2, Qwen2-VL, CogVLM2, إلخ) على VOILA.

• فجوة الأداء: توجد فجوة هائلة في الأداء بين البشر والنماذج (MLLMs).

  • الدقة البشرية: ~71% في VOILA-WD و ~70% في VOILA-ND.
  • أفضل دقة للنماذج (MLLM):
    • VOILA-WD: حقق LLaMa 3.2 فقط 13% دقة في تطبيق العلاقات.
    • VOILA-ND: حقق GPT-4o دقة بنسبة 29%.
  • الاستنتاج: تعاني النماذج الحالية بشكل كبير من الاستدلال العلاقاتي التجريدي ونقل المعرفة.

• التدهور التدريجي للخطوات: تنخفض الدقة بشكل حاد مع تعمق سلسلة الاستدلال.

  • تؤدي النماذج أداءً جيداً في وصف الصور (~60–80%).
  • يتراجع الأداء في تحديد العلاقات (~15–40%).
  • يكون الأداء في أدنى مستوياته في تطبيق العلاقات (<15% لمعظم النماذج).

• تأثير التشتيت: أدى إدراج قواعد التشتيت (VOILA-WD) إلى تقليل الأداء بشكل كبير لجميع النماذج باستثناء LLaMa 3.2، الذي أدى بشكل مفاجئ أداءً أفضل في مجموعة البيانات الأصعب منه في الأسهل، مما يشير إلى أنه أفضل في تصفية الضجيج.

• الحساسية لتنسيق المدخلات:

  • الصور المتسلسلة مقابل الكولاج: أدى تقديم الصور كمدخلات متسلسلة منفصلة إلى تحسين الأداء بمتوسط 40% مقارنة بصورة كولاج واحدة.
  • النص مقابل الرؤية: في دراسات الاستبعاد، كان GPT-4o يتفوق بشكل ملحوظ (49% مقابل 22%) عندما يستدل عبر الأوصاف النصية للصور بدلاً من الصور نفسها، مما يسلط الضوء على فجوة في قدرات الاستدلال البصري.

• استراتيجيات التلقين:

  • L2M مقابل الإجابة المباشرة: تفوقت استراتيجية "من الأقل إلى الأكثر" (Least-to-Most) باستمرار على الإجابة المباشرة، مما يؤكد أن تفكيك المهمة يساعد النماذج على إدارة التعقيد.
  • استبعاد الحقيقة الأرضية: حتى عند تزويد النماذج بالأوصاف والعلاقات من الحقيقة الأرضية، واجهت النماذج صعوبة في تطبيق هذه القواعد على صور جديدة (بانخفاض إلى 17% دقة)، مما يشير إلى فشل في تطبيق الاستدلال وليس مجرد الإدراك.

5. الأهمية والخاتمة

• القيود المعرفية: تظهر النتائج أن النماذج اللغبية الكبيرة متعددة الوسائط الحالية تفتقر إلى القدرة على أداء المهام المعرفية العليا التي تتضمن الاستدلال العلاقاتي التجريدي ونقل المعرفة، وهي أمور ضرورية للذكاء بمستوى البشر.
• فائدة المعيار المرجعي: يعمل VOILA كاختبار جهد صارم للنماذج المستقبلية، مما ينقل المجال من مجرد الإدراك البسيط نحو الاستدلال والتوليد المعقد.
• الاتجاهات المستقبلية: تشير الورقة إلى أن تحسين النماذج يتطلب آليات أفضل للتعامل مع الاستدلال متعدد الخطوات، وتصفية المعلومات غير ذات الصلة (التشتيت)، وجسر الفجوة بين الإدراك البصري وتطبيق القواعد التجريدية.

باختصار، يكشف VOILA أنه بينما تعد النماذج اللغبية الكبيرة متعددة الوسائط أدوات إدراكية قوية، فإنها تفشل حالياً في محاكة القدرة البشرية على الاستدلال التناظري، خاصة عندما يُطلب منها توليد حلول مبتكرة بناءً على قواعد تجريدية.