Towards Annotation-Free Validation of MLLMs: A Vision-Language Logical Consistency Metric

ملخص تقني: نحو التحقق الخالي من التوسيم من نماذج اللغات الكبيرة متعددة الوسائط (MLLMs): مقياس الاتساق المنطقي بين الرؤية واللغة

بيان المشكلة
يعتمد التقييم الحالي للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل كبير على مقاييس الدقة المستمدة من التوسيمات المرتبطة بالحقيقة الأرضية (ground-truth). ويرى المؤلفون أن هذا النهج يعاني من قصورين حرجين:

1. مكافأة التخمين غير المبرر: قد تكافئ مقاييس الدقة عن غير قصد النماذج التي تخمن بشكل صحيح دون فهم حقيقي، وهي ظاهرة تتفاقم بسبب "الاستدلال الوهمي" (mirage reasoning) حيث تتخذ النماذج قرارات دون استخدام المدخلات البصرية.
2. عدم القابلية للتطبيق على المهام المستحدثة: في المجالات عالية المخاطر أو المهام المستحدثة حيث لا تتوفر توسيمات الحقيقة الأرضية، لا يمكن تطبيق مقاييس الدقة التقليدية للتحقق من صحة النموذج أو اختياره.

علاوة على ذلك، فإن طرق الاتساق الذاتي الموجودة غالبًا ما تتطلب بناء مجموعات بيانات جديدة بتوسيمات محددة للحقيقة الأرضية، أو تركز بشكل أساسي على الكفاية المنطقية (إذا كان $p$، فإن $q$)، متجاهلة الضرورة المنطقية.

المنهجية: مقياس الاتساق المنطقي بين الرؤية واللغة (VL-LCM)
يقترح البحث إطار عمل جديدًا يعتمد على مبادئ المنطق الأساسية لتقييم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) على كل من علاقات العلة والمعلول (cause-effect) من حيث الكفاية والضرورة دون الحاجة إلى توسيمات الحقيقة الأرضية. ويتم صياغة المقياس الجوهري، VL-LCM، لتنسيقين مختلفين من الاختبارات المعيارية:

1. تنسيق MC-VQA (مثل MMMU، NegBench):

   • المفهوم: يتم تفكيك سؤال الاختيار من متعدد (MC) القياسي إلى مجموعة من اختبارات "نعم/لا" (YN).
   • الصياغة المنطقية:
     • الشرط الكافي: $V, T, A_k \rightarrow a_k$ (إذا كانت الصورة $V$، والسؤال $T$، والخيار $A_k$ موجودين، فإن الإجابة هي "نعم").
     • الشرط الضروري: $V, T, \neg A_k \rightarrow \neg a_k$ (إذا كانت الصورة $V$ والسؤال $T$ موجودين ولكن الخيار $A_k$ غائب، فإن الإجابة هي "لا").
   • الحساب: يحسب المقياس الاحتمال المشترك لتحديد النموذج للخيار الصحيح عبر تنبؤ الاختيار من متعدد ($P_{MC}$)، والاحتمال المشترك لتدقيق النموذج للخيار عبر اختبارات نعم/لا ($P_{JYN}$). ويُحسب درجة VL-LCM كالمتوسط الهندسي لهذه الاحتمالات، مع تعظيم القيمة عبر جميع الخيارات.

2. تنسيق NaturalBench:

   • المفهوم: يتضمن هذا التنسيق أزواجًا من الصور المتشابهة بصريًا والأسئلة المتشابهة دلاليًا مع إجابات متبادلة.
   • الصياغة المنطقية: يختبر إطار العمل الاتساق عبر أربعة اختبارات MC مشتقة واختبارات YN مقابلة لها، مما يضمن التزام النموذج بالكفاية والضرورة المنطقية عبر اقترانات الصورة-السؤال.
   • الحساب: يتم حساب VL-LCM كمتوسط درجة الاتساق عبر الاختبارات الفرعية الأربعة ضمن وحدة العينة.

المساهمات الرئيسية

1. إطار عمل عام: يقدم المؤلفون إطار تقييم للاتساق المنطقي قابل للتطبيق على كل من الشروط الكافية والضرورية، متجاوزًا فحوصات الاتساق الذاتي التقليدية.
2. مقياس VL-LCM: مقياس محدد لتنسيقات MC-VQA وNaturalBench النموذجية يعمل دون الحاجة إلى توسيمات الحقيقة الأرضية.
3. التقييم المنهجي: أُجريت تجارب شاملة على خمسة اختبارات معيارية صعبة (NegBench، ConBench، MMMU، NaturalBench، ومجموعة بيانات جديدة تسمى NatConBench) باستخدام 11 نموذجًا حديثًا مفتوح المصدر من أربع عائلات رائدة (InternVL، Qwen، LLaVA، Gemma).
4. نتائج جديدة حول الموثوقية: تُظهر الدراسة أن VL-LCM يرتبط ارتباطًا وثيقًا بقيم F1 المستمدة من بيانات الحقيقة الأرضية، مما يؤكد فائدته كوكيل خالي من التوسيم لكل من الدقة والموثوقية.

النتائج التجريبية

• الفجوة بين الدقة والاتساق: بينما تظهر النماذج الحديثة تحسنًا ملحوظًا في الدقة (على سبيل المثال، وصول InternVL-3.0 إلى ~93% في NegBench)، إلا أن درجات VL-LCM الخاصة بها تتأخر بشكل كبير (غالبًا بنسبة 20-40% أقل). وهذا يشير إلى أن الدقة العالية لا تضمن الاتساق المنطقي.
• الارتباط مع الحقيقة الأرضية: يُظهر VL-LCM ارتباطات قوية (بيرسون وسبيرمان) مع قيم F1 المستمدة من الحقيقة الأرضية والدقة المشتركة (J-Acc)، مما يؤكد صلاحيته لترتيب واختيار النماذج دون توسيمات.
• تحليل توزيع الاستجابة: لاحظ البحث وجود ارتباط بين درجات VL-LCM وسلوكيات استجابة النموذج؛ حيث ترتبط درجات VL-LCM الأعلى بانخفاض "الإفراط في الثقة" (الهلوسة) وزيادة "الثقة" في الإجابات الصحيحة، مما يشير إلى أن VL-LCM يمكن أن يعمل كمؤشر للموثوقية.
• القدرة التنبؤية: أثبت المقياس قدرته على التنبؤ بالأداء في مجموعات الاختبار (حيث تكون الحقيقة الأرضية مخفية) بدقة معقولة، مع الحفاظ على ترتيبات مماثلة لمجموعات التحقق.

الأهمية والادعاءات
يدعي البحث أن الاتساق المنطقي، المقاس بواسطة VL-LCM، يوفر رؤية أعمق لأداء النموذج مقارنة بالدقة وحدها. وتحديدًا:

• التحقق الخالي من التوسيم: يتيح VL-LCM ترتيب واختيار والتحقق من صحة نماذج MLLMs في المهام الجديدة والواقعية حيث لا تتوفر بيانات الحقيقة الأرضية.
• تبرير الموثوقية: بعيدًا عن اختيار النماذج، تسمح طبيعة VL-LCM لكل عينة بتبرير الإجابات عبر الإنترنت (online)؛ فإذا أنتج النموذج درجة VL-LCM عالية، يمكن اعتبار الإجابة أكثر موثوقية، حتى دون معرفة الحقيقة الأرضية.
• القيود: يقر المؤلفون بتواضع بوجود قيود، بما في ذلك افتراض أن العلاقات اللغوية الطبيعية هي علاقات ثنائية صارمة (نعم/لا)، وزيادة التكلفة الحسابية لتوليد اختبارات YN/MC الإضافية، والحاجة إلى عمل مستقبلي لتوسيع المقياس ليشمل الاستجابات اللغوية الطبيعية المفتوحة.

في الختام، يرى البحث أن VL-LCM هو مكمل ضروري لمقاييس الدقة، حيث يقدم طريقة قوية وخالية من التوسيم لتقييم السلامة المنطقية وموثوقية نماذج الرؤية واللغة.