ملخص تقني: فجوة التجريد في الاستدلال السببي للرؤية واللغة

بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) قدرات مثيرة للإعجاب في توليد تفسيرات سببية سلسة ومناسبة سياقيًا للسيناريوهات البصرية. ومع ذلك، لا يزال هناك شك حرج قائم: هل تمتلك هذه النماذج فهمًا هيكليًا حقيقيًا للآليات السببية، أم أنها مجرد عملية توليد نصوص مقبولة لغويًا من خلال مطابقة الأنماط الإحصائية؟ غالبًا ما تفشل طرق التقييم الحالية في التمييز بين المقبولية (الطلاقة اللغوية التي تثير ثقة البشر) والأمانة (انعكاس دقيق لعملية الاستدلال الداخلي للنموذج). وتفرض هذه الفجوة مخاطر كبيرة في المجالات عالية الخطورة مثل التصوير الطبي والقيادة الذاتية، حيث يكون فهم السبب وراء القرار لا يقل أهمية عن القرار نفسه. وبينما اختبرت المعايير الحديثة قدرة نماذج الرؤية واللغة على اختيار سلاسل سببية صالحة من بين مرشحين مقدمين مسبقًا، إلا أنها لا تقيم قدرة النموذج على توليد هذه الهياكل بشكل مستقل.

المنهجية

لمعالجة هذا الأمر، قدم المؤلفون إطار تقييم مزدوج المسبار مصمم لعزل الطلاقة اللغوية عن التجريد الهيكلي. يعتمد هذا الإطار على سلم جوديا بيرل للتسبب، الذي يصنف الأسئلة إلى ثلاثة مستويات:

1. المستوى 1 (الارتباط): ملاحظة الارتباطات.
2. المستوى 2 (التدخل): الاستدلال حول آثار الأفعال الافتراضية.
3. المستوى 3 (الواقع المضاد): تخيل سيناريوهات بديلة تتعارض مع الواقع المرصود.

تستخدم المنهجية مسبارين متميزين:

• مسبار النص فقط: يقيس المقبولية من خلال تقييم الاستجابات النصية القياسية دون قيود هيكلية.
• مسبار السلسلة-النص: يقيس الأمانة من خلال مطالبة النماذج أولاً بتوليد سلسلة سببية صريحة وخفيفة الوزن (على سبيل المثال، $A \rightarrow B \rightarrow C$) قبل تقديم التفسير النصي. يحاكي هذا الترتيب التسلسل المعرفي لـ "الهيكل قبل التعبير"، بافتراض أن الفهم السببي الحقيقي يتطلب بناء تمثيل هيكلي قبل الصياغة اللفظية.

يعرّف المؤلفون مقياس فجوة التجريد (AG) لتكميم التفاوت بين هاتين القدرتين:
$$AG_\ell(M) = \frac{E[T(M, d)] - E[C(M, d)]}{E[T(M, d)]}$$
حيث تمثل $T$ و $C$ درجات توليد النص والسلسلة على التوالي. تشير الفجوة العالية في التجريد (AG) إلى أن النموذج ينتج نصًا سلسًا ولكنه يفشل في توليد تمثيلات هيكلية صالحة.

يتم إجراء التقييم على CAGE (تقييم فجوة التجريد السببي)، وهو معيار جديد يضم 49,500 سؤال مفتوح عبر 5,500 صورة حقيقية من مجموعة بيانات COCO. يغطي CAGE جميع المستويات الثلاثة لتسلسل بيرل ويتطلب التوليد بدون دعامات. تدرس الدراسة ثمانية نماذج من نماذج الرؤية واللغة مفتوحة المصدر باستخدام إطار عمل متعدد القضاة (GPT-4o و Claude 3.5 Sonnet) مع التحقق البشري لضمان الموثوقية.

المساهمات الرئيسية

1. معيار CAGE: أول معيار واسع النطاق للاستدلال السببي البصري يتطلب توليد مخرجات هيكلية صريحة (سلاسل سببية) قائمة على صور واقعية عبر المستويات السببية الثلاثة لبيرل.
2. إطار تقييم مزدوج المسبار: منهجية تعزل قدرة التجريد عن الطلاقة اللغوية، ويتم التحقق من صحتها من خلال تقييم متعدد القضاة ودراسات الاتفاق البشري.
3. اكتشاف فجوة التجريد: تقييم منهجي كشف عن فجوة شديدة بين الطلاقة اللغوية والاستدلال الهيكلي في معظم نماذج الرؤية واللغة الحالية.
4. تحليل إطار التدريب: تجارب أظهرت أن الإشراف على السلسلة الصريحة عبر الضبط الدقيق على 45,000 مثال مشروح بالسلاسل فشل في سد الفجوة للنماذج ذات الأداء الأساسي المنخفض، مما يشير إلى أن قدرات التجريد الهيكلي لا يمكن غرسها بسهولة من خلال الضبط الدقيق القياسي إذا كانت غائبة أثناء مرحلة التدريب المسبق.

النتائج الرئيسية

• فجوة تجريد شديدة: أظهرت سبعة من أصل ثمانية نماذج من نماذج الرؤية واللغة التي تم تقييمها فجوة تجريد (AG) تتجاوز 0.50. حققت هذه النماذج درجات نصية عالية (6-8/10) ولكنها سجلت أقل من 2.5/10 في توليد السلاسل. على سبيل المثال، حقق نموذج CogVLM2 درجة نصية للمستوى 3 بلغت 8.11 بينما سجل 1.37 فقط لتوليد السلسلة.
• استثناء LLaVA-NeXT: حقق نموذج واحد، وهو LLaVA-NeXT، فجوة تجريد تقترب من الصفر (0.03)، مما يثبت أن القدرة على توليد سلاسل سببية أمينة موجودة ضمن بنيات نماذج الرؤية واللغة الحالية وتعتمد على خيارات محددة في التدريب المسبق والبنية المعمارية.
• محدودية الضبط الدقيق: فشل الضبط الدقيق على 45,000 مثال مشروح بالسلاسل في سد الفجوة للنماذج ذات الأداء الأساسي المنخفض (مثل MiniGPT-4 و mPLUG-Owl2). وفي بعض الحالات، أدى الضبط الدقيق إلى تدهور أداء توليد السلسلة أو زيادة المخرجات الفارغة. وعلى العكس من ذلك، أظهرت النماذج التي تمتلك قدرة هيكلية أولية (مثل Qwen-VL-Chat) تحسنًا، مما يدعم الفرضية القائلة بأن الضبط الدقيق يمكن أن ينشط القدرات الموجودة ولكنه لا يستطيع خلقها من العدم.
• استقلالية التجذر: وجدت الدراسة أن التجذر الإدراكي (تجنب هلاوس الأشياء) والتجذر الهيكلي (التجريد السببي) هما قدرتان مستقلتان. لم يؤثر الضبط الدقيق على السلاسل السببية على معدلات الهلوسة، كما أن النماذج المدربة للحد من الهلوسة (مثل LLaVA-RLHF) لا تزال تظهر فجوة تجريد شديدة.
• أداء النماذج الحديثة: أظهر تقييم النماذج الحديثة أنه بينما لا تزال النماذج مفتوحة المصدر مثل Qwen3-VL تظهر فجوة متوسطة (AG = 0.313)، حقق نموذج Gemini 2.5 Flash المغلق فجوة تقترب من الصفر (-0.006)، مما يشير إلى أن الخيارات المعمارية (مثل خليط الخبراء المتفرق - Sparse Mixture-of-Experts) قد تساعد في الحفاظ على قدرات التوليد الهيكلي.

الأهمية والادعاءات

يزعم البحث أن فجوة التجريد تكشف عن عجز هيكلي أساسي في نماذج الرؤية واللغة الحالية: القدرة على توليد تفسيرات سببية مقبولة لغويًا لا تعني بالضرورة القدرة على تمثيل الهيكل السببي. يوفر هذا الاكتشاف أساسًا تجريبيًا للتمييز بين المقبولية والأمانة في الذكاء الاصطناٍ القابل للتفسير.

يجادل المؤلفون بأن عدم التماثل بين التحقق والتوليد (حيث تؤدي النماذج أداءً جيدًا في اختيار السلسلة ولكنها تؤدي أداءً ضعيفًا في التوليد) يشير إلى أن تقييمات الاختيار من متعدد القياسية قد تبالغ في تقدير قدرات الاستدلال لنماذج الرؤية واللغة. علاوة على على ذلك، فإن استقلالية التجذر الإدراكي عن التجذر الهيكلي تعني أنه لا ينبغي افتراض أن التدخلات التي تستهدف أحد أشكال الموثوقية (مثل تقليل الهلوسة) ستنتقل إلى الآخر.

تخلص الدراسة إلى أن فجوة التجريد ليست خاصية حتمية لبنيات نماذج الرؤية واللغة، بل تتأثر بإجراءات التدريب وطرق المحاذاة. وتحديدًا، قد يؤدي تحسين RLHF من أجل النصوص السلسة إلى كبح المخرجات الهيكلية في البنيات الكثيفة، بينما قد تساعد البنيات مثل MoE (خليط الخبراء) في الحفاظ بشكل أفضل على الفصل بين المعالجة اللغوية والاستدلال الهيكلي. وقد تم إصدار معيار CAGE كأداة تشخيصية لتقييم الاستدلال السببي الأمين قبل نشر نماذج الرؤية واللغة في التطبيقات عالية الخطورة.