Spatial Reasoning is Not a Free Lunch: A Controlled Study on LLaVA

1. بيان المشكلة

على الرغم من التقدم السريع في نماذج الرؤية واللغة (VLMs)، إلا أنها تظهر هشاشة كبيرة في مهام الاستدلال المكاني الأساسي، مثل فهم المواقع النسبية، والتخطيطات، وعدّ الأشياء. يرى المؤلفون أن هذا الفشل ليس مجرد مسألة نقص في البيانات، بل هو مرتبط بشكل أساسي بخيارين تصميميين هيكليين سائدين في خطوط معالجة نماذج الرؤية واللغة الحالية:

1. أهداف مشفر الصورة: الاعتماد على مشفرات من نوع CLIP التي يتم تدريبها أساساً على المحاذاة العالمية بين الصورة والنص، مما يؤدي غالباً إلى إهمال التفاصيل المكانية الدقيقة.
2. الترميز الموضعي: الممارسة القياسية المتمثلة في تسطيح الصور ثنائية الأبعاد (2D) إلى تسلسلات رموز أحادية البعد (1D) وتطبيق ترميز موضعي أحادي البعد (مثل 1D RoPE)، مما يؤدي إلى انهيار البنية المكانية ثنائية الأبعاد المتأصلة أثناء عملية الدمج متعدد الوسائط.

غالباً ما تخلط الاختبارات المرجعية الحالية بين حجم البيانات، والهندسة المعمارية، وأهداف التدريب، مما يجعل من الصعب عزل عوامل التصميم المحددة التي تسبب الإخفاقات المكانية.

2. المنهجية

أجرى المؤلفون دراسة تشخيصية محكومة ضمن إطار عمل LLaVA-1.5 (7B) لعزل تأثير أهداف المشفر وأشكال الترميز الموضعي على التأسيس المكاني.

• الإعداد التجريبي:
  • النموذج الأساسي: استخدمت جميع التجارب نفس العمود الفقري اللغوي لـ LLaVA-7B وخط معالجة التدريب (مرحلتان: التدريب المسبق للإسقاط متبوعاً بضبط التعليمات الكامل) لضمان مقارنة عادلة.
  • المتغير 1: مشفرات الصور: قام المؤلفون باستبدال مشفر الصورة بأربعة متغيرات مختلفة:
    • CLIP: الخط المرجعي القياسي (يركز على المحاذاة العالمية).
    • SigLIP و SigLIP2: متغيرات ذات دوال خسارة مختلفة وميزات أكثر كثافة.
    • AIMv2: مشفر تم تدريبه باستخدام أهداف أكثر كثافة/توليدية.
  • المتغير 2: الترميز الموضعي: تم اختبار كل متغير من المشفرات في تكوينين:
    • القياسي (Standard): ترميز دوراني موضعي أحادي البعد (1D RoPE) بعد تسطيح الصورة.
    • المُعزز (Augmented): ترميز دوراني موضعي ثنائي البعد (2D-RoPE)، والذي يقوم صراحةً بترميز مؤشرات الرقع (patches) الأفقية والعمودية، مما يحافظ على البنية ثنائية الأبعاد أثناء آليات الانتباه.
• الاختبارات المرجعية للتقييم: تم تقييم النماذج عبر مجموعة من مجموعات بيانات الاستدلال المكاني، بما في ذلك MMVP، وCV-Bench، وGQA، وVSR، وTopViewRS، وTallyQA، وCountBenchQA.
• التحليل النوعي: تضمنت الدراسة اختبارات تحديد المواقع البصرية (توليد صناديق الإحاطة) لملاحظة الاختلافات في الدقة المكانية بين المشفرات.

3. المساهمات الرئيسية

1. عزل عوامل التصميم: تقدم الورقة أول دراسة محكومة ضمن إطار موحد (LLaVA) لفصل تأثير أهداف مشفر الصورة عن هياكل الترميز الموضعي على الاستدلال المكاني.
2. إثبات التبعية للمشفر: تثبت الدراسة أن اختيار العمود الفقي البصري هو المحرك الرئيسي للأداء المكاني. فالمشفرات المحسنة للمحاذاة العالمية (CLIP) تؤدي أداءً أقل مقارنة بتلك المدربة بأهداف أكثر كثافة أو توليدية (AIMv2).
3. محدودية الترميز الموضعي ثنائي البعد: تكشف الدراسة أنه على الرغم من أن الترميز الموضعي ثنائي البعد يساعد، إلا أنه غير كافٍ بمفرده لحل إخفاقات الاستدلال المكاني إذا كانت الميزات البصرية الأساسية تفتقر إلى التفاصيل المكانية.
4. التقييم المرجعي الشامل: تقيم الورقة النماذج الرائدة (مثل Qwen2.5-VL، وMolmo، وGemma3) إلى جانب المتغيرات المحكومة، مما يسلط الض الضوء على أن حتى النماذج المتطورة تعاني من عدم الاتساق المكاني.

4. النتائج الرئيسية

• أداء النماذج الرائدة: حتى النماذج رفيعة المستوى مثل Qwen2.5-VL وMolmo تظهر أداءً مكانياً غير متسق. وبينما يتصدر Qwen2.5-VL في عدة اختبارات مرجعية (CV-Bench، MMVP، VSR)، لا يهيمن نموذج واحد على جميع المهام المكانية، مما يشير إلى أن التوسع وحده لا يحل مشكلة التأسيس المكاني.
• تأثير المشفر (أسطورة "الغداء المجاني"):
  • تفوق LLaVA-AIMv2 (المدرب بأهداف أكثر كثافة/توليدية) باستمرار على الخط المرجعي القائم على CLIP عبر مقاييس متعددة (CV-Bench، TallyQA، CountBenchQA).
  • أظهرت متغيرات LLaVA-SigLIP مكاسب مجزأة، مما يشير إلى أن مجرد تغيير دالة الخسة دون إشراف كثيف ليس حلاً سحرياً.
  • الاستنتاج: المشفرات المدربة للمحاذاة العالمية لا تدعم الاستدلال المكاني بشكل موثوق؛ فالإشراف الكثيف/التوليدي أمر بالغ الأهمية.
• تأثير 2D-RoPE:
  • أدت إضافة الترميز الموضعي ثنائي البعد إلى نتائج مختلطة. فقد حسنت الأداء في سياقات محددة (مثل AIMv2 في MMVP/VSR، وSigLIP في GQA) ولكنها أدت إلى تراجع الأداء في سياقات أخرى (مثل CV-Bench لـ AIMv2، ومهام CLIP المرجعية).
  • يشير هذا إلى أن الحفاظ على البنية ثنائية الأبعاد ضروري ولكنه ليس كافياً؛ إذ يجب أن تحتوي الميزات البصرية بالفعل على التفاصيل المكانية اللازمة ليكون الترميز الموضعي فعالاً.
• النتائج النوعية: في مهام تحديد مواقع الأشياء، أنتج AIMv2 صناديق إحاطة أكثر إحكاماً ودقة، بينما أنتج SigLIP2 غالباً صناديق غير دقيقة أو غير متوافقة، مما يؤكد الاتجاهات الكمية.

5. الأهمية والخاتمة

تخلص الورقة إلى أن الاستدلال المكاني هو بُعد تصميمي لم يتم معالجته بشكل كافٍ في نماذج الرؤية واللغة الحديثة. ويرى المؤلفون أن:

• الإخفاقات المكانية متجذرة هيكلياً في خط المعالجة، وتحديداً في هدف تدريب المشفر البصري وتسطيح البيانات المكانية.
• مجرد توسيع النماذج أو إضافة ترميز موضعي ثنائي البعد إلى مشفر يعتمد على المحاذاة العالمية لا "يصلح" الاستدلال المكاني.
• الاتجاهات المستقبلية: يقترح المؤلفون أن التعامل مع التمثيل المكاني كـ "اهتمام من الدرجة الأولى" أمر ضروري. يجب أن تستكشف الأعمال المستقبلية الاستدلال المكاني ثلاثي الأبعاد، والمعالجة المسبقة المرنة للدقة (مثل NaFlex)، والتحليل الأعمق لسبب تعارض 2D-RoPE أحياناً مع الترميزات الموضعية لنماذج LLM.

الخلاصة الجوهرية: الاستدلال المكاني ليس "غداءً مجانياً" ينبثق تلقائياً من التوسع أو التدريب العام؛ بل يتطلب خيارات تصميمية هيكلية وهدفية صريحة تعطي الأولوية للبنية المكانية والميزات البصرية الدقيقة.