Attention in Space: Functional Roles of VLM Heads for Spatial Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الانتباه في الفضاء: الأدوار الوظيفية لرؤوس نماذج VLM للاستدلال المكاني".

1. بيان المشكلة

على الرغم من التقدم الكبير في نماذج الرؤية واللغة (VLMs)، لا يزال الاستدلال المكاني يمثل عقبة حرجة. فبينما تتفوق هذه النماذج في مهام مثل وصف الصور وكشف الأشياء، فإنها تخفق تكراراً في الاستعلامات المكانية البسيطة (مثل: "هل الكلب يواجه الحصان؟").

• الفجوة: حددت الأبحاث الحالية رؤوس انتباه متفرقة مسؤولة عن التأسيس البصري (ربط النص بمناطق الصورة). ومع ذلك، لا يزال من غير الواضح كيف تنسق هذه النماذج داخلياً هذه الآليات لأداء استدلال مكاني معقد ومتعدد الخطوات يتطلب دمج الإدراك، والمنطق العلاقاتي، واتخاذ القرار.
• الفرضية: على غرار الدماغ البشري، الذي يستخدم مناطق متميزة للمعالجة البصرية، ورسم الخرائط المكانية، والاستدلال العلاقاتي، فمن المرجح أن تمتلك نماذج VLM رؤوس انتباه متخصصة مخصصة لوظائف معرفية محددة. وقد يكون ندرة أو عدم محاذاة هذه "الرؤوس المكانية" هو ما يفسر إخفاقات النماذج الحالية.

2. المنهجية

اقترح المؤلفون إطار عمل للتحليل التفسيري الآلي يتميز بثلاثة مكونات أساسية:

أ. CogVSR: معيار قائم على الأسس المعرفية

لتحليل الاستدلال المكاني بشكل دقيق، قدم المؤلفون CogVSR، وهو مجموعة بيانات تفكك الأسئلة المكانية المعقدة إلى أسئلة فرعية خطوة بخطوة باستخدام نموذج "سلسلة الأفكار" (Chain-of-Thought - CoT).

• الهيكل: 1,142 سؤالاً رئيسياً تم تقسيمها إلى 3,759 سؤالاً فرعياً.
• التصنيف المعرفي: كل سؤال فرعي مصنف وفقاً لواحدة من ثماني وظائف معرفية:
  1. الإدراك المكاني: فهم المواقع، والاتجاهات، والعلاقات الهندسية.
  2. الاستدلال العلاقاتي: مقارنة العلاقات بين الكيانات.
  3. الإدراك البصري عالي/منخفض المستوى: التعرف على الأشياء واستخراج الميزات.
  4. استخراج المعلومات اللغوية: استرجاع السياق.
  5. استدعاء المعرفة: الوصول إلى المعرفة المسبقة.
  6. الاستدلال الرياضي: العد والحساب.
  7. اتخاذ القرار: اختيار الإجابة النهائية.
• ضبط الجودة: يضمن خط أنابيب تحقق بشري صارم ذو مرحلتين الاتساق المنطقي ودقة التصنيف الوظيفي.

ب. إطار استقصاء لتحديد الرؤوس (Probing Framework)

طور المؤلفون إطار عمل لتحديد رؤوس الانتباه المسؤولة عن وظائف معرفية معينة:

1. استخراج الميزات: لكل سؤال فرعي، يستخرجون تنشيطات رؤوس الانتباه (متجهات القيم المسقطة في التدفق المتبقي) عبر جميع الطبقات. ويركزون على أكثر الرموز (tokens) أهمية في الإجابة المولدة.
2. التصنيف: يتم تدريب مصنف متعدد الملصقات (MLP) للتنبؤ بالوظيفة المعرفية بناءً على تنشيطات هذه الرؤوس.
3. تسجيل الأهمية: باستخدام طريقة عزَم (attribution) قائمة على التدرج (الدرجة × التنشيط)، يحسبون درجة الأهمية لكل رأس انتباه فيما يتعلق بكل وظيفة معرفية.

ج. استراتيجيات التدخل

للتحقق من الدور السببي للرؤوس المحددة، قام المؤلفون بنوعين من التدخلات:

• التدخل السلبي (الاستئصال - Ablation): تقليل مخرجات "الرؤوس المعرفية" المحددة لتصل إلى ما يقارب الصفر.
• التدخل الإيجابي (التنشيط - Activation): إزاحة تنشيط الرؤوس على طول اتجاه وظيفة معينة (المحسوبة كفرق بين تنشيطات الإجابة الصحيحة والخاطئة) لـ "تعزيز" تلك القدرة.
• تنشيط الرؤوس المكانية (SHA): طريقة مبتكرة لتنشيط الرؤوس المكانية الكامنة من خلال توفير أولويات أشياء صريحة (صناديق الإحاطة والأقنعة) لتقليل الاعتماد على الإشارات البصرية عالية المستوى، مما يجبر النموذج على استخدام آليات الاستدلال المكاني.

3. المساهمات الرئيسية

1. مجموعة بيانات CogVSR: أول معيار يفصل الاستدلال المكاني بشكل منهجي إلى عمليات معرفية فرعية قابلة للتفسير، مما يسمح بتحليل دقيق لداخل نماذج VLM.
2. اكتشاف التخصص الوظيفي: أثبتت الدراسة أن نماذج VLM تحتوي على رؤوس انتباه متفرقة، وعالمية، وجوهرية مخصصة لوظائف معرفية محددة (مثل رؤوس معينة للإدراك المكاني مقابل الاستدلال الرياضي).
3. تحديد الندرة المكانية: وجدت الدراسة أن الرؤوس المتخصصة مكانياً هي أقل وفرة بشكل ملحوظ من تلك الخاصة بالوظائف الأخرى (مثل استخراج المعلومات)، مما يوفر تفسيراً آلياً لسبب تعثر نماذج VLM في المهام المكانية.
4. طرق التنشيط: اقترح المؤلفون تنشيط الرؤوس المكانية (SHA) واستراتيجيات التدخل الإيجابي التي تحسن أداء الاستدلال المكاني دون الحاجة لإعادة تدريب النموذج.

4. النتائج التجريبية

أُجريت الدراسة على ثلاث عائلات رئيسية من نماذج VLM (Intern, Qwen, Llama) بأحجام متفاوتة (من 2B إلى 90B بارامتر).

• التفرع والشمولية: كشفت الخرائط الحرارية أن أقل من 9% من جميع رؤوس الانتباه لديها درجات أهمية كبيرة عبر الوظائف الثمانية. هذا التنظيم المتفرق ثابت عبر مختلف بنيات النماذج وأحجامها.
• ندرة الرؤوس المكانية: وُجد أن رؤوس الإدراك المكاني والاستدلال العلاقاتي هي الأقل وفرة مقارنة بالوظائف الأخرى، وهو ما يرتبط بالأداء المنخفض في الاختبارات المكانية.
• تأثير التدخل:
  • الاستئصال (Ablation): أدى حجب الرؤوس المعرفية المحددة إلى انخفاض حاد في الأداء (على سبيل المثال، انخفاض الدقة إلى أقل من 20% في بعض الحالات)، بينما كان حجب الرؤوس العشوائية له تأثير ضئيل.
  • التنشيط (Activation): أدى تطبيق تنشيط الرؤوس المكانية (SHA) (باستخدام صناديق الإحاطة/الأقنعة) إلى تحسين الدقة في مهام الإدراك المكاني والاستدلال العلاقاتي بنسبة ~10% لنموذج InternVL3-2B و ~5% لنموذج Llama3.2-90B-Vision.
  • التدخل الإيجابي: أدت إزاحة التنشيطات نحو الوظائف المكانية في الاختبارات اللاحقة (VSR, SpatialEval, 3DSRBench) إلى تحسين دقة LLM-Judge باستمرار.

5. الأهمية والخاتمة

يقدم هذا العمل تفسيراً آلياً لمحدودية نماذج VLM في الاستدلال المكاني. ومن خلال تجاوز تحليل مستوى الرمز (token-level) إلى رسم الخرائط الوظيفية على مستوى الرأس (head-level)، يكشف المؤلفون أن المشكلة ليست في نقص القدرة، بل في عدم التوازن في تخصيص موارد الانتباه نحو الوظائف المكانية.

• الأثر النظري: يربط العمل بين العلوم المعرفية (التخصص في الدماغ البشري) والتعلم العميق، موضحاً أن نماذج VLM تمتلك وحدات وظيفية مماثلة.
• الأثر العملي: توفر طريقة تنشيط الرؤوس المكانية (SHA) المقترحة وسيلة خالية من التدريب لتعزيز الاستدلال المكاني في النماذج الحالية. وهذا يشير إلى أن بنيات VLM المستقبلية يجب أن تعطي الأولوية صراحةً لتطوير وتخصيص رؤوس انتباه متخصصة مكانياً لتحقيق فهم مكاني قوي.

باخت بهبود، تجادل الورقة بأن تحسين الاستدلال المكاني في نماذج VLM لا يتطلب المزيد من البيانات فحسب، بل يتطلب إعادة توازن هيكلي لآليات الانتباه الداخلية للنموذج لدعم "ندرة" الإدراك المكاني بشكل أفضل.