Contextual inference from single objects in Vision-Language models

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الاستدلال السياقي من كائنات مفردة في نماذج الرؤية واللغة".

1. بيان المشكلة

تبحث هذه الورقة في سؤال جوهري في إدراك المشهد: إلى أي مدى يحمل الكائن المفرد معلومات حول سياق المشهد المحيط به؟ من المعروف أن الإدراك البشري قادر على استنتاج فئات المشاهد (مثل "المطبخ") والفئات العليا (مثل "داخلي") من كائنات معزولة بناءً على الانتظامات الإحصائية، ولكن لا يزال من غير الواضح كيف تنظم نماذج الرؤية واللغة (VLMs) هذه القدرة.

يهدف المؤلفون إلى تحديد ما يلي:

• ما إذا كانت نماذج الرؤية واللغة قادرة على استنتاج فئات المشاهد دقيقة التفاصيل والفئات العليا العامة من كائنات مفردة دون سياق خلفي.
• ما إذا كان هذا الاستنتاج يتأثر بنفس خصائص الكائن (التكرار، النوعية، الحجم، النوع) التي تتنبأ بالأداء البشري.
• ما إذا كان الاستنتاج السياقي متميزاً آلياً عن تحديد هوية الكائن.
• كيف يتم تجذير معلومات المشهد والفئة العليا داخل التمثيلات الداخلية (رموز الصور/image tokens) لنماذج الرؤية واللغة.

2. المنهجية

النماذج والمحفزات

• النماذج: تم تقييم نموذجين من أحدث نماذج الرؤية واللغة: LLaVA 1.5-13B و InternVL3.5-14B.
• مجموعة البيانات: مجموعة فرعية منسقة من مجموعة بيانات Greene (2013) تحتوي على 2,392 زوجاً من (كائن-مشهد) عبر ثماني فئات للمشاهد (حمام، غرفة نوم، مطبخ، غرفة معيشة، ساحل، غابة، جبل، أفق).
• خصائص الكائن: تم تسجيل أربع خصائص لكل حالة كائن، مستمدة من أبحاث تصنيف المشاهد البشرية:
  1. التكرار (Frequency): $P(\text{object}|\text{scene})$
  2. النوعية (Specificity): $P(\text{scene}|\text{object})$
  3. الحجم (Size): كسر مساحة الصورة التي يغطيها الكائن.
  4. النوع (Type): مرساة (Anchor) (كبير، ثابت) مقابل محلي (Local) (أصغر، يُتوقع بواسطة المراسي).

التصميم التجريبي

استخدمت الدراسة نموذج الخلفية المقنعة (masked background) مع شرطي مشاهدة:

1. المشهد الكامل (Full Scene): الصورة الأصلية.
2. الكائن فقط (Object Only): الكائن الأمامي فقط هو المرئي؛ بينما تم استبدال الباقي بخلفية رمادية.

المهام

تمت استجواب النماذج بثلاثة مطالبات اختيار قسري:

1. تصنيف المشهد (Scene Classification): تحديد فئة المشهد المحددة (8 خيارات).
2. تصنيف الفئة العليا (Superordinate Classification): تحديد "داخلي" مقابل "خارجي".
3. تصنيف الكائن (Object Classification): تحديد الكائن المحدد (8 خيارات).

ملاحظة: بالنسبة لتصنيف المشهد، تم قياس "الدقة المرنة" (Relaxed Accuracy) أيضاً، حيث تُعتبر الاستجابة صحيحة إذا كان المشهد المتوقع منطقياً دلالياً للكائن، حتى لو لم يطابق الحقيقة الأرضية.

التحليل الآلي

• الاستقرار التمثيلي (Representational Stability): تم حساب تشابه جيب التمام (Cosine similarity) بين تنشيطات الحالة المخفية لرموز رقعة الكائن (object-patch tokens) في حالتي "المشهد الكامل" و"الكائن فقط" عبر طبقات المحول (transformer layers).
• فك تشفير المفردات (Vocabulary Decoding): تم إسقاط تمثيلات رقعة الصورة على مساحة المفردات لقياس قوة اللوجيت (logit strength) لتسميات المشهد/الفئة العليا عند كل طبقة.

3. النتائج الرئيسية

الأداء السلوكي

• الاستنتاج السياقي موجود: تدعم الكائنات المفردة الاستنتاج فوق مستوى الصدفة لكل من فئات المشهد والفئة العليا، حتى بدون خلفية.
  • المشهد: انخفضت الدقة من 96% (المشهد الكامل) إلى ~54-59% (الكائن فقط). ومع ذلك، ظلت "الدقة المرنة" مرتفعة (85%)، مما يشير إلى أن النماذج تسترجع مشاهد منطقية دلالياً.
  • الفئة العليا: كان الأداء أكثر متانة، حيث انخفض قليلاً فقط (على سبيلما: LLaVA: 93.8% في حالة الكائن فقط).
• خصائص الكائن تقود الاستنتاج:
  • استنتاج المشهد: مدفوع بـ النوعية (الأقوى)، ثم التكرار، ثم الحجم.
  • استنتاج الفئة العليا: مدفوع أساساً بـ الحجم، يليه التكرار. كانت النوعية غير ذات دلالة أو سالبة في نموذج InternVL.
• الانفصال بين المهام:
  • الاستقلالية: تحديد الكائن بشكل صحيح ليس مطلوباً بدقة لتحديد المشهد بشكل صحيح. يمكن للنماذج استنتاج "مطبخ" حتى لو أخطأت في تحديد "المحمصة".
  • الاختلاف بين النماذج: أظهر InternVL اتساقاً أعلى بين تنبؤات الكائن والمشهد والفئة العليا مقارنة بـ LLaVA. في الواقع، تحسن التعرف على الكائن في LLaVA عند إزالة الخلفية (مما يشير إلى أن ضوضاء الخلفية تتدخل)، بينما انخفض أداء InternVL (مما يشير إلى اعتماده على السياق).

النتائج الآلية

• الاستقرار التمثيلي: الكائنات ذات التمثيلات الداخلية المستقرة (تشابه جيب تمام عالٍ بين حالتي المشهد الكامل والكائن فقط) كانت أكثر عرضة للتصنيف الصحيح.
  • أظهر InternVL استقراراً عاماً أعلى من LLaVA.
  • تصل الاستقرار إلى ذروته في طبقات مختلفة: الطبقات المتأخرة لـ LLaVA، والطبقات المتوسطة لـ InternVL.
• ظهور المعلومات (فك التشفير):
  • هوية المشهد: مشفرة في رموز صور الرقعة (image tokens) من طبقة المحول الأولى وتستمر طوال الشبكة في كلا النموذجين.
  • معلومات الفئة العليا:
    • LLaVA: لم يتم تشفيرها بشكل معنوي في رموز الصور عند أي عمق؛ ومن المرجح أنها تُحسب عبر آلية مختلفة (مثل الأولويات اللغوية).
    • InternVL: تظهر متأخرة (الطبقات 25–28)، وهي متميزة عن الظهور المبكر لهوية المشهد.

4. المساهمات الرئيسية

1. التوصيف السلوكي: أثبتت الدراسة أن نماذج الرؤية واللغة، مثل البشر، يمكنها استنتاج سياق المشهد من كائن مفرد، لكن هذه القدرة تتأثر بخصائص إحصائية محددة (الحجم، النوعية) وتختلف باختلاف بنية النموذج.
2. الانفصال الجزئي: أثبتت أن الاستنتاج السياقي (المشهد/الفئة العليا) مستقل جزئياً عن تحديد هوية الكائن. النماذج لا تحتاج بالضرورة لتسمية الكائن لتعرف سياقه.
3. التجذير الآلي: كشفت عن اختلاف بنيوي جوهري في كيفية معالجة المعلومات:
   • هوية المشهد هي ميزة مبكرة ومستمرة في رموز الصور.
   • الفئات العليا إما غائبة عن رموز الصور (LLaVA) أو تظهر متأخرة (InternVL).
4. مقارنة النماذج: سلطت الضال الضوء على أن InternVL يمتلك بنية تمثيلية أكثر تكاملاً (ارتباط أعلى بين الكائن والمشهد والفئة العليا) مقارنة بـ LLaVA الأكثر نمطية.

5. الأهمية

• المتانة والتعميم: فهم كيفية استنتاج نماذج الرؤية واللغة للسياق من المدخلات الجزئية أمر بالغ الأهمية لتشخيص فشل النماذج وتحسين متانتها في السيناريوهات الواقعية حيث لا تتوفر دائماً مشاهد كاملة.
• المواءمة بين الإنسان والذكاء الاصطناعي: تشير النتائج إلى أن نماذج الرؤية واللغة تستوعب البنية الإحصائية للمشاهد الطبيعية بشكل مشابه للبشر، مما يثبت صلاحية استخدام هذه النماذج لدراسة التعلم الإدراكي.
• الرؤى البنيوية: توفر الورقة دليلاً على أن "فهم المشهد" ليس عملية متجانسة. فالمستويات المختلفة من التجريد (المشهد دقيق التفاصيل مقابل الفئة العليا العامة) تعتمد على مسارات داخلية ونقاط ظهور متميزة. وهذا يشير إلى أن نماذج الرؤية واللغة المستقبلية التي تهدف إلى فهم شامل للمشهد يجب أن تعالج صراحةً كيفية تجذير المفاهيم العليا في الرموز البصرية.