Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models
تقدم هذه الورقة معياراً جديداً يتكون من 144 مهمة بصرية لتقييم قدرة نماذج الرؤية واللغة على أداء اتخاذ المنظور البصري، مما يكشف أنه بينما تتفوق هذه النماذج في فهم المشاهد، فإن أداءها ينخفض بشكل كبير في الاستدلال المكاني واتخاذ المنظور البصري، مما يسلط الضوء على فجوة حرجة بين التعرف على الأشياء والإدراك المكاني الأعمق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "ماذا أرى؟" مع صديق لك. تقفان ظهراً لظهر، وتسأله: "هل يمكنك رؤية الكرة الحمراء خلفك؟". الصديق البشري سيعرف الإجابة فوراً لأنه يستطيع تدوير عقله، وتخيل وجهة نظرك، وقول: "لا، إنها خلفي".
هذه الورقة البحثية تدور حول اختبار ما إذا كانت أجهزة الكمبيوتر الذكية جداً لدينا (والتي تسمى نماذج اللغة الرؤية - Vision Language Models) يمكنها لعب هذه اللعبة نفسها. الإجابة المختصرة هي: إنها بارعة في وصف الغرفة، لكنها سيئة جداً في تخيل ما يراه شخص آخر.
إليك قصة البحث، مشروحة ببساء مع بعض التشبيهات.
1. الإعداد: مختبر ليغو (LEGO)
لم يستخدم الباحثون صوراً حقيقية فوضوية (مثل شارع مزدحم) لأنها معقدة للغاية. بدلاً من ذلك، بنوا مختبراً من قطع الليغو.
- المشهد: طاولة بيضاء مسطحة عليها شخصية ليغو واحدة (minifigure) وشيء واحد (مثل كلب صغير أو كرسي).
- المتغيرات: قاموا بتحريك الكلب إلى الأمام، الخلف، اليسار، أو اليمين بالنسبة لشخصية الليغو. كما قاموا بتدوير شخصية الليغو لتواجه اتجاهات مختلفة. والتقطوا صوراً من الأعلى (منظور عين الطائر) ومن الجانب (منظور السطح).
- الهدف: أنشأوا 144 مشهداً فريداً وصغيراً. ولكل مشهد، طرحوا على الذكاء الاصطناعي سبعة أسئلة، تتراوح من السهلة إلى الصعبة جداً.
2. مستويات الصعوبة الثلاثة
فكر في الأسئلة كأنها لعبة فيديو بثلاثة مستويات من الصعوبة:
المستوى 1: اختبار "ماذا يوجد في الغرفة؟" (فهم المشهد)
- السؤال: "كم عدد الأشخاص الموجودين هنا؟ هل الكلب على الطاولة؟"
- النتيجة: تفوق الذكاء الاصطناعي في هذا الاختبار. الأمر يشبه أميناً للمكتبة فائق القدرة يمكنه فوراً عد الكتب وتمييز الغلاف الأحمر. لقد حصلت جميع النماذج تقريباً على 100% في هذا الاختبار. إنهم ممتازون في التعرف.
المستوى 2: اختبار "أين هو؟" (الاستدلال المكاني)
- السؤال: "إذا كان الشمال للأعلى، فهل الكلب يقع شرق أم غرب الشخص؟"
- النتيجة: بدأ الذكاء الاصطناعي في التعثر. الأمر يشبه نظام GPS يعرف الخريطة ولكنه يرتبك عندما تسأله عن وصف منعطف بالنسبة لسيارة معينة. كان بإمكانه عادةً تحديد مكان الكلب بالنسبة لـ الكاميرا، لكنه واجه صعوبة عندما طُلب منه وصف مكانه بالنسبة لجسد شخصية الليغو.
المستوى 3: اختبار "ماذا يرى هؤلاء؟" (أخذ المنظور البصري)
- السؤال: "هل يمكن لشخصية الليغو رؤية الكلب؟" أو "من عيني شخصية الليغو، هل الكلب على يساره أم يمينه؟"
- النتيجة: فشل ذريع. هنا انهار الذكاء الاصطناعي. رغم أن الذكاء الاصطناعي كان يرى الكلب والشخص بوضوح، إلا أنه لم يستطع "وضع نفسه في حذاء شخصية الليغو". لم يستطع محاكة الرؤية من الجانب الآخر.
3. الخلل الغريب: "انحياز الشرق"
أحد الاكتشافات الأكثر إثارة للاهتمام كان عادة غريبة طورها الذكاء الاصطناعي.
عندما يُسأل: "في أي اتجاه يواجه شخص الليغو؟"، كانت العديد من النماذج (مثل GPT-4 Turbo) تخمن "الشرق" في كل مرة تقريباً، حتى عندما كان الشخص يواجه الشمال أو الجنوب بوضوح.
- التشبيه: تخيل طالباً يؤدي امتحاناً ولا يعرف الإجابة، فيقوم بكتابة "أزرق" لكل أسئلة الاختيار من متعدد لأنه يعتقد أن "أزرق" هي الإجابة المحظوظة.
- حاول الباحثون إصلاح ذلك من خلال:
- تقريب الصورة (Zoom in) على شخصية الليغو (ليصبح الاتجاه واضحاً).
- رسم أسهم البوصلة (شمال، جنوب، شرق، غرب) على الصورة.
- استبدال شخصية الليغو بصورة إنسان حقيقي.
- إزالة الأشياء الأخرى من الطاولة.
- النتيجة: لم يفلح أي شيء. ظل الذكاء الاصطناعي يخمن "الشرق". وهذا يشير إلى أن الذكاء الاصطناعي لا "ينظر" حقاً إلى الصورة لاتخاذ القرار؛ بل يعتمد على "شعور داخلي" (أو تخمين إحصائي) تعلمه من بيانات التدريب الخاصة به، متجاهلاً الحقائق البصرية.
4. الخلاصة الكبرى
تخلص الورقة البحثية إلى أن الذكاء الاصطناعي الحالي يشبه مصوراً فوتوغرافياً أعمى عن العمق.
- يمكنهم وصف الصورة تماماً ("هناك كلب وشخص").
- لكنهم لا يستطيعون فهم هندسة المشهد. إنهم لا يفهمون حقاً أنه إذا أدرت رأسك، فإن العالم يتغير بالنسبة لك.
لماذا يهم هذا؟
إذا كنت تريد من الذكاء الاصطناعي أن يقود سيارة، فعليه أن يعرف ما الذي يراه السائق بجانبه. إذا كنت تريد من روبوت أن يسلم أداة لعامل بشري، فعليه أن يعرف ما إذا كان العامل يرى تلك الأداة. إذا اعتقد الذكاء الاصطناعي أن العامل يرى شيئاً هو في الواقع خلفه، فقد تقع حوادث.
ملخص
بنى الباحثون اختبار ليغو بسيطاً ليروا ما إذا كان بإمكان الذكاء الاصطناعي "المشي في حذاء شخص آخر". وجدوا أنه بينما يعد الذكاء الاصطناعي عبقرياً في تحديد الأشياء، فإنه حالياً سيء جداً في تخيل المنظورات. إنه يرى العالم من خلال "عين الكاميرا" الخاصة به، لكنه لا يستطيع بعد تدوير عقله ليرى العالم من خلال عيون الآخرين. ولإصلاح ذلك، يحتاج الذكاء الاصطناعي المستقبلي إلى تعلم الهندسة الحقيقية، وليس فقط التخمين بناءً على الأنماط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.