Visuospatial Perspective Taking in Multimodal Language Models
تكشف هذه الورقة أن النماذج اللغوية متعددة الوسائط تظهر عجزاً كبيراً في المستوى الثاني من اتخاذ المنظور البصري المكاني، حيث تجد صعوبة في كبح وجهة نظرها الخاصة لتبني وجهة نظر الآخر، مما يسلط الضوء على قيود حرجة لنشرها في الإعدادات الاجتماعية والتعاونية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "سايمون يقول" (Simon Says) مع صديق آلي ذكي للغاية. أنتما تقفان ظهرًا لظهر. أنت ترى كرة حمراء على يسارك وكرة زرقاء على يمينك. أما صديقك الآلي فيواجه الاتجاه المعاكس؛ وبالنسبة له، الكرة الحمراء على يمينه، والكرة الزرقاء على يساره.
إذا قلت: "التقط الكرة الحمراء التي على يسارك"، فإن الإنسان سيدرك فورًا: "انتظر، من منظوري أنا، الكرة الحمراء على اليمين. ولكن من منظور الروبوت، هي على اليسار. عليّ أن أقلب عقلي لأرى ما يراه هو".
هذه الورقة البحثية تطرح سؤالًا بسيطًا ولكنه عميق: هل تستطيع نماذج الذكاء الاصطناعي الحديثة القيام بهذه "القلبة الذهنية"؟
اختبر الباحثون أحدث نماذج اللغات متعددة الوسائط (MLMs) المتطورة — وهي الأنواع التي يمكنها رؤية الصور وقراءة النصوص — لمعرفة ما إذا كانت تفهم حقًا "أخذ المنظور البصري المكاني" (VPT). وهي القدرة على تخيل العالم ليس فقط من عينيك، بل من عيون شخص آخر.
إليك تفصيل نتائجهم، باستخدام بعض التشبيهات من الحياة اليومية:
1. مستويان من "الرؤية"
نظر الباحثون في نوعين من أخذ المنظور، أطلقوا عليهما المستوى 1 والمستوى 2.
المستوى 1 (اختبار "هل يمكنك رؤيتها؟"): يشبه سؤال: "هل القطة خلف الأريكة؟" إذا كنت ترى القطة، وكان الشخص الآخر ينظر إلى الأريكة، فأنت تعرف أنه يستطيع رؤيتها أيضًا. إذا كانت القطة مختبئة خلف جدار، فأنت تعرف أنه لا يستطيع رؤيتها.
- النتيجة: كان الذكاء الاصطناعي جيدًا جدًا في هذا. استطاع عادةً تحديد ما إذا كان الشيء مرئيًا أو مخفيًا. الأمر يشبه حارس أمن يمكنه بسهء ملاحظة ما إذا كان الباب مفتوحًا أو مغلقًا.
المستوى 2 (اختبار "كيف تبدو بالنسبة لهم؟"): هذا هو الجزء الصعب. الأمر لا يتعلق فقط بـ رؤية الشيء، بل بمعرفة كيف يبدو لهم. إذا رأيت رقم "6" على الأرض، وزميلك يقف في المواجهة، فهو يرى رقم "9".
- النتيجة: عانى الذكاء الاصطناعي بشكل هائل هنا. إنه يشبه روبوتًا يمكنه رؤية الرقم "6" ولكنه لا يستطيع تدوير رأسه ذهنيًا ليدرك: "أوه، إذا كنت واقفًا هناك، فسيبدو ذلك كأنه 9".
2. الفشل "على شكل حرف M"
قام الباحثون بتدوير "رأس" الذكاء الاصطناعي (الشكل الموجود في الصورة) في دائرة كاملة، من 0 درجة (يواجهك) إلى 180 درجة (يعطيك ظهره).
- الطريقة البشرية: يصبح البشر أبطأ قليلًا ويرتكبون أخطاء أكثر مع الزوايا الغريبة، لكننا ننجح بشكل عام.
- طريقة الذكاء الاصطناعي: أظهر الذكاء الاصطناعي نمطًا غريبًا على شكل حرف "M".
- عندما كان الشكل يواجه نفس اتجاه الذكاء الاصطناعي تمامًا (0 درجة)، كان أداؤه مثاليًا.
- عندما كان الشكل يواجه الاتجاه المعاكس تمامًا (180 درجة)، كان أيضًا جيدًا بشكل مفاجئ.
- ولكن في المنتصف؟ عندما كان الشكل ملتفًا قليلًا إلى الجانب (45 درجة، 90 درجة، 135 درجة)، انهار أداء الذكاء الاصطناعي.
التشبيه: تخيل مرآة. إذا وقفت أمامها مباشرة، ترى نفسك بوضوح. إذا وقفت خلفها مباشرة، تعرف أنك لا تستطيع رؤية نفسك. ولكن إذا وقفت بزاوية غريبة، فستصاب بالارتباك؛ يبدو أن الذكاء الاصطناعي يعتمد على خدعة بسيطة: "إذا كانوا في الاتجاه المعاكس لي، فسأقوم فقط بتبديل اليمين واليسار". ولكن إذا كانوا ملتفين قليلًا، تفشل هذه الخدعة، ويضيع الذكاء الاصطناعي.
3. لعبة "المخرج"
لاختبار ذلك في سيناريو واقعي، استخدموا لعبة تسمى مهمة المخرج (Director Task).
- الإعداد: يقف مخرج بشري على جانب رف يحتوي على شبكة من العناصر. بعض هذه العناصر مخفية عن رؤية المخرج بسبب خلفيات معتمة. يجب على الذكاء الاصطناعي (اللاعب) اختيار العنصر الذي يطلبه المخرج.
- الفخ: يقول المخرج: "اختر أصغر نجمة". ولكن هناك نجمتان؛ إحداهما صغيرة ومرئية للذكاء الاصطناعي لكنها مخفية عن المخرج، والأخرى صغيرة ومرئية لكليهما.
- الفشل: غالبًا ما اختار الذكاء الاصطناعي النجمة التي يستطيع هو رؤيتها، ناسيًا أن المخرج لا يمكنه رؤيتها. لم يستطع "كبح" رؤيته المميزة لتبني رؤية المخرج المحدودة.
4. لماذا يهم هذا؟
قد تعتقد: "حسنًا، الذكاء الاصطناعي سيء في تدوير الأرقام، فما الفائدة؟"
تجادل الورقة بأن هذا خلل حاسم للمستقبل. لقد بدأنا في استخدام الذكاء الاصطناعي كمعلمين، ومعالجين، وشركاء تعاونيين.
- إذا طلبت من روبوت أن "يمد لك الكوب الذي على يسارك"، ولم يفهم أن يساره هو يمينك، فسيعطيك الكوب الخطأ.
- إذا كان المعالج الافتراضي لا يفهم ما يمكنك رؤيته في غرفتك مقابل ما يراه هو على الشاشة، فقد يقدم نصائح سيئة.
الخلاصة
تخلص الورقة إلى أنه بينما تعد نماذج الذكاء الاصطناعي هذه ذكية للغاية في القراءة والتعرف على الصور، إلا أنها لا "تفكر" حقًا في وجهات نظر الآخرين.
إنهم مثل ممثل موهوب جدًا حفظ النص؛ إذا قال النص "بدل اليمين واليسار"، فإنه يفعل ذلك. ولكن إذا كان الموقف معقدًا ويتطلب تخيلًا حقيقيًا لكونك شخصًا آخر، فإنه يتعثر. لم يتعلموا "المشي ميلًا في حذاء شخص آخر"؛ بل تعلموا فقط تخمين كيف تبدو الأحذية من الخارج.
باختصار: الذكاء الاصطناعي الحالي بارع جدًا في رؤية العالم، لكنه لا يزال يتعلم كيفية رؤية العالم من خلال عيون الآخرين. وإلى أن يتقن ذلك، نحتاج إلى الحذر عند الوثوق به في المواقف الاجتماعية أو التعاونية المعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.