Communicating about Space: Language-Mediated Spatial Integration Across Partial Views
تقدم هذه الورقة COSMIC، وهو معيار لتقييم كيفية تعاون النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عبر الحوار لبناء فهم مكاني مشترك من رؤى جزئية، مما يكشف أنه بينما تستطيع النماذج تحديد الأشياء المشتركة، إلا أنها تتخلف بشكل كبير عن البشر في الاستدلال العلاقاتي والحفاظ على نماذج ذهنية متسقة عالميًا للبيئة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وصديق لك تحاولان الالتقاء في حديقة ضخمة وغير مألوفة، ولكن لا يملك أي منكما خريطة. أنت تقف على جانبين متقابلين من نافورة كبيرة.
- أنت تستطيع رؤية شجرة بلوط شاهقة ومقعد أحمر، لكن النافورة مخفية خلف تلة.
- صديقك يستطيع رؤية النافورة ومنزلقة زرقاء، لكن شجرة البلوط محجوبة بسياج.
للعثور على بعضكما البعض، لا يمكنك مجرد النظر إلى رؤيتك الخاصة؛ بل يجب عليكما التحدث. تقول أنت: "أرى مقعداً أحمر بالقرب من شجرة". فيرد صديقك: "أنا أرى نافورة بالقرب من منزلقة زرقاء". ببطء، ومن خلال دمج أوصافكما، تبنيان صورة ذهنية مشتركة للحديقة بأكملها في عقولكما. تدركان حينها: "آه! المقعد الأحمر بجانب النافورة تماماً!".
هذه الورقة البحثية تتحدث عن تعليم الروبوتات الذكية (تحديداً "نماذج اللغات الكبيرة متعددة الوسائط" المتقدمة أو MLLMs) القيام بهذا الأمر بالضبط. لقد ابتكر الباحثون اختباراً يسمى COSMIC ليروا ما إذا كان بإمكان الذكاء الاصطناائي تعلم بناء تلك الصورة الذهنية المشتركة عبر الدردشة مع بعضهم البعض.
إليك تفصيل لما وجدوه، باستخدام تشبيهات ممتعة:
1. الاختبار: "زملاء الغرفة معصوبي الأعين"
قام الباحثون بإعداد تجربة رقمية حيث يتم وضع وكيلين من الذكاء الاصطناعي في غرفة ثلاثية الأبعاد.
- الوكيل (أ) (المُجيب): لديه سؤال، لكنه لا يرى سوى نصف الغرفة.
- الوكيل (ب) (المساعد): يرى النصف الآخر من الرؤية، لكنه لا يعرف السؤال.
- الهدف: يجب عليهما الدردشة ذهاباً وإياباً لحل اللغز.
تضمن الاختبار خمس مستويات من الصعوبة، مثل تسلق السلم:
- تحديد الأرضية المشتركة: "هل ترى المصباح الذي أنظر إليه؟" (سهل)
- العد معاً: "كم عدد الكراسي في الغرفة كاملة؟" (أصعب، لأن عليك التأكد من أنك لا تعد نفس الكرسي مرتين).
- قياس المسافات: "أي جسم هو الأقرب للمصباح؟" (يتطلب دمج الرؤى للقياس).
- تغيير المنظور: "من وجهة نظري، أين الباب؟" (المساعد يرى الباب؛ وعلى المُجيب تخيله من زاويته الخاصة).
- رسم الخريطة: "هل هذه الخريطة العلوية للغرفة صحيحة؟" (المستوى الأصعب: بناء خريطة ثلاثية الأبعاد كاملة في ذهنك من صورتين ثنائيتي الأبعاد).
2. النتائج: الذكاء الاصطناعي "ثرثار لكنه جاهل"
قارن الباحثون أداء الذكاء الاصطناعي بأداء البشر الحقيقيين. كانت النتائج مزيجاً من "ليس سيئاً" و"كارثي".
- الأخبار الجيدة: الذكاء الاصطناعي جيد جداً في الأشياء السهلة. إذا سألته: "هل ترى الكرسي الأحمر؟"، يمكن للذكاء الاصطناعي عادةً أن يقول "نعم". إنه يشبه سائحاً يمكنه الإشارة إلى المعالم.
- الأخبار السيئة: بمجرد أن تصبح المهمة معقدة (مثل تحديد مكان الأشياء بالنسبة لبعضها البعض أو رسم خريطة)، ينهار الذكاء الاصطناعي.
- البشر: حصلوا على 95% من الإجابات الصحيحة. كانوا فعالين، واستخدموا كلمات قليلة لتحديد الأشياء الصحيحة وبنوا بسرعة خريطة مشتركة.
- أفضل ذكاء اصطناعي: حصل على 72% فقط من الإجابات الصحيحة.
- أسوأ ذكاء اصطناعي: كان بالكاد أفضل من التخمين العشوائي في المهام الأكثر صعوبة.
3. المشكلة: الذكاء الاصطناعي مثل سائح يحمل بوصلة مكسورة
وجد البحث ثلاثة أسباب رئيسية لفشل الذكاء الاصطناعي:
- فخ "الهلوسة": أحياناً يرى الذكاء الاصطناعي كرسياً ويسميه "أريكة". وبمجرد ارتكاب هذا الخطأ، يخرج الحوار بأكمله عن المسار. إنه يشبه محاولة التنقل في مدينة بينما يخبرك نظام الـ GPS باستمرار أن المخبز هو محطة وقود.
- ارتباك "العد المزدوج": عند عد الأشياء، غالباً ما يرتبك الذكاء الاصطناعي بشأن ما إذا كان الكرسي الذي يراه هو نفسه الكرسي الذي يراه شريكه. ينتهي به الأمر بعدّ نفس الكرسي مرتين، أو يفقد واحداً تماماً.
- فشل "المنظور": هذه هي المشكلة الأكبر. البشر بارعون في قول: "إذا كنت أواجه الشمال، وأنت ترى الباب على يسارك، فهذا يعني أن الباب خلفي". يعاني الذكاء الاصطناعي في تدوير العالم في ذهنه. إنه يعلق في وجهة نظره الخاصة ولا يستطيع تخيل ما يراه الشخص الآخر.
4. ميزة "التفكير" لم تساعد كثيراً
حاول الباحثون تفعيل "وضع التفكير" لدى الذكاء الاصطناعي (حيث يتوقف الذكاء الاصطناعي للتفكير قبل التحدث).
- هل ساعد ذلك؟ نعم، للأشياء البسيطة مثل تحديد الأشياء.
- هل أصلح الأشياء الصعبة؟ لا. حتى عندما "فكر" الذكاء الاصطناعي بعمق، لم يستطع بناء خريطة متسقة للغرفة. إنه يشبه آلة حاسبة جيدة جداً في الجمع، لكنها لا تزال غير قادرة على فهم مفهوم الخريطة.
5. الحكم النهائي: لا يزال أمامنا طريق طويل
خلصت الدراسة إلى أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في الرؤية والتحدث، فإنه لا يزال سيئاً جداً في التعاون لبناء واقع مشترك.
- البشر يشبهون المحققين الخبراء: يتفقون بسرعة على الحقائق، ويتوقفون عن التخمين، ويحلون القضية.
- الذكاء الاصطناعي يشبه السائح المتوتر: يتحدث كثيراً، ويستمر في اقتراح احتمالات جديدة، ويصاب بالارتباك بشأن ما يراه الطرف الآخر، ونادراً ما يستقر على صورة واحدة صحيحة للعالم.
باخت-الاختصار: إذا كنت تريد من الذكاء الاصطناعي مساعدتك في التنقل في مبنى جديد أو تنسيق عمل فريق من الروبوتات، فلا يمكنك مجرد أن تطلب منه "الدردشة". في الوقت الحالي، من المرجح جداً أن يضيع الذكاء الاصطناعي في رأسه ويفشل في بناء الخريطة المشتركة اللازمة لإنجاز المهمة. يأمل الباحثون أن يساعد هذا الاختبار (COSMIC) المهندسين في إصلاح هذه النقاط العمياء المحددة حتى يتمكن الذكاء الاصطناعي من العمل معنا حقاً، وليس فقط بالقرب منا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.