Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
تقدم هذه الورقة MOSAIC، وهو معيار متعدد الوسائط يكشف أن نماذج الرؤية واللغة الحالية تفشل في ترجمة استدلال "نظرية العقل" إلى أفعال اجتماعية منسقة بسبب اختناقات في توليد إشارات غير لفظية متماسكة وتفسير سلوكيات الآخرين، بينما تنجح النماذج ذات الاقتران الصريح بين الاعتقاد والفعل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد الروابط الإنسانية على تبادل صامت وسريع يتجاوز الكلمات بكثير. فعندما نتحدث، نقوم أيضاً بتغيير نظراتنا، وتعديل وضعية جسدنا، وتغيير تعبيرات وجوهنا، كل ذلك بينما نحاول تخمين ما يفكر فيه الشخص الآخر وما يشعر به. هذه القدرة على فهم عقل شخص آخر ثم استخدام هذا الفهم لتوجيه أفعالنا هي ما يُعرف بـ "نظرية العقل". لعقود من الزمن، درس العلماء هذه القدرة، غالباً من خلال طلب الإجابة عن أسئلة حول قصص أو مراقبة كيفية تفاعل الناس مع ألغاز اجتماعية بسيطة. وكان الهدف هو معرفة ما إذا كان الذكاء الاصطناعي يمكنه القيام بالمثل. لكن فجوة حرجة ظلت قائمة: معرفة ما يفكر فيه شخص ما تختلف عن التصرف بناءً على تلك المعرفة في الوقت الفعلي. قد ينجح نظام ما في تخمين أن شخصاً ما يخفي سراً، ولكن هل يمكنه بعد ذلك أن يقرر إبعاد نظره، أو الابتسام، أو تحريك جسده بطريقة تشجع ذلك الشخص ببراعة على كشف السر؟ حتى الآن، لم يتمكن أي اختبار من قياس ما إذا كان بإمكان الذكاء الاصطناعي ترجمة تخمين ذهني إلى إشارة اجتماعية جسدية منسقة.
وضع باحثون من جامعة باريس ساكلي وجامعة سوربون هدفهم لسد هذه الفجوة من خلال تجربة جديدة تسمى MOSAIC. لقد بنوا عالماً افتراضياً حيث تفاعل وكيلان رقميان في لعبة للبحث عن الكنز. في هذا السيناريو، كان أحد الوكلاء، وهو "الموضوع"، يعرف مكان المكافأة المخفية، بينما لم يكن الآخر، وهو "المشارك"، يعرف ذلك. كانت مهمة "الموضوع" هي إما مساعدة المشارك في العثور على الكنز أو، اعتماداً على قواعد الجولة، خداعه لاختيار الصندوق الخاطئ. صُممت اللعبة لتكون اختباراً صارماً للذكاء الاجتماعي. وعلى مدار عشر جولات من التفاعل، توجب على الوكلاء التواصل باستخدام مزيج من الكلمات المنطوقة، وحركة الجسد، واتجاه العين، وتعبيرات الوجه. قام الباحثون بتغيير درجة الصعوبة عبر تغيير القواعد: فأحياناً كان من المفترض أن يكون "الموضوع" صادقاً، وفي أحيان أخرى كان من المفروض أن يكون مخادعاً. والأهم من ذلك، قاموا أيضاً بتغيير التعليمات الداخلية لـ "الموضوع"، حيث طلبوا من بعضهم العمل بناءً على رغباتهم الخاصة دون التفكير في الشخص الآخر، بينما طلبوا من آخرين نمذجة معتقدات المشارك صراحة ومحاولة التأثير عليها.
اختبر الباحثون ثلاثة عشر نموذجاً مختلفاً من الذكاء الاصطناعي في هذه البيئة، بما في ذلك أحد عشر نموذجاً لغوياً-بصرياً يمكنها الرؤية والتحدث، ونموذجاً واحداً يعتمد على النصوص فقط. أجروا مائتي تجربة لكل نموذج لجمع بيانات كافية لرصد أنماط واضحة. كانت النتائج صارخة؛ فقد فشلت معظم أنظمة الذكاء الاصطناعي المتقدمة في إنتاج السلوك المنسق المطلوب للنجاح. فعندما طُلب منها الخداع، لم تستطع النماذج توليد المزيج اللازم من الكلمات المضللة ولغة الجسد المتناقضة. وعندما طُلب منها المساعدة، غالباً ما فشلت في التحرك أو النظر بطريقة توجه الوكيل الآخر. حددت الدراسة نقطتي انهيار محددتين في العملية؛ أولاً، لم تتمكن غالبية النماذج من إنتاج إشارات غير لفظية ذات معنى اتجاهي، حيث كانت حركاتهم ونظراتهم غالً ما تكون عشوائية أو تشير إلى الاتجاه الخاطئ. ثانياً، حتى عندما أنتج النموذج إشارة واضحة، فشل الوكيل الآخر في المحاكاة في ملاحظتها أو التفاعل معها. بدا وكأن وكلاء الذكاء الاصطناعي يتحدثون ويتحركون، لكنهم لم يتواصلوا حقاً.
برز نموذج واحد كاستثناء كامل. وهو نظام هجين يسمى PCM-LLM، والذي بُني بوحدة هيكلية محددة مصممة للتعامل مع المعتقدات والنوايا، وقد نجح في كل الظروف. استطاع توجيه المشارك إلى الكنز بنجاح عندما طُلب منه المساعدة، واستطاع تضليله بنجاح عندما طُلب منه الخداع. يشير هذا النجاح إلى أن فشل النماذج الأخرى لم يكن بسبب صعوبة المهمة نفسها، بل بسبب قطعة مفقودة في بنيتها. يبدو أن النماذج القياسية، التي تعالج اللغة والصور معاً، تفتقر إلى الآلية الداخلية لربط المعتقد حول شخص آخر مباشرة بفعل جسدي. وجد الباحثون أن المدخلات البصرية التي تتلقاها معظم النماذج كانت تعمل كمشتت للانتباه بدلاً من كونها دليلاً مفيداً. وفي بعض الحالات، أدى إزالة الصورة المرئية تماماً إلى تحسين قدرة النموذج على إرسال إشارة اتجاهية واضحة، مما يشير إلى أن البيانات المرئية كانت تعيق تفكيرهم بدلاً من دعمه.
استكشفت الدراسة أيضاً ما إذا كانت هذه النماذج يمكن أن تتعلم كيف تؤدي بشكل أفضل مع الممارسة. أخذ الباحثون أحد النماذج الفاشلة ودربوه باستخدام أمثلة على السلوك الناجح الذي ولّده النظام الهجين عالي الأداء. وبينما غير هذا التدريب سلوك النموذج قليلاً، إلا أنه لم يحل المشكلة الأساسية؛ إذ ظل النموذج غير قادر على تنسيق كلماته وعينيه وجسده في إشارة اجتماعية واحدة متماسكة. وهذا يشير إلى أن مجرد إظهار كيفية الحركة للذكاء الاصطناعي ليس كافياً؛ بل يحتاج إلى تغيير بنيوي أعمق لفهم أن أفعاله تهدف إلى التأثير على عقل آخر. تشير النتائج إلى أن أنظمة الذكاء الاصطناعي الحالية، رغم قدرتها على مناقشة السيناريوهات الاجتماعية المعقدة نصياً، لم تتعلم بعد تجسيد هذه الأفكار. يمكنها التحدث عن "نظرية العقل"، لكنها لا تستطيع بعد عيشها. إن الفجوة بين استنتاج ما يفكر فيه شخص ما وبين التصرف بناءً على ذلك الاستنتاج بطريقة منسقة وجسدية تظل عائقاً متميزاً وقابلاً للقياس في التكنولوجيا الحالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.