Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting
تقدم هذه الورقة "StorySim"، وهو إطار عمل قابل للبرمجة لإنشاء مطالبات قصصية مبتكرة وخالية من التلوث لتقييم النماذج اللغوية الكبيرة، كاشفةً أن هذه النماذج تؤدي عموماً بشكل أفضل في مهام نمذجة العالم مقارنة بمهام نظرية العقل، وغالباً ما تعتمد على الاستدلالات بدلاً من التفكير العميق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم الأفكار البشرية. تريد أن تعرف ما إذا كان الروبوت يستطيع استنتاج ما يفكر فيه شخص آخر، حتى لو كانت أفكار ذلك الشخص خاطئة. تُسمى هذه القدرة "نظرية العقل" (Theory of Mind).
لفترة طويلة، اختبر العلماء الروبوتات (النماذج اللغوية الكبيرة أو LLMs) باستخدام قصة كلاسيكية للأطفال تُسمى "سالي-آن". في هذه القصة، تخبئ سالي لعبة، ثم تغادر الغرفة، وتقوم آن بنقل اللعبة. عندما تعود سالي، أين ستبحث؟ الإنسان يعرف أن سالي ستبحث في المكان الأصلي لأنها لا تعرف أن اللعبة قد نُقلت. ولكن إذا قمت بتعديل القصة قليلاً، فإن هذه الروبوتات غالباً ما ترتبك، مما يشير إلى أنها قد تكون مجرد تحفظ القصة بدلاً من فهم عقول الشخصيات حقاً.
لإصلاح ذلك، صمم مؤلفو هذه الورقة البحثية أداة جديدة تسمى StorySim. فكر في StorySim على أنه مجموعة "ليغو" (LEGO) قابلة للبرمجة للقصص.
مجموعة الليغو (StorySim)
بدلاً من كتابة قصة يدوياً أو الطلب من ذكاء اصطناعي آخر كتابتها (والذي قد يؤدي بالخطأ إلى نسخ أشياء سبق للروبوت رؤيتها)، يستخدم الباحثون "لوحة القصة" (Storyboard).
- لوحة القصة: هي مخطط هندسي صارم. تقول: "الشخصية (أ) تدخل الغرفة (1) في الدقيقة 1. الشخصية (ب) تدخل الغرفة (2) في الدقيقة 2". وهي تتحكم بدقة في من يرى ماذا ومتى.
- الباني (The Builder): يقوم النظام بملء بقية تفاصيل القصة تلقائياً، مع ضمان عدم كسر القواعد أبداً. ولأن القصص تُبنى من الصفر باستخدام هذه المخططات، فإن الروبوتات لم ترَ هذه القصص من قبل. الأمر يشبه بناء لغز جديد تماماً في كل مرة تلعب فيها.
الاختبار: العقل مقابل الخريطة
استخدم الباحثون مجموعة "الليغو" هذه لإجراء ثلاثة أنواع مختلفة من الاختبارات على نماذج ذكاء اصطناعي متنوعة:
- اختبار "العقل" (نظرية العقل): سألوا: "أين يعتقد بوب أن آن موجودة؟" للإجابة على هذا، يجب على الروبوت تجاهل الحقيقة الفعلية وتتبع ما رآه بوب وما يعتقده.
- اختبار "الخريطة" (نمذجة العالم): سألوا: "أين ذهبت آن فعلياً؟" يتطلب هذا فقط من الروبوت تذكر حقائق القصة، مثل تتبع جسم متحرك على خريطة.
- اختبار "الشيء": طرحوا نفس سؤال "الخريطة"، ولكن بدلاً من البشر، كانت القصة تدور حول أشياء غير حية (مثل كرة يتم نقلها). هذا يختبر ما إذا كان الروبوت يعامل البشر بشكل مختلف عن الأشياء.
ماذا وجدوا؟
كانت النتائج مفاجئة نوعاً ما، مثل اكتشاف أن طالباً تفوق في اختبار الرياضيات لكنه يعاني في حل لغز منطقي:
- الروبوتات أفضل في الخرائط من العقول: كانت معظم نماذج الذكاء الاصطناعي أفضل بكثير في تتبع المسارات الفعلية للأشياء (نمذجة العالم) من تخمين ما كان يفكر فيه الشخص (نظرية العقل). كان بإمكانها تتبع أحداث الحبكة، لكنها واجهت صعوبة في وضع نفسها مكان الشخصية.
- البشر مقابل الأشياء: كانت الروبوتات أفضل قليلاً في تتبع تحركات البشر مقارنة بـ الأشياء. يبدو أن النماذج "مهيأة" للانتباه أكثر للشخصيات البشرية، ربما بسبب تدريبها على الكثير من المحادثات البشرية.
- فخ "الحداثة" (Recency): قلق الباحثون من أن الروبوتات قد تغش عبر مجرد التخمين بناءً على آخر مكان رأوا فيه الشخص. قاموا باختبار ذلك بجعل "الكذبة" في القصة تحدث منذ وقت طويل. ومن المثير للدهشة أن الروبوتات لم تقع في فخ خدعة "تخمين الحدث الأخير" كما كان متوقعاً.
- عادة "اللقاء الأول": عندما فشلت الروبوتات في اختبار "العقل"، غالباً ما ارتكبت خطأً محدداً: خمنت الموقع الذي التقت فيه الشخصيات لأول مرة، بدلاً من المكان الذي رآها فيه الشخص لآخر مرة. إنه يشبه طالباً يتذكر اليوم الأول من الفصل الدراسي ولكنه ينسى ما حدث بالأمس.
الصورة الكبيرة
تخلص الورقة البحثية إلى أنه بينما يصبح الذكاء الاصطناعي الحديث أكثر ذكاءً في التفكير، فإنه لا يزال يعاني لفهم "الحالات الذهنية" للآخرين. يمكنه تتبع أحداث القصة بدقة، ولكن عندما يُطلب منه تخيل ما تفكر فيه شخصية ما (خاصة إذا كان تفكيرها خاطئاً)، فإنه غالباً ما يفشل.
لقد بنى المؤلفون StorySim ليس لإعطاء الروبوتات درجة نهائية، بل لمنحها اختباراً عادلاً وجديداً لا يمكنها الغش فيه عبر حفظ الإجابات القديمة. وهم يأملون أن تساعد هذه الأداة الباحثين في المستقبل لبناء ذكاء اصطناعي يمكنه حقاً فهم المنظورات البشرية، وليس فقط سرد الحقائق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.