GPT-4o Lacks Core Features of Theory of Mind

إليك ملخص تقني مفصل لورقة البحث بعنوان "GPT-4o يفتقر إلى الميزات الجوهرية لنظرية العقل" من إعداد موتشوفيتش وآخرون.

1. بيان المشكلة

السؤال المركزي الذي تعالجه الورقة هو ما إذا كانت النماذج اللغوية الكبيرة (LLMs) تمتلك نظرية عقل (Theory of Mind - ToM). بينما أظهرت الأبحاث السابقة أن النماذج اللغوية الكبيرة يمكنها النجاح في اختبارات معيارية لنظرية العقل (التي تعتمد غالباً على مهام علم النفس التنموي مثل اختبارات الاعتقاد الخاطئ)، يرى المؤلفون أن هذه التقييمات تعاني من مشكلات في صلاحية البناء (construct validity).

• الفجوة: غالباً ما تختبر الاختبارات المعيارية مطابقة الأنماط السطحية أو سيناريوهات اجتماعية محددة بدلاً من اختبار البنية المعرفية الأساسية.
• التعريف: يعرّف المؤلفون نظرية العقل ليس مجرد القدرة على اجتياز اختبار، بل كـ نموذج سببي موحد يشرح العلاقة بين الحالات الذهنية (الاعتقادات، الرغبات) والسلوك.
• الفرضية: لكي تمتلك النماذج اللغوية الكبيرة نظرية عقل حقيقية، يجب أن تظهر تمثيلاتها الداخلية ثلاث خصائص جوهرية:
  1. التماسك (Coherence): التطبيق المنهجي للمبادئ الأساسية (مثل التخطيط العقلاني) للتنبؤ بالسلوك.
  2. التجريد (Abstractness): القدرة على تعميم هذه المبادئ عبر مجالات مختلفة منطقياً ولكنها مختلفة ظاهرياً.
  3. الاتساق (Consistency): يجب أن يكون النموذج السببي ثنائي الاتجاه؛ بحيث تكون استنتاجات الحالة الذهنية المستمدة من الأفعال متسقة مع الأفعال التي تتنبأ بها تلك الحالات الذهنية نفسها.

2. المنهجية

طوّر المؤلفون إطار تقييم مستنداً إلى الأسس المعرفية باستخدام GPT-4o (تحديداً النسخة gpt-4o-2024-05-13). وقد استخدموا نموذجين متميزين ولكنهما متماثلان منطقياً لاختبار الميزات الثلاث لنظرية العقل.

النماذج (Paradigms)

1. عالم الحاويات (ContainerWorld): مهمة مكانية حيث يختار وكيل بين "صندوق" (قريب) و"سلة" (بعيد).
   • المتغيرات: الاعتقادات (محتويات الحاويات)، الرغبات (حب/كره الفاكهة)، الحالة (المحتويات الفعلية)، التكلفة (المسافة/الجهد).
   • المهمة: التنبؤ بفعل الوكيل (أي حاوية سيفتح).
2. عالم الأفلام (MovieWorld): مهمة زمنية حيث يختار وكيل بين فيلم يبدأ بعد 5 دقائق وفيلم آخر بعد 90 دقيقة.
   • المتغيرات: الاعتقادات (النوع السينمائي)، الرغبات (حب/كره النوع)، الحالة (النوع الفعلي)، التكلفة (وقت الانتظار).
   • الربط: كل زوج (tuple) في عالم الحاويات يقابل بنسبة 1:1 في عالم الأفلام (على سبيل المثال، "الصندوق" = "5 دقائق"، "السلة" = "90 دقيقة").

مسار التقييم (Evaluation Pipeline)

تضمنت الدراسة ثلاث تحقيقات محددة:

• الدراسة 1: التماسك (التنبؤ بالفعل)

  • الطريقة: تم استعلام النموذج اللغوي حول جميع التوليفات الممكنة من الاعتقادات والرغبات والحالات لتوليد نموذج أمامي ($\mathcal{F}$) لتوقعات الأفعال.
  • المقارنة: تمت مقارنة توقعات النموذج اللغوي مع نموذج HumanToM (نموذج تخطيط عقلاني يدمج الاعتقادات والرغبات والتكاليف) ومع عدة نماذج "مبتورة" (مثل النماذج التي تتجاهل الاعتقادات أو التكاليف).
  • المقياس: نسبة الاتفاق بين مخرجات النموذج اللغيدي والنماذج المرشحة.

• الدراسة 2: التجريد (التعميم عبر المجالات)

  • الطريقة: تم اختبار النموذج اللغوي في كل من عالم الحاويات وعالم الأفلام.
  • المقياس 1 (السلوكي): هل أنتج النموذج اللغوي نفس نمط توقعات الأفعال في عالم الأفلام كما فعل في عالم الحاويات؟
  • المقياس 2 (الاستدلال): تم استعلام النموذج اللغوي لاستنتاج الحالات الذهنية المفقودة (الاعتقادات $\mathcal{I}_\mathcal{B}$، أو الرغبات $\mathcal{I}_\mathcal{D}$، أو المشتركة $\mathcal{I}_\mathcal{J}$) بناءً على الأفعال الملحوظة. اختبر المؤلفون ما إذا كان توزيع الاستدلال في عالم الحاويات يمكنه التنبؤ بتوزيع الاستدلال في عالم الأفلام.

• الدراسة 3: الاتساق (السببية ثنائية الاتجاه)

  • الطريقة: اختبر المؤلفون الاتساق الداخلي للنموذج السببي للنموذج اللغوي.
    • الأمامي: بالنظر إلى الحالات الذهنية، هل يتنبأ النموذج اللغوي بالفعل الصحيح؟
    • الخلفي: بالنظر إلى فعل ما، هل يستنتج النموذج اللغكي الحالات الذهنية التي من المنطقي أن تولد هذا الفعل؟
  • المقاييس:
    1. التقييم البايزي (Bayesian Evaluation): الارتباط بين الاحتمال اللاحق (posterior) المستنتج من النموذج اللغكي والاحتمال اللاحق البايزي النظري (الصارم).
    2. تقييم الصلاحية (Validity Evaluation): مقياس "سخي" يتحقق مما إذا كانت أي مجموعة من الحالات الذهنية المستنتجة، عند تغذيتها مرة أخرى في النموذج الأمامي، ستعيد إنتاج الفعل الملحوظ.

3. النتائج الرئيسية

• الدراسة 1 (التماسك): نجاح جزئي

  • أظهر GPT-4o أعلى اتفاق مع نموذج HumanToM في عالم الحاويات، مما يشير إلى أنه يمكنه تقريب التخطيط العقلاني الشبيه بالبشر في السياقات البسيطة أحادية المجال.
  • ومع ذلك، لم يكن الاتفاق كاملاً، واعتمد النموذج على آلية معقدة تتجاوز مجرد تقليل التكلفة.

• الدراسة 2 (التجريد): فشل

  • توقعات السلوك: بينما أدى GPT-4o أداءً جيداً في كلا المجالين بشكل فردي، فإن توقعات الأفعال في عالم الحاويات لم تتنبأ بشكل موثوق بالأفعال في عالم الأفلام ($r = 0.48$). فقد عامل النموذج المجالات ككيانات منفصلة بدلاً من تطبيق قاعدة تجريدية موحدة.
  • استنتاجات الحالة الذهنية: أظهرت استنتاجات الاعتقاد فقط ارتباطاً قوياً عبر المجالات ($r = 0.78$). أما استنتاجات الرغبات ($r = 0.18$) والمشتركة ($r = 0.39$) فكانت ضعيفة جداً.
  • الاستنتاج: يفتقر النموذج اللغكي إلى نموذج سببي تجريدي عام للمجالات. إن "نظرية العقل" لديه هشة وتعتمد على السياق.

• الدراسة 3 (الاتساق): فشل

  • التقييم البايزي: فشل GPT-4o في إظهار ارتباطات سقفية بين توقعاته الأمامية واستنتاجاته الخلفية في أي من المجالين.
  • تقييم الصلاحية: حتى تحت المقياس الأكثر تساهلاً (حيث يكفي أن تكون الحالات الذهنية المستنتجة قادرة على توليد الفعل)، فشل GPT-4o في الوصول إلى اتفاق سقفي.
  • الاستنتاج: توقعات الأفعال واستنتاجات الحالة الذهنية في النموذج اللغكي منفصلة عن بعضها البعض. فهو لا يحافظ على نموذج سببي واحد ومتسق يعمل في الاتجاهين.

4. المساهمات الرئيسية

1. إعادة تعريف تقييم نظرية العقل: تنقل الورقة التركيز من "دقة الاختبارات المعيارية" (اجتياز الاختبار) إلى الخصائص الهيكلية (التماسك، التجريد، الاتساق) المطلوبة لنموذج سببي حقيقي.
2. إطار تقييم جديد: تقديم منهجية صارمة مستندة إلى المعرفة البشرية باستخدام نماذج متماثلة (عالم الحاويات/عالم الأفلام) لاختبار التعميم عبر المجالات والاتساق ثنائي الاتجاه.
3. أدلة تجريبية على القيود: توفر الورقة أدلة قوية على أن النماذج مثل GPT-4o تفتقر إلى نظرية عقل موحدة. يبدو أن براعتها الاجتماعية هي نتيجة لمطابقة الأنماط الإحصائية بدلاً من فهم سببي ناشئ للحالات الذهنية.
4. معايرة خالية من المركزية البشرية: صمم المؤلفون صراحةً اختبارات لا تتطلب من النموذج اللغكي مطابقة نظرية العقل البشرية تحديداً، بل تتطلب امتلاك أي نموذج سببي مجرد ومتسق. وقد فشل النموذج اللغكي حتى في هذا المعيار الأقل تقييداً.

5. الأهمية والآثار المترتبة

• سلامة وموثوقية الذكاء الاصطناعي: إذا كانت النماذج اللغوية الكبيرة تفتقر إلى نظرية عقل متسقة، فإن تفكيرها الاجتماعي هش. قد تبدو كفؤة في السياقات المألوفة، لكنها قد تفشل كارثياً عند التعميم على سيناريوهات اجتماعية جديدة ومتكافئة منطقياً. وهذا يقوض الثقة في قدرتها على إجراء استنتاجات "معقولة" في المواقف المستجدة.
• العلوم المعرفية: تشير النتائج إلى أن "الذكاء الغريب" للنماذج اللغوية يختلف جوهرياً عن الإدراك البشري. البشر يمتلكون نموذجاً سببياً موحداً؛ بينما تمتلك النماذج اللغكية مجموعة من الاستدلالات الضيقة المحددة بالمجال.
• التوجهات المستقبلية: يرى المؤلفون أن التقييمات المستقبلية يجب أن تعطي الأولوية لـ المتطلبات الهيكلية (التماسك، التجريد، الاتساق) بدلاً من مجرد محاكاة السلوك البشري. ويقترحون إضفاء الطابع الرسمي على هذا النهج كمقياس مفتوح المصدر لتقييم قدرات "نظرية العقل" في النماذج الأكثر قوة مستقبلاً.
• التطبيق الأوسع: يمكن تطبيق هذا الإطار على "النظريات الشعبية" الأخرى (مثل الفيزياء، الاقتصاد) وعلى الذكاءات غير البشرية لتحديد ما إذا كانت تمتلك نماذج سببية حقيقية أم مجرد تقريبات إحصائية.

الخلاصة النهائية: تخلص الورقة إلى أن GPT-4o يفتقر إلى نظرية العقل. وبينما يمكنه محاكاة السلوك الاجتماعي البشري في مهام محددة ومقيدة، فإنه يفشل في إظهار النمذجة السببية المجردة والمتسقة والمتماسكة المطلوبة لنظرية عقل حقيقية.