Traces of Social Competence in Large Language Models
تتقصى هذه الورقة الكفاءة الاجتماعية لـ 17 نموذجاً من النماذج اللغوية الكبيرة باستخدام مجموعة واسعة من متغيرات اختبار الاعتقاد الخاطئ، كاشفةً أنه في حين يؤدي التوسع في الحجم إلى تحسين الأداء، فإن الذكر الصريح للحالات الذهنية يؤدي إلى تأثير تقاطع نابع من الصور النمطية في مرحلة ما قبل التدريب، وهو ما يمكن عزله سببياً عبر توجيه المتجهات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم مشاعر وأفكار البشر. تريد أن تعرف: هل "يفهم" هذا الروبوت حقاً أن الآخرين قد يعتقدون أشياءً تختلف عن الواقع؟
في علم النفس، هناك اختبار شهير لهذا الغرض يسمى "اختبار الاعتقاد الخاطئ" (False Belief Test). إنه يشبه اللغز التالي:
وضع "ماكسي" الشوكولاتة في صندوق أزرق. غادر المكان. قامت والدته بنقل الشوكولاتة إلى صندوق أخضر. عندما يعود ماكسي، أين سيبحث عن الشوكولاتة؟
الإنسان الذي يفهم "الاعتقاد الخاطئ" يعرف أن ماكسي سيبحث في الصندوق الأزرق (لأنه لا يعرف أنها نُقلت). أما الإنسان الذي لا يفهم ذلك، فسيقول الصندوق الأخضر (لأن الشوكولاتة موجودة هناك بالفعل).
هذه الورقة البحثية هي غوص عميق في ما إذا كانت النماذج اللغوية الكبيرة (LLMs) —وهي العقول التي تقف وراء برامج الدردشة الآلية— يمكنها اجتياز هذا الاختبار. لم يكتفِ الباحثون بسؤال الذكاء الاصطناعي السؤال فحسب؛ بل عاملوه كأنه فأر تجارب في متاهة معقدة للغاية ليروا كيف يفكر.
إليك قصة نتائجهم، مشروحة ببعض التشبيهات من الحياة اليومية.
1. قاعدة "الحجم لا يهم دائماً"
قد تعتقد: "إذا جعلت الذكاء الاصطناعي أكبر وأعطيته بيانات أكثر، فسيكون أكثر ذكاءً".
- النتيجة: نعم، جعل الذكاء الاصطناعي أكبر يساعده على إعطاء الإجابة الصحيحة لـ "الاعتقاد الخاطئ". ولكن هناك خدعة.
- التشبيه: تخيل طالباً يذاكر لاختبار ما. إذا أعطيته مكتبة أكبر (بيانات أكثر)، فسيصبح أفضل في اكتشاف الأسئلة الخادعة. ومع ذلك، إذا سألته سؤالاً بسيطاً ومباشراً ("أين الشرقولات؟")، فقد يصبح الطالب الأكبر حجماً أكثر ارتباكاً من الطالب الأصغر.
- لماذا؟ النماذج الأكبر قرأت الكثير من القصص حيث يعتقد شخص ما شيئاً خاطئاً، لذا بدأت تتوقع وجود "خدعة" حتى عندما لا تكون هناك واحدة. إنها تبالغ في تحليل الأمور البسيطة.
2. فخ "الكلمة السحرية"
قام الباحثون بتغيير صياغة السؤال قليلاً.
النسخة (أ) (صريحة): "بماذا يعتقد ماكسي؟"
النسخة (ب) (ضمنية): "إلى أين يذهب ماكسي ليأخذ الشوكولاتة؟"
النتيجة: عندما يرى الذكاء الاصطناعي كلمة "يعتقد"، يصبح بارعاً جداً في الأسئلة الخادعة (الاعتقاد الخاطئ). ولكن عندما تكون الكلمة مجرد فعل مثل "يذهب"، فإنه يعاني.
التشبيه: الأمر يشبه كلباً تدرب على الجلوس فقط عندما تقول له الأمر المحدد "اجلس". إذا قلت له "من فضلك اجلس"، فقد لا يستجيب. لقد تعلم الذكاء الاصطناعي نمطاً (Stereotype): "عندما أرى كلمة 'يعتقد'، يجب أن أبحث عن خدعة". إنه لا يفكر في القصة؛ بل يتفاعل مع كلمة مفتاحية.
3. مشكلة "الإفراط في التدريب"
نظر الباحثون في كيفية تغير الذكاء الاصطناعي مع مروره بمراحل تدريب مختلفة:
- النموذج الأساسي (Base Model): قرأ الكثير من الكتب فقط.
- ضبط التعليمات (Instruction Tuned): عُلّم اتباع الأوامر وكونه مفيداً.
- ضبط الاستنتاج (Reasoning Tuned): عُلّم "التفكير خطوة بخطوة".
- النتيجة:
- ضبط التعليمات ساعد قليلاً. جعله أقل جموداً.
- ضبط الاستنتاج جعل الأمور أسوأ بالنسبة للأسئلة الصعبة.
- التشبيه: تخيل طباخاً.
- الطباخ الأساسي يعرف الوصفات فقط.
- طباخ التعليمات يتعلم اتباع طلب الزبون بدقة.
- طباخ الاستنتاج يحاول أن يكون "ناقداً للطعام" ويحلل كل مكون بشكل مفرط.
- المشكلة؟ "طباخ الاستنتاج" يصبح مهووساً بكلمة "يعتقد" لدرجة أنه ينسى المذاق الفعلي للطبق. يصبح بارعاً جداً في اكتشاف "الخدعة" لدرجة أنه يفشل في تقديم الأطباق البسيطة.
4. "العصا السحرية" (توجيه المتجهات - Vector Steering)
هذا هو الجزء الأكثر إثارة. استخدم الباحثون تقنية تسمى "توجيه المتجهات" (Vector Steering).
- التشبيه: تخيل أن عقل الذكاء الاصطناعي هو راديو ضخم. وجد الباحثون "مقبضاً" معيناً (متجه رياضي) يتحكم في فهم الذكاء الاصطناعي لكلمة "يعتقد".
- التجربة: قاموا برفع وخفض هذا "المقبض" أثناء إجابة الذكاء الاصطناعي على الأسئلة.
- عندما رفعوا مقبض "يعتقد" للأعلى، أصبح الذكال الاصطناعي فجأة أفضل في الأسئلة الخادعة.
- عندما خفضوه للأسفل، أصبح أسوأ.
- الاستنتاج: هذا يثبت أن الذكاء الاصطناعي ليس بالضرورة "يفهم" القصة بطريقة بشرية. إنه فقط يتفاعل مع إشارة محددة في دماغه تقول: "أوه، كلمة 'يعتقد' موجودة هنا! حان وقت تخمين عكس الواقع!".
الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه بينما يصبح الذكاء الاصطناعي جيداً جداً في اجتياز هذه الاختبارات، فإنه قد يكون يغش.
الأمر ليس أن لدى الذكاء الاصطناعي "عقلاً" يفهم أسرار الآخرين. بدلاً من ذلك، فقد تعلم نمطاً:
"إذا ذكرت القصة 'التفكير' أو 'الاعتقادات'، فإن الإجابة عادة ما تكون عكس ما حدث بالفعل".
الدرس البشري:
مجرد كون الذكاء الاصطناعي يعطي الإجابة الصحيحة لا يعني أنه يفهم "السبب". إنه يشبه طالباً حفظ مفتاح الإجابات لنوع معين من المسائل الرياضية. إذا غيرت الأرقام قليلاً، فقد يفشل، حتى لو أجاب على الـ 100 سؤال السابقة بشكل صحيح.
باختصار: الذكاء الاصطناعي يزداد ذكاءً، لكنه لا يزال في الغالب بارعاً في الأنماط، وليس بارعاً في التعاطف البشري. يجب ألا نخطئ ونظن أن الماكر الماهر هو صديق يفهم حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.