Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs
من خلال تقييم 41 نموذجاً لغوياً من النماذج ذات الأوزان المفتوحة في مهام الاعتقاد الخاطئ، تُظهر هذه الدراسة أنه بينما تُبدي النماذج الأكبر حساسية محسنة تجاه حالات المعرفة، فإن قدرتها على محاكة الاستدلال البشري تظل محدودة، رغم نجاحها في نمذجة انحيازات لغوية محددة في عزو الاعتقاد، مما يؤكد صلاحية استخدام نماذج متنوعة ذات أوزان مفتوحة لتقييم قدرات الذكاء الاصطناعي واختبار نظريات الإدراك الاجتماعي البشري في آن واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم المشاعر البشرية، وتحديداً المفهوم الصعب المتمثل في أن الآخرين يمكنهم الاعتقاد بأشياء ليست حقيقية. هذا ما يسمى بـ "الاستدلال على الاعتقاد الخاطئ"، أو ما يُعرف في علم النفس بـ "نظرية العقل"، وهي جزء أساسي من فهم كيفية عمل العقل البشري.
على سبيل المثال: إذا أخفيتَ قطعة كعك في جرة، لكن صديقك نقلها إلى صندوق بينما كنت لا تنظر، فأنت تعرف أن الكعكة موجودة في الصندوق. لكن صديقك يعتقد أنها لا تزال في الجرة. هل يمكن للكمبيوتر أن يستنتج أن صديقك مخطئ؟
هذه الورقة البحثية هي تجربة ضخمة لمعرفة ذلك. فبدلاً من اختبار روبوت واحد أو اثنين من نوع "الصندوق الأسود" (وهي مثل آلات البيع الذاتي المغلقة حيث لا يمكنك رؤية كيف تعمل)، اختبر الباحثون 41 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي مفتوحة الأوزان. تخيل هؤلاء الـ 41 نموذجاً كطلاب في فصل دراسي، يتراوحون بين طلاب صغار وبسطاء إلى عمالقة فائقو الذكاء، وكتبهم المدرسية (بيانات التدريب) مفتوحة ليراها الجميع.
إليك تفاصيل ما وجدوه، باستخدام تشبيهات من الحياة اليومية:
1. اختبار "قراءة الأفكار"
أعطى الباحثون هذه النماذج قصة عن شخصية تدعى "جون".
- السيناريو (أ) (الاعتقاد الحقيقي): يرى جون كرة تنتقل من صندوق إلى سلة. هو يعرف مكانها.
- السيناريو (ب) (الاعتقاد الخاطئ): لا يرى جون الكرة وهي تتحرك. هو يعتقد أنها لا تزال في الصندوق، لكنها في الواقع في السلة.
كان على الذكاء الاصطناعي أن يخمن أين سيبحث جون عن الكرة.
- النتيجة: نجح حوالي 34% من نماذج الذكاء الاصطناعي في التخمين الصحيح. لقد أظهروا قدرتهم على "تخمين" ما يفكر فيه جون بناءً على القصة.
- العقبة: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً لم تكن مثالية. فقد أصابوا في التخمين بنسبة 74% تقريباً، بينما أصاب البشر بنسبة 83%. إن نماذج الذكاء الاصطناعي تتحسن، لكنها لا تزال ليست بمستوى براعة البشر في هذه الحيلة البشرية المحددة.
2. قاعدة "الحجم مهم"
لاحظ الباحثون نمطاً واضحاً: النماذج الأكبر تؤدي بشكل أفضل.
- التشبيه: تخيل مكتبة. المكتبة الصغيرة (نموذج ذكاء اصطناعي صغير) قد تحتوي فقط على بضعة كتب حول "جون والكرة". أما المكتبة الضخمة (نموذ_ذكاء اصطناعي عملاق) ففيها ملايين القصص. كلما قرأ الذكاء الاصطناعي قصصاً أكثر، زادت قدرته على تخمين ما يفكر فيه جون.
- النتيجة: مع زيادة حجم نماذج الذكاء الاصطناعي (المزيد من "المعلمات"، وهو ما يشبه امتلاك المزيد من الخلايا الدماغية)، تحسنت قدرتها على فهم هذه الحالات الذهنية. ومع ذلك، فإن أكبر النماذج لم تستطع تفسير لماذا البشر بارعون جداً في هذا الأمر.
3. مفاجأة "الكلمة السحرية" (الاكتشاف الكبير)
هذا هو الجزء الأكثر إثارة للاهتمام. وجد الباحثون خللاً غريباً في طريقة تفكير كل من البشر والذكاء الاصطناعي، وهو ما يسمونه تأثير "الكلمة السحرية".
الإعداد: اختبروا طريقتين لطرح السؤال:
- غير مباشر: "يبحث جون عن الكرة في الـ..." (بدون استخدام فعل محدد يتعلق بالتفكير).
- مباشر: "جون يعتقد أن الكرة في الـ..." (باستخدام كلمة "يعتقد").
الخلل: عندما استخدمت الجملة كلمة "يعتقد" (وهو فعل غير واقعي)، كان كل من البشر والذكاء الاصطناعي أكثر عرضة للوقوع في الخطأ. كانوا أكثر عرضة لقول إن الكرة في المكان الخاطئ (الصندوق) لمجرد استخدام كلمة "يعتقد".
لماذا؟ إنه يشبه الفخ اللغوي. عندما نقول "جون يعتقد (X)"، فإن عقولنا أحياناً تهيئ نفسها لا شعورياً لاحتمالية أن (X) قد تكون خاطئة.
المفاجأة: بالنسبة لهذه الحيلة الخاصة بـ "الكلمة السحرية"، كان البشر والذكاء الاصطناعي متطابقين تقريباً. رد فعل البشر وقع في المنتصف تماماً بين ردود أفعال الذكاء الاصطناعي.
ماذا يعني هذا؟ يشير هذا إلى أنه بالنسبة لهذا النوع من الأخطاء، لا نحتاج إلى "روح بشرية" خاصة أو دماغ اجتماعي معقد. قد نكون ببساطة نستجيب للأنماط الإحصائية لكيفية استخدام كلمات مثل "يعتقد" في اللغة. لقد تعلم الذكاء الاصطناعي هذا من قراءة الإنترنت، وتعلم البشر هذا من سماعنا لكلامنا.
4. مشكلة "الصندوق الأسود"
تجادل الورقة البحثية بأننا بحاجة للتوقف عن اختبار النماذج "مغلقة المصدر" فقط (مثل تلك التي تنتجها شركات التكنولوجيا الكبرى والتي تحتفظ بأسرارها).
- التشبيه: إذا كنت تريد فهم كيفية عمل محرك السيارة، فلا يمكنك مجرد قيادة سيارة غطاء محركها ملحوم ومغلق. أنت بحاجة لفتح الغطاء (النماذج مفتوحة الأوزان) لرؤية التروس، والمكابس، وخطوط الوقود.
- من خلال اختبار 41 نموذجاً مختلفاً، استطاع الباحثون رؤية أن الأداء يختلف بشكل كبير. بعض النماذج الصغيرة فشلت تماماً، بينما أدى بعضها الآخر أداءً جيداً بشكل مفاجئ. وهذا يساعدنا على فهم أن "الذكاء الاصطناعي" ليس شيئاً واحداً؛ بل هو عائلة من الأدوات ذات نقاط قوة مختلفة.
الخلاصة
تخبرنا هذه الورقة بشيئين:
- الذكاء الاصطناعي أصبح جيداً في "قراءة الأفكار"، لكنه لم يصل لمستوى البشر بعد. كلما كبر حجم الذكاء الاصطناعي، زادت جودته، لكنه لا يزال يفتقر إلى الدقة واللمسات التي يدركها البشر بشكل طبيعي.
- إحصائيات اللغة قوية للغاية. بالنسبة لأنواع معينة من الاستدلال (مثل فخ "الكلمة السحرية")، يمكن للذكاء الاصطناعي محاكاة السلوك البشري بدقة بمجرد تحليل كيفية استخدام الكلمات في الجمل. وهذا يشير إلى أن الكثير مما نعتبره "ذكاءً اجتماعياً" قد يكون في الواقع فهماً متطوراً جداً للأنماط اللغوية.
باختصار: الذكاء الاصطناعي يشبه الطلاب الذين قرأوا كل كتاب في المكتبة. إنهم يبدأون في فهم كيف يفكر الناس، لكنهم لا يزالون يتعلمون الفرق بين "قراءة الكلمات" و"فهم القلب".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.