← أحدث الأبحاث
🤖 AI

MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs

تقدم هذه الورقة Mindgames، وهي ساحة تقييم ومجموعة بيانات متعددة الألعاب تضم 29,571 تفاعلاً من مسابقة عام 2025، صُممت لتقييم قدرات النماذج اللغوية الكبيرة في التفكير الاجتماعي والاستراتيجي مع الكشف عن قيود حرجة مثل هشاشة الالتزام بالقواعد وصلاحية لوحة المتصدرين المرتبطة ببيئة محددة.

المؤلفون الأصليون: Kevin Wang, Anna Thöni, Benjamin Kempinski, Bobby Cheng, Jianzhu Yao, Benjamin Finch, Leon Guertler, Viraj Nadkarni, Yihan Jiang, Aliaksei Korshuk, Alexander Buyantuev, Ilya Makarov, Siyuan Wu, Yu-Chi
نُشر 2026-05-29
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: Kevin Wang, Anna Thöni, Benjamin Kempinski, Bobby Cheng, Jianzhu Yao, Benjamin Finch, Leon Guertler, Viraj Nadkarni, Yihan Jiang, Aliaksei Korshuk, Alexander Buyantuev, Ilya Makarov, Siyuan Wu, Yu-Chi Cheng, Yan-Ru Ju, Ti-Rong Wu, I-Hsuan Chu, Yu-Yu Yang, I-Chen Wu, Yitian Huang, Qinlu Cao, Yiheng Sun, Yuhong Dai, Hongkun Yao, Jingxuan Fu, Jiwei Zhang, Hao Liao, Mossimo Ebeling, Govind Arun, Sadhvik Bathini, Mihir S Arya, Avinash Anish, Aditya Ranjan, Kirtana Sunil Phatnani, Paval KS, Vrushali Mehta, Aravind S, Nikhil Arora, Tanya Upadhyay, Amol Bandagale, Yuan Lu, ChunEn Hsiao, YuTing Lin, Arvin Chung, Jerry John Thomas, Mathieu Laurière, Leshem Choshen, Yoram Bachrach, Pramod Viswanath, Maria Polukarov, Cheston Tan, Tal Kachman, Atlas Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل ملعباً رقمياً عملاقاً، حيث لا تكتفي وكلاء الذكاء الاصطناعي (AI) بلعب "سوليتير" بمفردهم، بل يُجبرون على التفاعل، والكذب، والتفاوض، واستراتيجيات المواجهة ضد بعضهم البعض في الوقت الفعلي. هذا هو MINDGAMES، مسابقة ومشروع بحثي جديد صُمم لاختبار مدى قدرة النماذج اللغوية الكبيرة (LLMs) على فهم عقول الآخرين — وهي مهارة يسميها علماء النفس "نظرية العقل" (Theory of Mind).

إليك قصة الورقة البحثية، مقسمة إلى مفاهيم بسيطة.

1. المشكلة: الذكاء الاصطناعي جيد في الاختبارات، سيئ في التعامل مع البشر

حتى الآن، كنا نختبر الذكاء الاصطناعي عبر إعطائه ألغازاً ثابتة أو أسئلة أحادية المرة (مثل "إذا اعتقدت أليس أن بوب يكذب، فماذا ستفعل؟"). تجادل الورقة بأن هذا يشبه اختبار سباح بجعله يقف في المسبح ويركل بساقيه؛ فهذا لا يخبرك ما إذا كان بإمكانه السباحة فعلياً في محيط هائج.

الحياة الواقعية فوضوية. فهي تتضمن:

  • المعلومات المخفية: عدم معرفة ما يعرفه الشخص الآخر.
  • الخداع: الكذب من أجل التقدم.
  • التعاون: العمل معاً عندما تكون لديكم أهداف مختلفة.
  • التكيف: تغيير استراتيجيتك لأن خصمك غير استراتيجيته.

لقد بنى المؤلفون MINDGAMES ليكون ذلك "المحيط الهائج". إنه ساحة حية حيث تنافس 944 وكيل ذكاء اصطناعي من 76 فريقاً مختلفاً في أربع ألعاب محددة.

2. الساحة: أربع ألعاب، أربع مهارات مختلفة

فكر في هذه الألعاب كأربعة صالات رياضية مختلفة، كل منها يدرب عضلة مختلفة من عضلات الذكاء الاجتماعي:

  • كولونيل بلوتو (مباراة الشطرنج): يتشارك لاعبان عدداً محدداً من القوات عبر ثلاث ساحات معارك. أنت لا تعرف أين يضع الخصم قواته.
    • المهارة المختبرة: نمذجة الخصم. هل يمكنك تخمين ما يفكر فيه الشخص الآخر والتفوق عليه دون كلام؟
  • معضلة السجين المتكررة (تمرين الثقة): ثلاثة لاعبين يتحدثون بحرية، ثم يقررون التعاون أو الخيانة للحصول على نقاط.
    • المهارة المختبرة: الثقة والخيانة. هل يمكنك بناء سمعة، وكشف الكاذب، والالتزام بالوعد؟
  • كود نيمز - Codenames (المصافحة السرية): فريقان من شخصين. يقوم شخص واحد (رئيس الجواسيس) بإعطاء تلميح من كلمة واحدة لمساعدة شريكه على تخمين كلمات سرية على لوحة، دون الكشف بالخطأ عن كلمة "القاتل".
    • المهارة المختبرة: الفهم المشترك. هل يمكنك التواصل عبر أفكار معقدة من خلال تلميحات صغيرة ومقيدة؟
  • مافيا السر (لعبة المحقق): ستة لاعبين. بعضهم "مافيا" (يعرفون بعضهم سراً)، وبعضهم "قرويون" (يحاولون إيجاد المافيا). يتناظرون ويصوتون لاستبعاد المشتبه بهم.
    • المهارة المختبرة: الخداع والاستنتاج. هل يمكنك الكذب بشكل مقنع بينما تحاول اكتشاف من يكذب؟

3. النتائج: فخ "الخطأ-البقاء"

كانت المسابقة نجاحاً كبيراً في جمع البيانات (ما يقرب من 30,000 لعبة!)، لكنها كشفت عن خلل مفاجئ في كيفية ترتيبنا للذكاء الاصطناعي عادةً.

الألعاب "النظيفة":
في ألعاب مثل كولونيل بلوتو ومعضلة السجين، كانت التصنيفات منطقية. الذكاء الاصطناو الذي لعب أفضل استراتيجية هو الذي فاز. كان الأمر يشبه سباقاً واضحاً.

الألعاب "الفوضوية":
في ألعاب مثل مافيا السر وكود نيمز، أصبح الأمر غريباً. وجدت الورقة مشكلة رئيسية تسمى "ارتباك الخطأ-البقاء" (Error-Survival Confound).

تخيل لعبة كراسي موسيقية، حيث تتوقف الموسيقى ويجب على الجميع الجلوس. إذا كنت راقصاً ماهراً ولكنك تعثرت وسقطت، فستخسر. لكن في هذه الألعاب الخاصة بالذكاء الاصطناعي، كان العديد من اللاعبين سيئين جداً في اتباع القواعد لدرجة أنهم كانوا يتعثرون باستمرار.

  • في مافيا السر، لم يكن "الفائزون" بالضرورة هم أفضل الكذابين أو المحققين. بل كانوا ببساطة أولئك الذين لم يتعثروا بأقدامهم كثيراً مثل الآخرين.
  • ولأن اللعبة معقدة للغاية، ارتكب العديد من وكلاء الذكاء الاصطناعي "أخطاء قاتلة" (مثل الكشف عن دورهم السري أو التصويت بشكل غير قانوني) وتم طردهم مبكراً. الوكلاء الذين نجوا بمجرد عدم الانهيار تم تصنيفهم في مرتبة أعلى من الوكلاء الذين كانوا في الواقع أكثر ذكاءً ولكن ارتكبوا خطأً واحداً صغيراً.

الدرس المستفاد: في الألعاب الاجتماعية المعقدة، قد يكون لوحة الصدارة مجرد مقياس لـ "من هو الأقل ارتباكاً" بدلاً من "من هو الأذكى".

4. كيف فعل الفائزون ذلك؟

حللت الورقة الفرق الأعلى أداءً ووجدت أنهم لم يعتمدوا فقط على امتلاك "دماغ أكبر" (قدرة حوسبة أكبر). بدلاً من ذلك، استخدموا حيل هندسية ذكية:

  • نهج "السقالات" (Scaffolding): بدلاً من مجرد سؤال الذكاء الاصطناعي "ماذا تفعل؟"، منح الفائزون الذكاء الاصطناعي قائمة مرجعية، ودفتر ملاحظات للذاكرة، ومفسر أكواد للقيام بالعمليات الحسابية. إنه يشبه إعطاء طالب آلة حاسبة ودليل دراسي بدلاً من مجرد كتاب مدرسي.
  • التدريب مقابل التوجيه (Prompting): بالنسبة لنماذج الذكاء الاصطناعي الأصغر، كان تدريبها على بيانات الألعاب السابقة هو الأفضل. أما بالنسبة لأكبر النماذج وأكثرها قوة، فقد كان التوجيه (Prompting) باستخدام تعليمات ذكية (دون إعادة تدريب) هو الأكثر فعالية.
  • مشكلة "لا تكذب": واجه وكلاء الذكاء الاصطناعي صعوبة في الكذب. نظرًا لأنهم مدربون على أن يكونوا مفيدين وصادقين، فإنهم غالباً ما يكشفون عن هويتهم كـ "مافيا" عن طريق الخطأ عندما يحاولون الخداع. كان على أفضل الوكلاء أن يتعلموا صراحةً كيفية كسر هذه العادة "الصدوقة".

5. أدوات المستقبل

لم ينشر المؤلفون النتائج فحسب؛ بل سلموا للجميع مفاتيح الملعب. لقد أطلقوا:

  • مجموعة البيانات: مكتبة ضخمة تضم 29,000 لعبة مع تسجيل كل حركة وفكرة، لكي يتمكن الباحثون الآخرون من دراسة كيفية تفكير الذكاء الاصطناعي (أو فشله).
  • MG-Ref (المجموعة المرجعية): مجموعة "مجمدة" من أفضل اللاعبين وأكثرهم استقراراً من المسابقة. يمكن لوكلاء الذكاء الاصطناعي الجدد الآن اللعب ضد هذه المجموعة المحددة دون الحاجة إلى خادم مباشر للحصول على درجة عادلة.
  • طريقة جديدة للقياس: يقترحون أنه لا ينبغي للاختبارات المستقبلية أن تنظر فقط إلى النتيجة النهائية. يجب أيضاً أن تبلغ عن عدد الأخطاء التي ارتكبها الذكاء الاصطناعي. إذا فاز الذكاء الاصطناعي لأن الجميع الآخرين تعثروا، فهذا ليس انتصاراً حقيقياً.

ملخص

MINDGAMES هي واقع صادم للذكاء الاصطناعي. إنها تظهر أنه بينما يتحسن الذكاء الاصطناعي في لعب الألعاب، فإنه لا يزال هشاً للغاية. إنه يعاني في التعامل مع الطبيعة الاجتماعية المعقدة، طويلة الأمد، والمخادعة للبشر. تخلص الورقة إلى أنه لقياس "الذكاء الاجتماعي" حقاً، يجب أن نتوقف عن مجرد النظر إلى من يفوز باللعبة، ونبدأ في النظر إلى كيف لعبوا، وكم عدد الأخطاء التي ارتكبوها، وما إذا كانوا قد نجوا لأنهم أذكياء أم لمجرد أن الجميع الآخرين كانوا مرتبكين.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →