🤖 AI

NICE: A Theory-Grounded Diagnostic Benchmark for Social Intelligence of LLMs

تقدم هذه الورقة NICE، وهو معيار تشخيصي قائم على نظرية يتكون من 137 بندًا عبر 11 بُعدًا لتقييم الذكاء الاجتماعي للنماذج اللغوية الكبيرة، كاشفًا أنه بينما تحقق هذه النماذج دقة إجمالية عالية، فإنها تظهر نقاط ضعف مستمرة في جوانب تواصل محددة مثل التفاعل متعدد الأدوار، والإشارات غير اللفظية، والتزامن.

المؤلفون الأصليون: Yunjin Qi, Zhaojun Jiang, Xuan Wu, Hanxi Pan, Yixuan Wang, Yanfang Liu, Xiang Ji, Churu Yu, Chunyuan Zheng, Yingze Chen, Jie He, Liuqing Chen, Zaifeng Gao

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yunjin Qi, Zhaojun Jiang, Xuan Wu, Hanxi Pan, Yixuan Wang, Yanfang Liu, Xiang Ji, Churu Yu, Chunyuan Zheng, Yingze Chen, Jie He, Liuqing Chen, Zaifeng Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً جديداً لمساعدتك في التنقل في عالم العلاقات البشرية المعقد. أنت لا تريد فقط معرفة ما إذا كان بإمكانه الإجابة على الأسئلة بشكل صحيح؛ بل تريد معرفة ما إذا كان بإمكانه "قراءة الغرفة"، وفهم القواعد غير المعلنة، ومعرفة متى يتحدث ومتى يلتزم الصمت.

تقدم هذه الورقة البحثية NICE (المعايير، التفاعل، الإدراك، الخبرة)، وهو "تقرير درجات" جديد مصمم خصصاً لاختبار مدى جودة النماذج اللغوية الكبيرة (LLMs) — وهي العقول التي تقف وراء روبوتات الدردشة بالذكاء الاصطناعي — في التعامل مع هذه المواقف الاجتماعية.

إليك تفصيل لما قام به الباحثون وما وجدوه، باستخدام تشبيهات بسيطة:

1. المشكلة: الاختبار "الأعمى"

قبل ظهور NICE، كان اختبار المهارات الاجتماعية للذكاء الاصطناعي يشبه خضوعك لاختبار قيادة حيث يتعين عليك فقط ركن السيارة في الموقف الموازي.

الاختبارات القديمة: بعض الاختبارات كانت تتحقق فقط مما إذا كان الذكاء الاصطناعي يعرف حقيقة معينة (مثل "ما هو التحية المهذبة؟"). بينما وضعت اختبارات أخرى الذكاء الاصطناعي في محادثة فوضوية ومفتوحة، مما جعل من المستحيل معرفة سبب فشله.
المشكلة: إذا حصل الذكاء الاصطناعي على درجة منخفضة، لم يكن بإمكان الباحثين معرفة ما إذا كان سيئاً في فهم العواطف، أو سيئاً في اتباع القواعد، أو مجرد سيئ في التحدث. كان الأمر يشبه قول: "لقد رسبت في اختبار القيادة"، دون معرفة ما إذا كنت لا تستطيع الرؤية، أو لا تستطيع التوجيه، أو لا تعرف قوانين المرور.

2. الحل: "الأشعة السينية الاجتماعية" (NICE)

بنى الباحثون NICE ليكون أداة تشخيصية، وليس مجرد لوحة تسجيل درجات. فكر في الأمر كأشعة سينية تفكك "الذكاء الاجتماعي" إلى أجزاء محددة حتى يتمكن الأطباء (الباحثون) من رؤية مكان الكسر في العظم بالضبط.

لقد أنشأوا إطار عمل قائماً على علم النفس، ينظم المهارات الاجتماعية في 4 فئات رئيسية و 11 بُعداً محدداً:

المعايير (Norms): معرفة قواعد اللعبة (اللباقة، الأخلاق).
التفاعل (Interaction): كيف تتحدث وتتصرف مع الآخرين.
الإدراك (Cognition): فهم ما يفكر فيه الآخرون أو يشعرون به.
الخبرة (Experience): التعلم من التفاعلات السابقة.

بدلاً من أن تطلب من الذكاء الاصطناعي كتابة قصة طويلة، يعطي NICE سيناريو قصيراً (مثل انتظار مصعد مزدحم) ويطلب منه ترتيب ثلاثة ردود محتملة من "الأفضل" إلى "الأسوأ". هذا يجبر الذكاء الاصطناعي على إظهار فهمه لـ حدود السلوك الاجتماعي، وليس فقط الإجابة "الصحيحة".

3. التجربة: الذكاء الاصطناعي مقابل البشر

اختبر الباحثون 5 من أذكى نماذج الذكاء الاصطناعي المتاحة (مثل GPT-5.5 و Claude-Opus-4.7) مقابل مجموعة من البشر الحقيقيين.

المفاجأة: في المجمل، سجلت نماذج الذكاء الاصطناعي درجات أعلى من البشر! لقد كانوا أفضل في تذكر الحقائق، واتباع القواعد الأخلاقية، وإدارة العلاقات من منظور نظري.
العقبة: عندما نظر الباحثون إلى "الأشعة السينية" (الأبعاد المحددة)، وجدوا ضعفاً كبيراً ومتسقاً.

4. الاكتشاف الكبير: "فجوة التواصل"

بينما كان الذكاء الاصطناعي بارعاً في القواعد (المعايير) و المنطق (الإدراك)، إلا أنه عانى بشدة في التواصل (D3).

فكر في الأمر كطالب حفظ الكتاب المدرسي بالكامل حول "كيف تكون صديقاً" ولكنه يفشل عندما يتحدث فعلياً مع صديق.

أين فشل الذكاء الاصطناعي: كانت النماذج سيئة بشكل خاص في:
- التواصل متعدد الأدوار: الحفاظ على استمرارية المحادثة بشكل طبيعي عبر عدة جولات.
- التواصل غير اللفظي: فهم النبرة، أو لغة الجسد، أو المعنى الضمني (حتى في النص).
- التزامن (Synchrony): مطابقة إيق وحركة التفاعل البشري.

مثال "الانحناء":
تقدم الورقة مثالاً مضحكاً: في سيناريو حيث ينحني شخص ما بعمق شديد (180 درجة)، أدرك البشر فوراً أن هذا أمر غريب وغير لائق. ومع ذلك، اعتقدت أفضل نماذج الذكاء الاصطناعي أن هذا رد فعل جيد أو محايد. كان الذكاء الاصطناعي مركزاً جداً على أن يكون "مهذباً" لدرجة أنه فاته الحد الاجتماعي الذي يقول: "هذا مبالغ فيه للغاية!".

5. الخلاصة

يثبت NICE أن حتى أذكى نماذج الذكاء الاصطناعي لديها "نقطة عمياء" محددة. إنهم ممتازون في معرفة ماذا يقولون بناءً على القواعد، لكنهم غالباً ما يكونون غير متمرسين في كيفية قول ذلك بطريقة تبدو طبيعية وبشرية.

تخلص الورقة إلى أنه لجعل الذكاء الاصطناعي ذكياً اجتماعياً حقاً، لا يمكننا فقط جعله أكثر ذكاءً بشكل عام؛ بل نحتاج إلى تدريبه خصيصاً لإصلاح فجوات التواصل هذه، تماماً كما يركز المدرب على قدم اللاعب الضعيفة بدلاً من مجرد إخباره بأن "يلعب بشكل أفضل".

باخت طصار: الذكاء الاصطناعي طالب عبقري في النظرية الاجتماعية، لكنه لا يزال مرتبكاً قليلاً في الحفلة الفعلية. NICE هو الأداة التي أخبرتنا أخيراً لماذا.

ملخص تقني: NICE – معيار تشخيصي قائم على النظرية للذكاء الاجتماعي للنماذج اللغوية الكبيرة

بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في سياقات مكثفة اجتماعياً (مثل: الرفقة العاطفية، وخدمة العملاء)، أصبح تقييم ذكائها الاجتماعي أمراً بالغ الأهمية لضمان جودة وسلامة التفاعل بين الإنسان والذكاء الاصطناائي. ومع ذلك، تعاني المعايير الحالية من قصورين رئيسيين:

الافتقار إلى هيكل موحد: تفتقر المعايير التي تستهدف قدرات فردية (مثل: نظرية العقل، فهم العواطف) إلى إطار عمل مشترك لرسم خرائط نقاط القوة والضعف عبر فضاء الذكاء الاجتماعي الأوسع.
الافتقار إلى الدقة التشخيصية: توفر السيناريوهات مفتوحة النهايات ومتعددة الأدوار واقعية بيئية عالية، لكنها تدمج قدرات متعددة داخل سيناريو واحد، مما يجعل من المستحيل تتبع الإخفاقات وإرجاعها إلى عجز في قدرة محددة.

بناءً على ذلك، غالباً ما تختزل التقييمات الحالية النماذج في درجات إجمالية تشير إلى مقدار نجاحها، لكنها تفشل في تشخيص أين تقع في الخطأ، مما يعيق عملية التحسين المستهدف.

المنهجية

يقترح المؤلفون NICE (المعايير، التفاعل، الإدراك، الخبرة - Norm, Interaction, Cognition, Experience)، وهو أول معيار تشخيصي شامل قائم على النظرية الاجتماعية وتم بناؤه من خلال مسار سيكومتري صارم. يتضمن البناء أربع مراحل:

1. بناء الإطار

تم تطوير إطار عمل للذكاء الاجتماعي من خلال مراجعة منهجية للأدبيات (من الأعلى إلى الأسفل) وطريقة دلفي (من الأسفل إلى الأعلى) بمشاركة 23 خبيراً.

الأساس النظري: يدمج الإطار نظرية معالجة المعلومات الاجتماعية (Crick & Dodge, 1994) مع ثمانية نظريات كلاسيكية للذكاء الاجتماعي البشري والمراجعات الحديثة للذكاء الاصطناعي.
الهيكل: ينظم الإطار النهائي الذكاء الاجتماعي في 4 فئات، و11 بُعداً، و34 سمة قدرة دقيقة.
الأوزان: تم تقدير الأوزان الهيكلية للفئات والأبعاد باستخدام عملية التسلسل الهرمي التحليلي (AHP) بناءً على مقارنات زوجية أجراها 9 خبراء.

2. جمع المواد وبناء العناصر

المصدر: لم يتم استخراج العناصر من مجموعات بيانات خام لتجنب تلوث البناء؛ بدلاً من ذلك، قام الفريق بتكييف 18 معياراً موجوداً و43 نموذجاً نفسياً.
التصميم: تم إنشاء مجموعة تضم 137 عنصراً، حيث يرتبط كل عنصر بسمة قدرة واحدة بدقة.
تنسيق المهمة: يستخدم NICE مهمة ترتيب مغلقة الشكل. لكل سيناريو، يجب على النماذج ترتيب 3 إلى 6 استجابات مرشحة من "الأمثل اجتماعياً" إلى "المنتهك للحدود". هذا لا يختبر اختيار الاستجابة الأفضل فحسب، بل يختبر أيضاً حساسية النموذج تجاه الحدود السلوكية والمعيارية.

3. التحقق من الصحة

خضع المعيار لعملية تقييم ومراجعة من ثلاث جولات شملت 12 مقيّماً من تخصصات متعددة (لم تكن لديهم معرفة بنتائج النماذج). تم تقييم العناصر بناءً على الموثوقية (الوضوح، استقرار التدرج)، والصلاحية (توافق البناء)، والحياد (التحيز). تم الاحتفاظ فقط بالعناصر التي سجلت 3.5 أو أكثر في جميع المعاياي.

4. بروتوكول التقييم

النماذج: تم تقييم خمسة من النماذج اللغوية الكبيرة الرائدة: GPT-5.5، وClaude-Opus-4.7، وGemini-3.1-pro-preview، وDeepSeek-v4-pro، وQwen3.6-plus.
الإعداد: إعدادات التوليد بـ "الصفر محاولة" (Zero-shot) والفك التشفيري الجشع (Greedy decoding). خضع كل نموذج للاختبار لـ 137 عنصراً ثلاث مرات لتقييم الاستقرار.
خط الأساس: أكملت مجموعة مرجعية بشرية مكونة من 14 متحدثاً أصلياً باللغة الصينية المهام نفسها.
المقياس: تُعرّف الدقة بصرامة على أنها مطابقة الترتيب الكامل للترتيب الذهبي؛ ولا يتم منح أي رصيد في حالة الاتفاق الجزئي.

المساهمات الرئيسية

أول معيار تشخيصي منهجي: يُعد NICE أول معيار يطبق مبادئ القياس طوال المسار بأكمله (الإطار، تطوير العناصر، التحقق من الصحة) للذكاء الاجتماعي الاصطناعي، وينظمه في تسلسل هرمي من 4 فئات، 11 بُعداً، و34 سمة.
التشخيص على مستوى السمة: من خلال ربط كل عنصر بسمة قدرة محددة مسبقاً، يتيح NICE تتبع أخطاء النماذج وصولاً إلى نقاط ضعف محددة بدلاً من دمجها في درجات المستوى البعدي أو الإجمالي.
الصرامة السيكومترية: على عكس مجرد مجموعات المهام، يستخدم NICE مساراً سيكومترياً كاملاً، بما في ذلك إجماع الخبراء، وأوزان AHP، والتحقق المتكرر، مما يضمن أن النتائج التشخيصية قابلة للتفسير وصالحة هيكلياً.

النتائج والتحليل

أسفر تقييم خمسة من النماذج اللغوية الكبيرة الرائدة مقابل خط الأساس البشري عن الرؤى التالية:

الأداء الإجمالي: حققت النماذج دقة إجمالية أعلى ( $M=0.751$ ) مقارنة بالبشر ( $M=0.704$ )، مع وجود فجوة ذات دلالة إحصائية ( $p < .001$ ).
التفاوتات البعدية:
- نقاط قوة النماذج اللغوية الكبيرة: تفوقت النماذج بشكل كبير على البشر في المسؤولية الاجتماعية، والاتساق الذاتي، واستخدام العواطف، والإدراك الاجتماعي، والتعلم التكيفي.
- نقاط ضعف النماذج اللغية الكبيرة: تم تحديد ضعف ثابت في التواصل (D3)، حيث تفوق البشر بشكل كبير على النماذج (البشر $M=0.518$ مقابل النماذج $M=0.428$ ؛ بفارق 9.0%).
التشخيص الدقيق للتواصل: تم حصر الضعف في التواصل في ثلاث سمات محددة:
1. التواصل متعدد الأدوار: تأخرت النماذج عن البشر بنسبة 52.4%.
2. التواصل غير اللفظي: تأخرت النماذج بنسبة 24.8%.
3. التزامن: تأخرت النماذج بنسبة 10.5%.
نتائج دراسة الحالة: كشف التحليل أن النماذج غالباً ما تفشل في معاقبة السلوكيات "المنتهكة للحدود" (مثل التقدير المبالغ فيه مثل الانحناء بزاوية 180 درجة) التي يحددها البشر بشكل صحيح على أنها غير مناسبة. يشير هذا إلى أن النماذج قد تبالغ في تقدير التقدير الصريح بينما تفتقر إلى الحساسية تجاه المعايير السياقية.
الاستقرار: كانت الإخفاقات في بُعد التواصل نظامية وليست عشوائية؛ فعندما فشل النموذج في عنصر من عناصر التواصل، كان يفشل فيه باستمرار عبر عمليات تشغيل متعددة.

الأهمية والادعاءات

يزعم البحث أن NICE يعيد صياغة تقييم الذكاء الاجتماعي من التركيز على الدرجات الإجمالية إلى تشخيص قائم على النظرية لنقاط الضعف ذات العواقب الاجتماعية.

الفائدة التشخيصية: يثبت المعيار أن الدقة الإجمالية العالية يمكن أن تخفي عجزاً حرجاً في مجالات معينة، مثل فروق التواصل الدقيقة وحساسية الحدود، وهي أمور حيوية للتفاعل الآمن بين الإنسان والذكاء الاصطناعي.
رؤى قابلة للتنفيذ: من خلال تحديد سمات قدرة محددة (مثل التواصل متعدد الأدوار، والإشارات غير اللفظية) حيث تقصر النماذج باستمرار، يوفر NICE خارطة طريق للتدريب المستهدف للنماذج والمواءمة.
القصور: يقر المؤلفون بأن NICE هو حالياً معيار نصي ثابت تم تطويره بشكل أساسي ضمن سياق ثقافي صيني. وبينما يحاكي المواقف الواقعية، فإنه لا يستطيع استيعاب ديناميكيات التفاعل المستمر في العالم الحقيقي بشكل كامل. هناك حاجة لعمل مستقبلي لتوسيع المعيار ليشمل بيئات أكثر تعقيداً وتفاعلية وعابرة للثقافات.