CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models
تقدم هذه الورقة البحثية معيار الاستدلال العاطفي السياقي (CEI)، وهو مجموعة بيانات تضم 300 سيناريو تم التحقق منها بشرياً، صُممت لتقييم قدرة النماذج اللغوية الكبيرة على استنتاج المعنى المقصود بما يتجاوز الدلالات الحرفية من خلال التنقل عبر العبارات الغامضة عبر مختلف ديناميكيات القوة والأنواع الفرعية التداولية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك في حفلة عشاء. قال أحدهم: "أوه، عملٌ رائع في العرض التقديمي"، لكنه قالها مع تنهيدة، وهو يقلب عينيه، بينما ارتكب الشخص الذي قدم العرض خطأً فادحاً.
البرنامج الحاسوبي الذي ينظر فقط إلى الكلمات قد يظن: "إنهم سعداء! لقد استخدموا كلمة 'رائع'!"
لكن الإنسان يعرف الحقيقة: إنهم في الواقع غاضبون جداً.
هذه الفجوة بين ما يُقال وما يُقصد به تسمى الاستدلال البراغماتي (التداولي). إنها "الخلطة السرية" للتواصل البشري. نحن نستخدم السخرية، والعدوانية السلبية، والأكاذيب المهذبة طوال الوقت.
تقدم هذه الورقة اختباراً جديداً يسمى CEI (الاستدلال العاطفي السياقي) لمعرفة ما إذا كان الذكاء الاصطناني (AI) قادراً على فهم هذه المعاني الخفية. إليك التفاصيل بتبسيط شديد:
1. المشكلة: الذكاء الاصطناعي سيء في "قراءة الأجواء"
نماذج الذكاء الاصطناعي الحالية تشبه الطلاب المتفوقين الذين حفظوا كل قواميس العالم، لكنهم لم يتحدثوا أبداً مع بشر حقيقيين. هم بارعون في الحقائق اللفظية، لكنهم سيئون جداً في فهم:
- السخرية: قول عكس ما تعنيه تماماً.
- العدوانية السلبية: أن تكون "لطيفاً" في الظاهر بينما أنت لئيم في الجوهر.
- التهذيب الاستراتيجي: تلطيف الصدمة للحفاظ على المظهر.
- التملص: تغيير الموضوع لتجنب حقيقة صعبة.
- الإشارات المختلطة: عندما تقول الكلمات شيئاً، بينما يوحي الموقف بشيء آخر.
2. الحل: اختبار "المحقق الاجتماعي"
قام الباحثون بإنشاء مجموعة بيانات مكونة من 300 قصة قصيرة (سيناريوهات).
- الإعداد: كل قصة تعطيك السياق (مثلاً: "مدير وموظف في اجتماع")، وديناميكية القوة (من هو المسيطر؟)، وجملة محددة يقولها المتحدث.
- المهمة: عليك أن تخمن: ماذا يشعر هذا الشخص حقاً؟
- اللمسة الملتوية: قد تكون الجملة "بالتأكيد، سأتولى العمل الإضافي في عطلة نهاية الأسبوع هذا". هل هي صادقة؟ أم أنها "لا" مهذبة؟ أم أنها عدوانية سلبية بمعنى "أنا أكرهك"؟
قاموا بتعيين 15 طالباً بشرياً للعمل كـ "محققين" وتصنيف المشاعر. كما أعطوا الذكاء الاصطناعي نفس الاختبار.
3. النتائج: البشر يعانون، والذكاء الاصطناعي ضائع
هذا هو الجزء المفاجئ: حتى البشر وجدوا هذا صعباً.
- عندما نظر ثلاثة بشر مختلفين إلى نفس السيناريو، اختلفوا في كثير من الأحيان.
- كان "معدل الاتفاق" منخفضاً (حوالي 21%). هذا ليس لأن البشر سيئون، بل لأن المعنى البراغماتي (التداولي) غامض. فأحياناً، جملة مثل "أنا بخير" قد تعني "أنا حزين"، أو "أنا غاضب"، أو "أنا متعب فحسب"، ولا توجد إجابة واحدة صحيحة.
- الذكاء الاصطناعي كان أسوأ حالاً. أفضل نموذج ذكاء اصطناعي أجاب على 25% فقط من الإجابات بشكل صحيح. بينما أجاب البشر على حوالي 54% منها بشكل صحيح.
- التشبيه: إذا كان هذا اختبار قيادة، فإن البشر يقودون بسرعة 50 ميلاً في الساعة تحت المطر (مهتزون قليلاً، لكنهم يصلون)، أما الذكاء الاصطناعي فيقود بسرعة 10 أميال في الساعة، مرتبكاً بشأن أي مسار يتبع، ويستمر في الاصطدام بالرصيف.
4. لماذا يفشل الذكاء الاصطناعي؟
وجدت الورقة أن الذكاء الاصطناعي يفشل بطرق محددة:
- يأخذ الأمور حرفياً أكثر من اللازم. إذا قلت "هذه فكرة رائعة" بسخرية، سيعتقد الذكاء الاصطناعي أنك سعيد.
- يتجاهل ديناميكيات القوة. لا يفهم أن قول الموظف "بالتأكيد" لمديره يختلف عن قول صديق لآخر "بالتأكيد".
- لا يستطيع التعامل مع الأمور "الغامضة". عندما يختلف البشر على الشعور، يقوم الذكاء الاصطناعي ببساطة باختيار الشعور السلبي الأكثر شيوعاً (مثل الغضب أو الحزن) ويمضي قدماً. إنه لا يملك الحدس ليقول: "همم، هذا الأمر غامض".
5. لماذا يهم هذا؟
قد تفكر: "وماذا في ذلك؟ الذكاء الاصطناعي سيء في النكات فقط". لكن هذه المهارة حاسمة للأمان والمنفعة في العالم الحقيقي:
- الصحة النفسية: إذا كان "روبوت الدردشة" يتحدث مع شخص مكتئب، وقال الشخص "أنا بخير" (بينما يقصد "أنا لست كذلك")، يحتاج الذكاء الاصطناعي لمعرفة ضرورة السؤال: "هل أنت متأكد؟".
- سلامة مكان العمل: إذا كانت أداة الموارد البشرية (HR) تفحص رسائل البريد الإلكتروني بحثاً عن السلوك "السام"، فيجب أن ترصد رسائل البريد الإلكتروني العدوانية سلبياً التي تبدو مهذبة في الظاهر لكنها عدائية في الجوهر.
- سهولة الوصول (Accessibility): بالنسبة للأشخاص الذين يعانون من صعوبة في فهم الإشارات الاجتماعية (مثل المصابين بالتوحد)، يمكن لأدوات الذكاء الاصطناعي التي تترجم "الأكاذيب المهذبة" إلى "مشاعر حقيقية" أن تقدم مساعدة هائلة.
الخلاصة
هذه الورقة هي بمثابة "واقع مرير". فهي تظهر أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في الرياضيات والكتابة، فإنه لا يزال أخرقاً اجتماعياً. يمكنه كتابة قصيدة، لكنه لا يستطيع معرفة ما إذا كنت تسخر منه.
لقد نشر الباحثون هذا الاختبار للجمهور حتى يتمكن علماء آخرون من محاولة إصلاح ذلك. إنهم يقولون باختصار: "هذه مرآة تظهر لنا بالضبط أين يصاب ذكاؤنا الاصطناعي بالعمى. فلنعمل على تعليم القدرة على قراءة الأجواء."
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.