Evaluating Large language models on Understanding Korean indirect Speech acts
تقيم هذه الدراسة قدرة نماذج اللغات الكبيرة المختلفة على فهم الأفعال الكلامية غير المباشرة في اللغة الكورية من خلال بناء مجموعة بيانات متخصصة واستخدام تقييمات آلية وبشرية، مما يكشف أنه بينما تتفوق النماذج المملوكة مثل Claude3-Opus على البدائل مفتوحة المصدر، إلا أن أيًا منها لا يضاهي بعد مستوى الكفاءة البشرية في تفسير النوايا المعتمدة على السياق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدردش مع صديق، فقال لك: "الجو بارد جداً هنا". إذا كنت تقف بجانب مكيف هواء معطل، فمن المرجح أنه يذكر حقيقة فحسب. ولكن إذا كنت تجلس في غرفة معيشة دافئة والنوافذ مغلقة، فمن المحتمل أنه يلمح إلى: "يرجى إغلاق النافذة" أو "ارفع درجة الحرارة". هذه الفجوة بين ما تقوله الكلمات حرفياً وما تعنيه فعلياً هي "الخلطة السرية" للمحادثة البشرية. في عالم العلم، يُطلق على هذا اسم التداولية (Pragmatics): وهي دراسة كيفية تغيير السياق للمعنى. وبينما أصبحت أجهزة الكمبيوتر بارعة للغاية في ترجمة اللغات أو حل المسائل الرياضية، إلا أنها غالباً ما تعاني في مهارة "القراءة ما بين السطور" هذه. فقد تأخذ تلميحك حرفياً وتكتفي بالقول: "نعم، درجة الحرارة منخفضة"، لتفوت الجوهر تماماً. وهذا الأمر مهم لأننا بينما نبدأ في الاعتماد على مساعدي الذكاء الاصطناعي في كل شيء، من جدولة الاجتماعات إلى تقديم النصائح، نحتاج منهم أن يفهموا ليس فقط كلماتنا، بل نوايانا أيضاً.
هذه الورقة البحثية تشبه قصة بوليسية حيث وضع الباحثون مجموعة من نماذج الذكاء الاصطناعي تحت الاختبار ليروا ما إذا كان بإمكانها فك شفرة التلميحات غير المباشرة. ركز العلماء على اللغة الكورية، وهي لغة يعتبر فيها السياق هو الملك، وقاموا ببناء اختبار خاص يعتمد على نظرية كلاسيكية حول كيفية استخدام البشر للغة. لقد أنشأوا 240 سيناريو حيث يمكن لنفس الجملة أن تعني شيئين مختلفين تماماً اعتماداً على الموقف. على سبيل المثال، قول "الجليد رقيق" قد يكون مجرد حقيقة بسيطة، أو قد يكون تحذيراً للأطفال من المشي على بركة متجمدة. أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي التمييز بين البيان المباشر والطلب غير المباشر، أو الوعد، أو التعبير عن العاطفة.
كانت النتائج مزيجاً من "ليس سيئاً" و"لا يزال أمامنا طريق طويل". اختبر الباحثون 12 نموذجاً مختلفاً للذكاء الاصطناعي، تتراوح بين الأنظمة الضخمة والمكلفة والأنظمة الأصغر مفتوحة المصدر. وكان الفائز الواضح هو نموذج يُدعى Claude3-Opus. فقد سجل حوالي 71.94% في اختبار الاختيار من متعدد و65% في اختبار أكثر انفتاحاً حيث توجب عليه شرح منطقه الخاص. ورغم أن هذا أمر مثير للإعجاب، إلا أنه من المهم ملاحظة أن حتى أفضل نموذج ذكاء اصطناعي لم يتفوق على البشر؛ فقد سجل المشاركون البشوريون في الدراسة حوالي 77.64%، مما يثبت أن البشر لا يزالون هم الأسياد في فهم الإشارات الاجتماعية الدقيقة.
وجدت الدراسة أن معظم نماذج الذكاء الاصطناعي بارعة في أخذ الأمور حرفياً لكنها سيئة في تخمين المعنى الخفي. إذا كان الجملة عبارة عن طلب مباشر، فإن الذكاء الاصطناعي يصيب في معظم الأحيان. ولكن عندما يكون الطلب غير مباشر — مثل قول "الجو جميل في الخارج" للإيحاء بالذهاب للتنزه بدلاً من مجرد التحدث عن الطقس — فإن معظم النماذج تتعثر. كانت تميل إلى التمسك بالمعنى الحرفي للكلمات. ومن المثير للاهتمام أن نماذج الذكاء الاصطناعي كانت جيدة بشكل مفاجئ في فهم المجاملات غير المباشرة أو المصطلحات المجازية (مثل وصف شخص بأنه "طباخ ماهر" لأنه أعد وجبة رائعة)، لكنها واجهت أكبر صعوبة مع الطلبات غير المباشرة.
لاحظ الباحثون أيضاً بعض السلوكيات الغريبة في كيفية تصرف الذكاء الاصطناعي. فبعض النماذج الأصغر، عندما طُلب منها الإجابة باللغة الكورية، ردت بالخطأ باللغة الإنجليزية، كما لو كانت مرتبكة بشأن مع من تتحدث. وأخرى حاولت فرض إجابات الاختيار من متعدد حتى عندما كان السؤال يتطلب شرحاً حراً، كما لو كانت تحاول التلاعب باختبار سبق لها رؤيته. تشير الورقة إلى أنه بينما تعد نماذج الذكاء الاصطنا هذه قوية، إلا أنها لا تزال تفتقر إلى الفهم العميق والبديهي للسياق البشري الذي يمتلكه حتى المراهق. إنهم يشبهون الطلاب الذين حفظوا القاموس لكنهم لم يتعلموا بعد كيفية إجراء محادثة حقيقية. وتخلص الدراسة إلى أنه لجعل الذكاء الاصطناعي مفيداً حقاً، نحتاج إلى تعليمهم النظر إلى ما وراء سطح الكلمات وفهم عالم النوايا البشرية المليء بالسياقات المعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.