Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language
تقيم هذه الورقة الفجوة البراغماتية في المعالجة الثقافية للنماذج اللغوية الكبيرة من خلال إثبات أنها، بينما تستطيع تفسير اللغة المجازية، إلا أنها تعاني بشكل أكبر بكثير مع التعبيرات المتجذرة ثقافياً مثل الأمثال والتعابير الاصطلاحية في العامية المصرية مقارنة باللغة الإنجليزية، مما استدعى إصدار مجموعة بيانات "كنايات" لدعم الأبحاث المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً عبقرياً جديداً يدعى LLM (نموذج لغوي كبير). لقد قرأ هذا الطالب كل كتاب، وموقع إلكتروني، ومقال على الإنترنت تقريباً. يمكنه استرجاع الحقائق، وكتابة القصائد، وحل المسائل الرياضية بشكل أفضل من أي شخص آخر.
ولكن هناك مشكلة: LLM يشبه السائح الذي حفظ كتاباً للعبارات الجاهزة لكنه لم يعش في البلاد فعلياً. هو يعرف الكلمات، لكنه لا يستوعب تماماً "الجو العام"، أو النكات الداخلية، أو القواعد غير المكتوبة لكيفية تحدث الناس مع بعضهم البعض.
هذه الورقة البحثية تشبه "اختباراً ثقافياً مفاجئاً" مصمماً لمعرفة ما إذا كان بإمكان طالبنا فائق الذكاء أن يفهم الثقافة المحلية حقاً، أم أنه مجرد يتظاهر بذلك.
الاختبار: الأمثال والتعابير الاصطلاحية
لم يطلب الباحثون من LLM حل مسائل التفاضل والتكامل. بدلاً من ذلك، اختبروه في الأمثال والتعابير الاصطلاحية.
فكر في التعبير الاصطلاحي كأنه "مصافحة سرية".
- المعنى الحرفي: "لا تبع الماء في قرية بائعي الماء".
- المعنى الحقيقي: "لا تحاول بيع بضائعك لأشخاص لديهم منها الكثير بالفعل" (أو، "لا تحاول التفوق على الخبراء").
إذا قمت بترجمة الكلمات حرفياً، فلن يكون للمعنى أي منطق. أنت بحاجة لفهم القصة وراء التعبير. اختبرت الورقة نماذج LLM في:
- الأمثال الإنجليزية: الأمثلة "النموذجية".
- الأمثال العربية: الأمثلة الثقافية "القياسية".
- الإيديومات (التعبيرات) العامية المصرية: "ذكاء الشارع"، والكلمات الدارجة، والنكات المحلية.
النتائج: "السائح" مقابل "ابن البلد"
كشفت النتائج عن تسلسل هرمي واضح، يشبه ألعاب الفيديو ذات مستويات الصعوبة المتزايدة:
المستوى الأول: الأمثال الإنجليزية (الوضع السهل)
كانت نماذج LLM جيدة جداً هنا. استطاعت شرح معاني الأمثال الإنجليزية لأنها قرأت الكثير من الكتب الإنجليزية، وحققت نسبة نجاح حوالي 90%.المستوى الثاني: الأمثال العربية (الوضع المتوسط)
عندما انتقلوا إلى الأمثال العربية الفصحى، انخفضت الدرجات بنحو 4%. كانت النماذج جيدة نوعاً ما، لكنها بدأت تتعثر قليلاً في التفاصيل الثقافية الدقيقة.المستوى الثالث: الإيديومات المصرية (الوضع الصعب)
هنا أصبح الأمر فوضوياً. عندما حاولت النماذج فهم العامية المصرية والإيديومات (وهي محددة جداً بالحياة اليومية، والعمل، والديناميكيات الأسرية)، انخفضت درجاتها بنسبة 10% أخرى. كانت النماذج في الأساس تخمن.
المفاجأة الكبرى: "الفجوة البراجماتية" (الفجوة بين المعرفة والاستخدام)
الجزء الأكثر إثارة للاهتمام في القصة هو أن الباحثين أعطوا النماذج نوعين من الاختبارات:
- الاختبار (أ) (الامتحان): "إليك تعبيراً اصطلاحياً. ما معناه؟"
- النتيجة: كانت النماذج جيدة في هذا؛ استطاعت اختيار التعريف الصحيح من قائمة.
- الاختبار (ب) (الحفلة): "إليك موقفاً معيناً. استخدم تعبيراً اصطلاحياً لوصفه بشكل طبيعي."
- النتيجة: فشل ذريع.
التشبيه:
تخيل أنك في حفلة. أنت تعرف تعريف كلمة "محرج" (Awkward).
- الاختبار (أ): إذا سألك أحدهم: "ما معنى كلمة 'محرج'؟" يمكنك القول: "إنها تعني الشعور بعدم الارتياح". (لقد نجحت).
- الاختبار (ب): إذا سقط صينية من الأكواب، وقمت أنت فوراً بالصراخ: "هذا مثال كلاسيكي على الإحراج!" بينما الجميع ينظر إليك، فأنت قد فشلت في الحفلة. أنت تعرف الكلمة، لكنك لا تعرف متى أو كيف تستخدمها.
وجدت الورقة أن نماذج LLM سيئة جداً في الاختبار (ب). حتى أكثر النماذج ذكاءً انخفضت دقتها بنسبة 14% عندما طُلب منها استخدام التعبير الاصطلاحي بشكل صحيح في جملة، مقارنة بمجرد شرح معناه. إنها تبدو كآلة تقرأ قاموساً، وليس كبشر يجري محادثة.
"النقطة العمياء الثقافية"
بحثت الدراسة أيضاً في الدلالات الضمنية (الشعور العاطفي للكلمة).
- هل العبارة مضحكة؟ هل هي مهينة؟ هل هي ساخرة؟
- حتى عندما اتفق البشر بنسبة 100% على المعنى، لم تتفق النماذج معهم إلا بنسبة 85% من الوقت.
الأمر يشبه كون النماذج "مصابة بعمى الألوان" تجاه "الألوان العاطفية" للغة. هي ترى النص بالأسود والأبيض، لكنها تفقد قوس قزح من المشاعر الكامن خلفه.
الأداة الجديدة: "كنايات"
للمساعدة في حل هذه المشكلة، أنشأ المؤلفون مجموعة بيانات جديدة تسمى "كنايات".
فكر في هذا كـ "دليل بقاء ثقافي" جديد للذكاء الاصطناعي. إنها مجموعة تضم 325 تعبيراً مصرياً، تم تصنيفها بعناية مع معانيها وأمثلة على كيفية استخدامها في الحياة الواقعية. إنها تشبه إعطاء السائح خريطة لا تكتفي فقط بإظهار الشوارع، بل تظهر له أيضاً أين توجد المقاهي الجيدة وأي الشوارع يجب تجنبها.
الخلايصة
تعلمنا هذه الورقة البحثية أن معرفة اللغة لا تعني فهم الثقافة.
نماذج الذكاء الاصطناعي الحالية تشبه الموسوعات التي يمكنها استرجاع الحقائق بدقة. ولكن عندما يتعلق الأمر بالأجزاء الفوضوية، والعاطفية، والثقافية، و"النكات الداخلية" في المحادثة البشرية، فهي لا تزال مجرد سياح. يمكنهم قراءة قائمة الطعام، لكنهم لم يتعلموا بعد كيف يطلبون الطعام مثل أهل البلد.
الدرس المستفاد: إذا كنت تريد من الذكاء الاصطناعي أن يفهم ثقافتك حقاً، فلا يمكنك فقط تغذيته بمزيد من النصوص. عليك أن تعلمه السياق، والمشاعر، والقواعد غير المكتوبة لكيفية تحدث الناس فعلياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.