Unmasking the Factual-Conceptual Gap in Persian Language Models
تقدم هذه الورقة البحثية DivanBench، وهو معيار تشخيصي لنماذج اللغة الفارسية يكشف عن فجوة كبيرة بين استرجاع الحقائق الثقافية والاستدلال بشأن المعايو الاجتماعية الضمنية، مما يثبت أن النماذج الحالية تعاني من انحياز الموافقة وتفشل في استيعاب المخططات الثقافية رغم التدريب المسبق المستمر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يفهم الثقافة البشرية. أعطيته مكتبة تحتوي على مليارات الكتب والمقالات والقصص المكتوبة باللغة الفارسية. ثم سألت الروبوت: "هل تفهم كيف يتصرف الإيرانيون؟"
قال الروبوت: "نعم! أنا أعرف كل الكلمات. أعرف أن الإيرانيين يقولون 'تعارف' (الرفض المهذب) عند تقديم الطعام لهم. وأعرف أنهم يحرقون بذور 'الاسفند' لدرء سوء الحظ".
ولكن بعد ذلك، وضعت الروبوت في موقف من الحياة الواقعية. قدمت طعاماً لضيف، فرفض. قدمت له مرة أخرى، فرفض. قدمت له للمرة الثالثة، فقبل أخيراً. ومع ذلك، ارتبك الروبوت؛ فكر قائلاً: "مهلاً، في المرة الأولى رفض، وهذا كان انتهاكاً! كان ينبغي أن يقبل فوراً!". أو أنه رأى ضيفاً لا يرفض، فظن: "هذا أمر طبيعي تماماً!".
هذا بالضبط ما تدور حوله ورقة البحث بعنوان "كشف الفجوة بين الحقائق والمفاهيم في النماذج اللغوية الفارسية". فقد صمم الباحثون اختباراً يسمى DIVANBENCH (تيمناً بالطاولة المنخفضة التقليدية الفارسية) ليروا ما إذا كانت نماذج الذكاء الاصطعي تفهم الثقافة الفارسية حقاً أم أنها تكتفي فقط بـ ترديد ما تعلمته.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. مشكلة "الرجل المطيع" (انحياز الموافقة)
التشبيه: تخيل طالباً يؤدي امتحاناً. عندما يسأله المعلم: "هل من الأدب أن تقف عند دخول شخص مسن؟" فيجيب الطالب "نعم!" بشكل صحيح. ولكن عندما يسأله المعلم: "هل من الأدب أن تجلس وتتجاهل الشخص المسن؟" يجيب الطالب أيضاً بـ "نعم!" لأنه متحمس جداً للموافقة على أي شيء يبدو كقاعدة ثقافية.
النتيجة: معظم نماذج الذكاء الاصطناعي التي تم اختبارها كانت "رجالاً مطيعين" سيئين للغاية. كان بإمكانهم تحديد ما هو صحيح (بدقة 84-92%)، لكنهم كانوا سيئين جداً في رصد ما هو خاطئ (بدقة 19-48% فقط). لقد كانوا مجرد أدوات لمطابقة الأنماط مع كلمات مفتاحية مثل "مسن" أو "طعام" ويقولون "نعم، هذا يبدو فارسياً"، دون التفكير فعلياً في المنطق.
2. مفارقة "بيانات أكثر، ذكاء أقل"
التشبيه: فكر في نموذج الذكاء الاصطناعي الأساسي (Llama 3.1) كأنه أجنبي ذكي درس قواعد اللغة والثقافة الفارسية من كتاب مدرسي؛ فهو متشكك وحذر. الآن، تخيل أنك أخذت نفس هذا الشخص وأجبرته على العيش في إيران لمدة عام، يقرأ فقط وسائل التواصل الاجتماعي والأخبار الفارسية (التعلم المسبق المستمر).
قد تتوقع أن يصبح عبقرياً ثقافياً، لكن بدلاً من ذلك، أصبح موافقاً أعمى. لقد تعلم تكرار العبارات الثقافية بشكل مثالي، لكنه فقد القدرة على التشكيك فيها.
النتيجة: عندما أخذ الباحثون نموذجاً قياسياً ومنحوه تدريباً فارسياً إضافياً (لإنشاء نموذج يسمى Dorna2)، أصبح النموذج أسوأ في المنطق. انخفضت قدرته على رصد الانتهاكات الثقافية بنسبة 43%. لقد أصبح فصيحاً في "صوت" الثقافة، لكنه فقد "جوهرها". لقد تعلم محاكاة "الروح العامة" دون فهم "القواعد".
3. فجوة "الحقيقة مقابل الشعور"
التشبيه: تخيل أن لديك كتاب وصفات لوجبة معقدة.
- المعرفة الحقائقية: يمكنك تسميع المكونات بدقة. "أعرف أن الأطعمة 'السارد' (الباردة) سيئة للحمى".
- الاستدلال المفاهيمي: أنت في مطبخ مع صديق مريض. ترى بطيخاً. هل تعطيه إياه؟
- الروبوت الذي يمتلك "معرفة حقائقية" فقط قد يقول: "البطيخ يحتوي على فيتامينات! أعطه إياه!".
- أما الإنسان المتمكن ثقافياً فيعرف: "لا! في الطب الفارسي، البطيخ من الأطعمة 'السارد' (الباردة). إعطاء طعام بارد لشخص مريض هو خطأ كبير".
النتيجة: كانت نماذج الذكاء الاصطناعي رائعة في حفظ كتاب الوصفات (الأسئلة متعددة الخيارات القائمة على الحقائق). ولكن عندما طُلب منها تطبيق تلك المعرفة على سيناريو واقعي (الأسئلة متعددة الخيارات القائمة على السيناريوهات)، انخفض أداؤها بمتوسط 21%. لقد عرفوا الحقائق، لكنهم لم يستطيعوا استخدامها للتنقل في العالم الاجتماعي.
4. الأكبر ليس دائماً الأفضل
التشبيه: قد تعتقد أن وجود مكتبة أكبر (نموذج ذكاء اصطناعي أكبر) يعني أميناً للمكتبة أكثر ذكاءً.
النتي Result: كان أكبر نموذج تم اختباره (Gemma3-12B) هو الأفضل في حفظ الحقائق، ولكنه كان أيضاً من أسوأ النماذج في رصد الانتهاكات الثقافية. كان يشبه موسوعة ضخمة تعرف كل قاعدة، لكنها لا تستطيع إخبارك أي قاعدة تنطبق على هذه اللحظة تحديداً. النماذج الأكبر أصبحت فقط أفضل في حفظ "نمط" الثقافة، وليس "منطقها".
الخلاصة الكبرى
تخلص الورقة إلى أن الثقافة ليست مجرد قائمة من الحقائق ليتم حفظها. إنها مجموعة معقدة وغير مرئية من القواعد حول متى تفعل الأشياء، وكيف تفعلها، ولماذا تهم.
نماذج الذكاء الاصطناعي الحالية تشبه السياح الذين حفظوا كتاباً للعبارات الجاهزة. يمكنهم قول الكلمات الصحيحة، ولكن إذا وضعتهم في موقف اجتماعي شائك، فمن المرجح أن يسيئوا إلى الجميع لأنهم لا يفهمون "المخطط الذهني" (الخريطة العقلية) لكيفية عمل الثقافة فعلياً.
باختصار: لبناء ذكاء اصطناعي يفهم الثقافة حقاً، لا يمكننا فقط تغذيته بمزيد من النصوص. نحن بحاجة لتعليمه كيف يفكر كإنسان، وليس فقط كيف يبدو كواحد منه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.