Evaluating the Creativity of LLMs in Persian Literary Text Generation
تقيم هذه الورقة الإبداع في النماذج اللغوية الكبيرة في توليد النصوص الأدبية الفارسية عبر مواضيع وأساليب بلاغية متنوعة باستخدام إطار عمل قائم على اختبار تورانس، مما يثبت أن الحكام الآليين من النماذج اللغوية الكبيرة يمكنهم تقييم الأصالة والطلاقة والمرونة والاستفاضة بشكل موثوق مقارنة بالتقييمات البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طباخاً آلياً. لقد رأيته يصنع برغر وبطاطس مثاليين (حقائق وبيانات قياسية)، ولكن الآن تطلب منه طهي طبق يتطلب "روحاً": قصيدة فارسية عن حزن يوم ممطر، أو قصة عن بهجة احتفال برأس السنة.
هذه الورقة البحثية تشبه ناقد طعام يدخل إلى المطبخ لتذوق أطباق ستة طهاة آليين مختلفين ليرى ما إذا كان بإمكانهم حقاً "الطهي" بالإبداع، أم أنهم مجرد يعيدون تسخين البقايا.
إليك تفصيل تجربتهم، مشروحاً ببساطة:
1. المشكلة: المطبخ "المقتصر على الإنجليزية فقط"
لفترة طويلة، كان العلماء يختبرون مدى إبداع هؤلاء الروبوتات، لكنهم في الغالب كانوا يطلبون منهم الكتابة بالإنجليزية فقط. الأمر يشبه الحكم على طاهٍ ماهر بناءً على قدرته على صنع البيتزا فقط، وتجاهل قدرته على صنع السوشي أو الكاري أو الزلابية.
أراد المؤلفون معرفة: هل تستطيع هذه الذكولات كتابة أدب فارسي جميل وعميق ثقافياً؟ الأدب الفارسي مشهور باستعاراته الغنية، وعواطفه العميقة، وطرق التعبير الخاصة به التي تختلف تماماً عن الإنجليزية.
2. كتاب الوصفات: مجموعة بيانات "CPers"
لاختبار الطهاة، احتاج الباحثون إلى قائمة طعام. ولأن مثل هذه القائمة لم تكن موجودة، فقد أنشأوا واحدة تسمى CPers.
- جمعوا 4,371 جملة قصيرة وجميلة كتبها أشخاص حقيقيون باللغة الفارسية.
- تراوحت المواضيع بين المشاعر العالمية (الحب، الأمل، الحزن) إلى الخصوصيات الثقافية (النوروز/رأس السنة الفارسية، عيد الأب).
- فكر في هذا ككتاب وصفات "طعم الوطن" الذي كان على الروبوتات محاولة محاكاته.
3. بطاقة التقييم: "الأعمدة الأربعة للنكهة"
كيف تقيم قصيدة؟ لا يمكنك استخدام معادلة رياضية فحسب. قام الباحثون بتكييف اختبار نفسي بشري قديم (اختبارات تورانس) وحولوه إلى بطاقة تقييم ذات أربعة أعمدة:
- الأصالة (عنصر الـ "واو"): هل هذه الجملة مبتذلة (كليشيه)، أم أنها شيء جديد ومفاجئ؟ هل تبدو وكأنها اكتشاف جديد؟
- الطلاقة (الـ "سلاسة"): هل تبدو وكأن إنساناً هو من كتبها؟ هل القواعد مثالية وتتدفق بشكل طبيعي، أم تبدو كآلة تحاول التحدث؟
- المرونة (الـ "منظور"): هل تنظر الجملة إلى الموضوع من زاوية غريبة وجديدة؟ هل يمكن أن تكون مضحكة، حزينة، وفلسفية في آن واحد؟
- التوسع (الـ "تفاصيل"): هل ترسم صورة حية في ذهنك؟ هل تجعلك تشعر بشيء محدد؟
4. الحكام: البشر مقابل الروبوتات
لتقييم الروبوتات، احتاجوا إلى حَكم.
- الحكام البشر: قرأ شخصان حقيقيان الجمل وأعطيا درجات لهما. وقد اتفقا مع بعضهما البعض في معظم الأوقات، مما أثبت أن الاختبار كان عادلاً.
- الحكم الآلي: حاولوا استخدام روبوت آخر (Claude 3.7 Sonnet) لتقييم العمل. ووجدوا أن هذا الروبوت تحديداً كان جيداً بشكل مفاجئ في فهم "جو" الأدب الفارسي وطابق الحكام البشر بشكل وثيق جداً. وهذا أمر كبير لأنه يعني أننا قد لا نحتاج إلى توظيف جيوش من البشر لتقييم الفن الآلي في المستقبل.
5. النتائج: من فاز في مسابقة الطهي؟
اختبروا ستة نماذج ذكاء اصطنيعي شهيرة (مثل GPT-4، DeepSeek، Qwen، إلخ). وإليكم ما وجدوه:
- شيف "التفكير العميق" (DeepSeek-R1): كان هذا النموذج هو الفائز الإجمالي. لماذا؟ لأنه تم تدريبه على "التفكير قبل أن يتحدث". لقد أنتج جملاً مفصلة، ومرنة، ومليئة بالصور الحية. كان الأمر أشبه بشيف يتذوق المكونات فعلياً قبل تقديم الطبق.
- "المتحدث اللبق" (GPT-4.1): كتب هذا النموذج جملًا سليمة قواعدياً وسلسة للغاية. كان من السهل قراءته، ولكنه كان مملًا بعض الشيء أحياناً. اعتمد كثيراً على العبارات الآمنة والشائعة.
- "الورقة الرابحة" (Qwen2.5): كان هذا النموذج مبدعاً ومفاجئاً للغاية (أصالة عالية)، لكن في بعض الأحيان كانت جمله مربكة أو صعبة الفهم (طلاقة منخفضة). كان الأمر أشبه بشيف استخدم مكونات غريبة ورائعة لكنه نسي طهيها بشكل صحيح.
- مشكلة "التقليد الأعمى": مال معظم الروبوتات إلى استخدام نفس التشبيهات بضع مرات متكررة (مثل "الضوء ضد الظلام" أو "الأمل ضد اليأس"). أما البشر الحقيقيون، فقد استخدموا مجموعة متنوعة أكثر بكثير من الكلمات والصور. الروبوتات كانت تتبع نمطاً؛ بينما البشر كانوا يكسرون النمط.
6. السر الخفي: الأدوات البلاغية
تحقق الباحثون أيضاً مما إذا كانت الروبوتات تعرف كيفية استخدام "التوابل" مثل التشبيه (مقارنة الأشياء باستخدام "مثل")، والاستعارة (قول أن شيئاً ما هو شيء آخر)، والمبالغة.
- النتيجة: كانت الروبوتات جيدة في استخدام التشبيه والاستعارة، لكنها واجهت صعوبة في الموازنة بينهما. غالباً ما استخدمت الكثير من نفس "التوابل"، مما جعل الطبق ذا نكهة أحادية الجانب. أما البشر الحقيقيون فكانوا يمزجون التوابل بشكل مثالي لخلق نكهة معقدة.
- المفارقة: عندما طلب الباحثون من الروبوتات تحديد هذه التوابل في النص، ارتبكت الروبوتات! لم يستطيعوا التمييز بين التشبيه والاستعارة بشكل جيد. هذا يوضح أنه بينما يمكنهم محاكاة الإبداع، إلا أنهم لا يفهمون حقاً قواعد الأدب بعد.
الخلاصة
تخبرنا هذه الورقة البحثية أن الذكاء الاصطناعي أصبح جيداً حقاً في كتابة الشعر الفارسي، لكنه لم يصل تماماً بعد.
- الجيد: يمكن لبعض النماذج كتابة جمل جميلة وذات صلة ثقافية تشعر وكأنها بشرية.
- السيئ: يميلون إلى تكرار نفس الأفكار ويفتقرون إلى "الروح" العميقة والمتنوعة التي تأتي من التجربة البشرية.
- المستقبل: نحن بحاجة إلى تعليم هذه الروبوتات التوقف عن اتباع الأنماط والبدء في التفكير بعمق أكبر، تماماً كما فعل نموذج "التفكير العميق".
باختصار: الروبوتات تتعلم الرسم، لكنها لا تزال تستخدم في الغالب مجموعات "التلوين حسب الأرقام". إنها بحاجة لتعلم كيفية مزج ألوانها الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.