GhazalBench: Usage-Grounded Evaluation of LLMs on Persian Ghazals

إليك ملخص تقني مفصل لورقة البحث بعنوان: "GhazalBench: تقييم استخدام نماذج اللغات الكبيرة (LLMs) القائم على الاستخدام في الغزليات الفارسية."

1. بيان المشكلة

بينما أظهرت نماذج اللغات الكبيرة (LLMs) براعة في الطلاقة اللغوية العامة والفهم الدلالي، إلا أن قدرتها على التفاعل مع النصوص الثقافية المرجعية لا تزال غير مقيمة بشكل كافٍ. وتحديداً في الثقافة الفارسية، لا يُعد الشعر (وخاصة غزليات حافظ الشيرازي) مجرد أثر أدبي، بل هو جزء حي من التواصل اليومي، يُستخدم للاقتباس، أو إعادة الصياغة، أو إكمال الأبيات بناءً على إشارات جزئية.

تركز التقييمات الحالية لنماذج اللغات الكبيرة في مجال الشعر بشكل أساسي على التوليد الإبداعي (المحاكاة الأسلوبية) أو الجودة الجمالية، مما يفشل في رصد كيفية عمل الشعر كمورد ثقافي مشترك. علاوة على ذلك، فإن الأعمال السابقة حول الحفظ غالباً ما تصنف الاستدعاء الحرفي كخطر على الخصوصية بدلاً من كونه قدرة وظيفية. هناك نقص في المعايير التي تقيم ما إذا كانت النماذج قادرة على الوصول إلى الشكل السطحي الدقيق للنصوص ذات الأهمية الثقافية تحت ظروف استخدام واقعية (مثل إكمال بيت بناءً على الشطر الأول، أو التعرف عليه من خلال إعادة صياغة).

2. المنهجية: GhazalBench

قدم المؤلفون GhazalBench، وهو معيار مصمم لتقييم تفاعل نماذج اللغات الكبيرة مع الغزليات الفارسية من خلال سيناريوهات تشخيصية "قائمة على الاستخدام". يتضمن بناء المعيار ومسار التقييم ما يلي:

• بناء مجموعة البيانات:

  • استخراج أول 100 غزل من "ديوان حافظ".
  • استخدام Gemini 2.5 Flash لاسترجاع الأبيات وشروحاتها النثرية المقابلة.
  • التحقق يدوياً من جميع البيانات مقابل الطبعة المطبوعة الأصلية والحصول على بيانات الوزن الشعري من مستودع Ganjoor.
  • تتكون المجموعة التجريبية النهائية من 50 غزالاً (438 بيتاً).

• أبعاد التقييم:
  يقيم المعيار قدرتين متكاملتين:

1. الفهم من الشعر إلى النثر: يجب على النماذج إعادة صياغة بيت محدد إلى نثر فارسي قياسي ومحايد.
   • التقييم: تم عبر LLM-as-Judge (باستخدام Gemini 3 Pro) لتقييم ستة أبعاد (الأمانة الدلالية، الطبيعية، الوضوح، تجنب التأويل، النبرة المحايدة، التحكم في الطول) والمقاييس التلقائية (BERTScore, chrF++, BLEU-4).
2. استرجاع البيت المرجعي: يجب على النماذج استرجاع البيت الثاني من البيت الشعري بناءً على البيت الأول. يتم اختبار ذلك تحت ظروف إشارات متنوعة للتمييز بين الاستدعاء (التوليد الحر) والتعرف (الاختيار من بين خيارات):
   • الاستمرارية المرجعية: الشطر الأول فقط (الإكمال مقابل الاختيار من متعدد).
   • الوساطة النثرية: الشطر الأول + الشرح النثري.
   • متانة إعادة الصياغة النثرية: الشطر الأول + شرح نثري مُعاد صياغته (لاختبار التداخل الدلالي مقابل اللفظي).
   • الشرط المرتبط بالقصاصات: الشطر الأول + كلمتان بارزتان من البيت الثاني.
   • الشرط المرتبط بالصيغة المبعثرة: الشطر الأول + نسخة مبعثرة الكلمات من البيت الثاني (لاختبار الحساسية لترتيب الكلمات).

• النماذج التي تم تقييمها:
  • النماذج المملوكة (Proprietary): Claude Sonnet 4.5.
  • النماذج مفتوحة الأوزان (Open-Weight): DeepSeek V3.2, Gemma 3 27B Instruct, Gemma 3 12B Instruct.
  • الضبط عبر اللغات (Cross-Lingual Control): تجارب موازية أجريت على سونيتات شكسبير (الإنجليزية) لتحديد ما إذا كانت القيود هيكلية أم مرتبطة بالبيانات.

3. المساهمات الرئيسية

1. معيار GhazalBench: أول معيار قائم على الاستخدام لتقييم نماذج اللغات الكبيرة في الشعر الفارسي، متجاوزاً التوليد إلى أنماط التفاعل (إعادة الصياغة، الاستدعاء، والتعرف).
2. إطار الاستدعاء مقابل التعرف: نهج تشخيصي مستند إلى علم النفس المعرفي (Tulving et al.) يفصل بين الفهم الدلالي وبين الوصول إلى الشكل السطحي المرجعي.
3. التباين المنهجي: دليل تجريبي يظهر فجوة واضحة حيث تتفوق النماذج في فهم المعنى ولكنها تخفق في الاستدعاء الدقيق على مستوى الشكل.
4. فرضية كثافة إشارة التدريب: دليل عبر اللغات يشير إلى أن الأداء الضعيف في الفارسية يعود إلى ندرة بيانات التدريب وليس إلى قيود هيكلية، حيث تؤدي النماذج بشكل أفضل بكثير في سونيتات إنجليزية.

4. النتائج الرئيسية

أ. الفهم من الشعر إلى النثر

• أظهرت جميع النماذج فهماً دلالياً قوياً، وحققت درجات عالية في مهام إعادة الصياغة.
• تفوق Claude Sonnet 4.5 باستمرار على النماذج مفتوحة الأوزان في جميع الأبعاد، لا سيما في "الأمانة الدلالية" و"تجنب التأويل".
• أظهرت المقاييس التلقائية (BERTScore) توافقاً دلالياً عالياً، بينما أبرزت المقاييس اللفظية (BLEU, chrF++) الاختلافات في الدقة الأسلوبية.

ب. استدعاء الأبيات (مهام الإكمال)

• الأداء الضعيف: عانت النماذج بشكل كبير في الاستدعاء الحر (توليد البيت الثاني بدقة من الشطر الأول).
  • أظهرت نماذج Gemma 3 معدلات استدعاء تقترب من الصفر في جميع الظروف.
  • حقق Claude Sonnet 4.5 و DeepSeek V3.2 معدلات استدعاء منخفضة ولكن غير صفرية (مثلاً، ~3.6% إلى 7.1% مع ذكر اسم الشاعر فقط).
• الحساسية للإشارات:
  • تقديم الشروحات النثرية قدم تحسينات طفيفة.
  • تقديم نسخ مبعثرة الكلمات من البيت المستهدف أدى إلى أعلى معدلات الاستدعاء (مثلاً، 11.9% لـ Claude)، مما يشير إلى أن النماذج تعتمد بشدة على الهوية اللفظية بدلاً من حفظ التسلسل المتين.
  • الكلمات البارزة (الإشارات اللفظية المتفرقة) لم تحسن الأداء بل أدت أحياناً إلى تدهوره.

ج. التعرف على الأبيات (الاختيار من متعدد)

• فجوة كبيرة: كان الأداء في إعدادات الاختيار من متعدد أعلى بكثير من إعدادات الإكمال.
  • على سبيل المثال، نماذج Gemma 3، التي سجلت استدعاءً يقترب من الصفر، قدمت أداءً تنافسياً (وأحياناً أفضل من DeepSeek) في مهام تحديد الهوية عبر الاختيار من متعدد.
  • قفزت الدقة إلى ~90-98% للنماذج العليا عند توفير الخيارات.
• تحليل الخطأ: عندما فشلت النماذج، كانت تميل إلى اختيار المشتتات من نفس الغزل بدلاً من غزل آخر، مما يشير إلى الحساسية للخصائص الموضوعية/الأسلوبية داخل القصيدة.
• الحساسية لترتيب الكلمات: في مهام الاختيار الثنائي مع المشتتات المبعثرة، أدت النماذج أداءً أعلى بكثير من مستوى الصدفة، مما يثبت قدرتها على التمييز بين الترتيب المرجعي والتبديلات العشوائية.

د. المقارنة عبر اللغات (سونيتات إنجليزية)

• حققت النماذج معدلات استدعاء أعلى بكما في سونيتات شكسبير مقارنة بالغزليات الفارسية (مثلاً، وصل استدعاء Claude إلى 96.3% في الإنجليزية مقابل 3.6% في الفارسية مع ذكر اسم الشاعر فقط).
• يؤكد هذا أن عدم القدرة على استدعاء الأبيات الفارسية هو مشكلة توزيعية (نقص بيانات التدريب) وليس فشلاً هيكلياً في النموذج.

5. الأهمية والآثار المترتبة

• إعادة التفكير في التقييم: تجادل الدراسة بأن المعايير القياسية التي تعتمد على مهام التعرف أو إعادة الصياغة تبالغ في تقدير قدرة نماذج اللغات الكبيرة على التفاعل مع اللغة ذات الجذور الثقافية. فالنموذج الذي يمكنه شرح قصيدة قد يفشل في المشاركة في الممارسة الثقافية لاقتباسها أو إكمالها.
• الكفاءة الثقافية: تسلط النتائج الضوء على فجوة حرجة في نماذج اللغات متعددة اللغات: الكفاءة الدلالية تنتقل بسهء أكبر من استرجاع الشكل المرجعي. يمكن للنماذج فهم معنى نص ثقافي دون امتلاك القدرة على الوصول إلى شكله السطحي الدقيق.
• الاتجاهات المستقبلية: يقترح المؤلفون أن استراتيجيات التدريب المستقبلية يجب أن تهدف إلى تعزيز الوصول إلى الأشكال المرجعية دون تشجيع الحفظ الحرفي المفرط (مخاطر الخصوصية). يجب أن تتطور أطر التقييم لتقييم المعنى والشكل والوصول المعتمد على الإشارات بشكل مشترك.

في الختام، يكشف GhazalBench أنه بينما أصبحت نماذج اللغات الكبيرة واعية ثقافياً من حيث الدلالات، إلا أنها تظل "فاقدة للذاكرة" فيما يتعلق بالأشكال النصية الدقيقة للأدب المرجعي في اللغات ذات الموارد المنخفضة، وهو قصور مدفوع بكثافة بيانات التدريب وليس بهيكلية النموذج.